Sakana AIの再帰的自己改善ほか2件
目次
- 深掘り: Recursive self-improvement through collective intelligence
- 2. The gap in shared understanding of LLM capability is widening
- 3. Attack of the Vibe Coded Photoshop Clones
深掘り: Recursive self-improvement through collective intelligence
- MASS（Multi-Agent Self-Supervision）は、多エージェントワークフローを繰り返し最適化し、その協調知性を自己改善の教師信号に変換するフレームワークです。
- 同質的再帰的自己改善（homogeneous RSI）を対象とし、改善対象（optimizee）と評価者・最適化者を同一モデルに統合します。
- 多エージェントシステムから抽出した集合知を自己監督信号として利用し、ベースモデルより出力トークンあたりのスコアを研究ベンチマークで向上させます。
- フロンティア領域では、人間の専門家でも非検証可能なタスクの評価や進捗指導が困難になるため、モデル自身が最も有能な監督者になる必要があります。
- Sakana AIのインターン期間中に行われた研究で、推定読了時間は15分です。
- 図1では、印刷・校正などの協調作業から知識を共有する概念を、チームの集合作業がモデルの学習例になるという発想に重ねています。
原典 Recursive self-improvement through collective intelligence
2. KarpathyのLLM認識の鋭い漏斗
- Karpathyは4月のツイートを再掲し、LLM能力理解の溝が「鋭い漏斗」に変化したと指摘しています。以前の「すれ違う2グループ」から急峻な階層構造へ変わりました。
- 約60億人（人口の約75%）はLLMにほとんど触れておらず、10〜20億人（約20%）は無料版ChatGPTのような製品をカジュアルに利用しています。この層はチャットボットを「より良い検索」程度に捉えています。
- 数学・コード分野のプロフェッショナル層は約2000万人（0.2%）で、数週間〜数ヶ月かかっていた大規模プロジェクトがエージェントとプロンプトで完了する現場を直接見ています。
- 内部アクセスを持つ約5000人（0.00006%）は、数千エージェントが数週間協働するメガプロジェクトを見ています。ゼロデイ発見や機械速度のサイバー攻撃・防御、新科学発見など、人間トッププロが数年かかる作業を含みます。
- Karpathy自身も1年未満前まで手動でコードを入力していたと述べ、この変化の速さを強調しています。
原典 The gap in shared understanding of LLM capability is widening
3. バイブコーディングによるPhotoshopクローンの実態
- Adobeアプリ（特にPhotoshop）のバイブコーディングによるクローンが約12件存在し、数十のフォークも派生しています。標的はMicrosoft、Avid、Autodesk、ゲーム開発者にも広がっています。
- 最大規模のプロジェクトでは165人の開発者（当初70人から増加中）がClaudeを使用し、1日に数百のプルリクエストを提出しています。過去2週間のトークン消費額は5万ドルを超えています。
- 1プロジェクトあたりのAIトークン（APIコスト）は数千ドル規模に達しており、2000年代初頭のAdSenseスパムサイトと同様の自動化クローン行為です。
- どのプロジェクトもPhotoshopのブラシエンジンに匹敵するものを作れていません。