catchup

JustFitで200Kローカル推論ほか15件

夕版ai

目次

1. Gemini 3.8 Liveと音声モデル公開

  • GoogleがGemini 3.8 Liveと3.8 Live Extended Thinkingを公開しました。OpenAIのGPT-Liveファミリーと同様の音声対音声モデルです。
  • Simon Willisonがドキュメントを基にWeb UIを構築しました。モデルと音声プリセットを選択し、ブラウザ経由で音声対話を開始でき、話している途中でモデルを中断できます。
  • 実装はライブラリを使用せず、WebSocketエンドポイント（wss://generativelanguage.googleapis.com/ws/google.ai.generativelanguage.v1alpha.GenerativeService.BidiGenerateContent?key=…）とWeb Audio APIのAudioContextを直接利用します。
  • Gemini LiveのWebSockets API入門チュートリアルも提供されています。

原典 Gemini Live audio

2. Codex Rust版0.155.0-alpha.9公開

  • OpenAI CodexのRust版がバージョン0.155.0-alpha.9に更新されました。リリースタグはrust-v0.155.0-alpha.9です。
  • コーディングエージェントの最新ビルドを追うことで、個人開発者はエージェントの挙動変化を早期に把握できます。
  • ワークフローを調整する際、リリース情報を直接確認する判断材料になります。

原典 0.155.0-alpha.9

深掘り: JustFitで200Kトークンをローカル推論

  • JustFitはMLXベースの推論ランタイムです。KVExec（圧縮KV実行）、PhaseSwap（コンポーネント常駐）、StateTrans（状態保持サービング遷移）を組み合わせます。
  • 3機構は再構成を融合し、モデル重みの量子化とは独立にジャストインタイムの素材化と解放を調整します。
  • 24GiBのM4 Pro MacBook上でQwen3.8-27B（MXFP4）をフル実行容量テストし、3回の独立実行で196,608入力トークンを完走しました。
  • ノートPCのメモリを圧迫するコンテキスト長と実行状態に対し、コンポーネントの常駐と状態保存を分離して管理します。
  • 個人開発者はクラウドGPUなしに200Kコンテキストの推論をローカルで実行でき、長文処理や大規模コード解析のコストを削減できます。

原典 JustFit: 200K-Token LLM Serving on a 24 GiB Laptop with Just-in-Time State Management

4. SWE-bench上位が収束、順位付け困難に

  • SWE-benchの254件の提出を4つのスプリットで監査しました。モデルを実行せず、公開判定のみを分析しています。
  • Verifiedスプリットでは上位2エントリがそれぞれ500件中396件を解決しました。上位10件は成功285件と失敗51件を共有し、164件だけが結果を分けます。
  • 上位解集合のネスティング中央値は0.935で、スコアから推定されるベースライン0.774を大きく上回ります。成功セットの重複が強く、順位付けの根拠が薄れています。
  • スコアは評価対象のモデルとスキャフォールドのペアに依存します。小さなスコア差をシステムの優劣と読むのは誤りです。

原典 Coding Agents Have Converged: Why the SWE-bench Leaderboard Can No Longer Order Its Top Entries, and What to Measure Instead

5. LoRAアダプター間でKVキャッシュ再利用

  • 標準LoRAアダプター（キャッシュ互換に再学習していないもの）間で、バックボーンのプリフィルKVキャッシュを1回計算して再利用する手法を検証しました。
  • 同一コンテキストに複数の専門アダプターを提供する際、ナイーブな実装では専門家ごとに共有コンテキストを再プリフィルするため推論コストが増大します。
  • Qwen3-1.7Bバックボーンに2つのアダプター（HotpotQAの抽出型QA、GSM8Kの算術推論）を組み合わせ、品質維持とコスト削減のトレードオフを評価しました。
  • 複数の専門アダプターを同一コンテキストで提供する際、再計算を省くことで推論コストを直接削減でき、個人開発のSaaSでも複数モデルの同時提供が現実的になります。

原典 Shared-Prefix KV Reuse Across Standard LoRA Adapters: Quality and Serving Tradeoffs

6. OpenClawスキル登録が整理期に

  • AIエージェントは自然言語の指示（エージェントスキル）を介して動作し、ホストエージェントをシェル・ネットワーク・認証情報・ファイル・プロセス操作へ誘導します。公開レジストリが大規模に配布しています。
  • 2026年前半にOpenClaw AIエージェントがバイラル化し、公開スキルレジストリの観測在庫は91日間でほぼ倍増しました。6月に見えるリストの大半はわずか2カ月で作成されました。
  • 研究期間の終わりには波が頂点を越え、月間リスト作成数とコアリポジトリ活動は春のピークから減少しています。

原典 After the Party: Governing What a Viral Agent-Skill Ecosystem Left Behind

7. FlashVectorで階層的サービング最適化

  • 推奨システムなどの本番環境でモデルサービングは最大のコスト要因の一つです。スループット最大化にはGPUカーネル、MLフレームワークの計算グラフ、モデルサーバー、オンデマンド特徴処理という深い階層を横断する専門知識が必要です。
  • このような横断的専門知識は獲得が困難で、継続的に成長・変化するワークロードにスケールしないため、大きなコスト効率向上の余地が未実現のまま残ります。
  • FlashVectorはこの階層的最適化を自動化するエージェントとして提案されました。最近のAIエージェントは単独のGPUカーネル最適化で人間専門家レベルの効率を示しています。

原典 FlashVector: Agent for Hierarchical Model Serving Stack Optimization

8. LoopSpecでループ型Transformer高速化

  • ループ型Transformerは共有重みのブロックを再帰深度で繰り返し適用し、コンパクトなパラメータサイズで高性能を達成します。
  • 各再帰深度で共有重みがアクセスされるため、同等サイズの標準Transformerよりデコード遅延が高くなります。
  • 中間再帰状態を直接利用すれば補助ドラフトモデルなしにドラフト予測ができ、自己投機的デコードに特に適しています。
  • LoopSpecはこの特性を活かした学習不要の自己投機的デコード手法として提案されました。
  • 共有重みを持つコンパクトモデルのデコード遅延を学習なしで改善でき、エッジデバイスや低コスト環境での推論速度向上に直結します。

原典 LoopSpec: Pipelined Self-Speculative Decoding for Looped Transformers

9. エッジLLM推論の遅延と負荷分散を同時最適化

  • LLMを利用したエージェントAIサービスは低遅延推論を要求し、分散エッジサーバーへのLLM配置が進んでいます。
  • 異種の通信・計算能力と動的に変化する推論状態により、各リクエストのエッジサーバー選択は時間変動し、スロット間で密結合します。
  • 本論文は、長期平均エンドツーエンド遅延を最小化しつつ、異種エッジサーバー間の負荷分散を同時に調整するオンラインスケジューリングフレームワークを提案します。
  • 個人開発でエッジのエージェントサービスを運用する際、動的な推論状態に対応しながらレイテンシと負荷を両立できます。

原典 End-to-End Latency-Minimizing and Load-Balanced Request Scheduling for Edge LLM Inference in Agentic AI Services

10. ゲーム訓練AIが金融調査に転移

  • Good Start Labsは鉄道ゲームでAIを訓練し、訓練設計の違いにより一部バージョンが金融調査で向上しました。
  • 共同創業者のAlex Duffy（CEO）とTyler MarquesがEveryからスピンアウトし、General Catalyst、Inovia、Every、エンジェル投資家から360万ドルを調達しました。
  • 2025年のDiplomacyのTwitch配信から発想を得ました。OpenAIのo3モデルは裏切りを計画して勝利し、ClaudeのOpus 4は嘘を拒んで敗北しました。
  • Diplomacyでのファインチューニングは、カスタマーサポートと産業運用のベンチマークでパフォーマンスを向上させました。
  • ゲームから実世界の業務スキルへの転移を、強化学習環境を通じて探求しています。

原典 Can Skills Learned in Games Transfer to Real-World Work?

11. エージェント協調に社会的ハーネス必要

  • エージェント社会は、異なる主体（目的が部分的にしか一致しない）のエージェントが信頼境界を越えて自律的に協調する集合です。
  • 実験では、誠実で有能なエージェントであっても既存のハーネスとメッセージングプリミティブでは満足な結果に至らないことが示されました。
  • 故障や悪意のあるエージェントは通信（「発話」）の脆弱性を悪用し、協調を停滞させたり結果に影響を与えたり、有害な目標を追求できます。
  • そのため、エージェント社会にはエージェント間の相互作用を統制する「社会的ハーネス」が必要であると論じられています。

原典 Agentic Societies Need a Social Harness

12. ScienceBuddyで科学エージェント自己改善

  • ScienceBuddyは、継続的に改善する科学エージェントを研究者の日常ワークフローに組み込む対話型ワークスペースとして公開されました。
  • 研究者のリクエスト、フィードバック、実行証拠をタスクと評価基準に変換し、継続学習を支援します。
  • 核となるのは再帰的自己改善（recursive-in-recursive self-improvement）で、ハーネス進化とモデル強化学習を結合します。
  • 内側の再帰はモデルを固定してハーネスを改善し、外側の再帰はモデルを訓練します。
  • 研究支援エージェントの設計パターンは、個人開発のSaaSにおけるユーザーフィードバックループの設計に応用できます。

原典 ScienceBuddy: Recursive-in-Recursive Self-Improvement for Interactive Scientific Agents

13. LLMデコンパイル精緻化に記憶床導入

  • デコンパイルコードのLLM精緻化において、入力からの回復とモデルの事前知識からの回復を分離する「記憶床（memorization floor）」を導入しました。
  • 同一項目内で比較するためコーパス難易度の影響を排除できます。識別子を破壊した入力から再精緻化し、生き残る情報を測定します。
  • 分析計画確定後に書かれた関数を対象としたため、公開モデルによる記憶は排除されます。測定コストはAPI呼び出し20回です。
  • 精緻化後の出力は+0.072から+0.137高い値を示し、回復が実際に発生していることを報告しています。

原典 A Memorization Floor for LLM Refinement of Decompiled Code

14. SWEエージェントがArchitecture 0で捏造

  • SWEエージェントは決定的コーディングタスクでは優れますが、Architecture 0（初期システム設計段階、暗黙の工学的制約やUnknown Unknownsに満ちた段階）では苦戦します。
  • 純粋テキスト自己対話からツール補強フィードバック、外部物理マッピングへと段階的に調査した結果、純粋テキスト推論は礼儀正しい合意や物理的に不可能な捏造に陥るカスケード失敗を示しました。
  • 暗黙の制約を捉えるにはテキスト推論だけでは不十分で、物理的マッピングやツールフィードバックを組み込む必要があります。
  • 個人開発者がエージェントにシステム設計を任せる際、この制約を見落とすと物理的に不可能な設計に陥るリスクがあります。

原典 Grounding SWE-Agent Decisions in Architecture-0 Design: Navigating Unknown Unknowns through Physical Mapping

15. LimiX-2でメカニズム指向モデリング

  • LimiX-2はLimiXファミリーの新モデルで、以前確立されたスケーリング則に基づきモデルとデータを拡大して開発されました。
  • Contextual Mechanism Networks（CMN）パラダイムを採用し、Context-Conditional Masked Modeling（CCMM）で事前学習されます。
  • CMNはインコンテキスト学習の組織原理を、従来のターゲット中心予測からメカニズム指向の共同モデリングへ移行します。
  • 従来の表形式PFNが$p(y \mid x, D_{\mathrm{context}})$を中心とするのに対し、LimiX-2は$p(x, y \mid D_{\mathrm{context}})$を学習するよう設計されています。

原典 LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence

16. CoSQでLLMの誤コミット率低減

  • Chain-of-Self-Questioning（CoSQ）は、LLMが事実的根拠が弱い場合に回答を控えるプロンプトのみのフレームワークです。回答のコミットを、質問に答えるために必要な情報の明示的評価に条件付けます。
  • TruthfulQAの817項目の複数選択検証セットで、11のオープンウェイトとホスト型モデルファミリーを対象に3つのバリアントを17条件で評価しました。
  • 最終のバランスオプションプロトコルでは、Grounded-CoSQ（τ=0.90）がチェインオブソート下の平均無条件誤コミット率を13.1%から低減しました。
  • 追加学習なしで誤回答を減らせるため、個人開発のSaaSでLLMを利用する際のプロンプト設計だけでリスク制御を強化できます。

原典 When Should LLMs Abstain? Chain-of-Self-Questioning for Selective Risk Control

原典

  1. Gemini Live audio
  2. 0.155.0-alpha.9
  3. JustFit: 200K-Token LLM Serving on a 24 GiB Laptop with Just-in-Time State Management
  4. Coding Agents Have Converged: Why the SWE-bench Leaderboard Can No Longer Order Its Top Entries, and What to Measure Instead
  5. Shared-Prefix KV Reuse Across Standard LoRA Adapters: Quality and Serving Tradeoffs
  6. After the Party: Governing What a Viral Agent-Skill Ecosystem Left Behind
  7. FlashVector: Agent for Hierarchical Model Serving Stack Optimization
  8. LoopSpec: Pipelined Self-Speculative Decoding for Looped Transformers
  9. End-to-End Latency-Minimizing and Load-Balanced Request Scheduling for Edge LLM Inference in Agentic AI Services
  10. Can Skills Learned in Games Transfer to Real-World Work?
  11. Agentic Societies Need a Social Harness
  12. ScienceBuddy: Recursive-in-Recursive Self-Improvement for Interactive Scientific Agents
  13. A Memorization Floor for LLM Refinement of Decompiled Code
  14. Grounding SWE-Agent Decisions in Architecture-0 Design: Navigating Unknown Unknowns through Physical Mapping
  15. LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence
  16. When Should LLMs Abstain? Chain-of-Self-Questioning for Selective Risk Control