論文の概要: Octopus: One Brain, Many Branches for Latent-KV Multi-Agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2611.06956v1
- Date: Tue, 03 Nov 2026 22:42:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.414877
- Title: Octopus: One Brain, Many Branches for Latent-KV Multi-Agent Reinforcement Learning
- Title(参考訳): Octopus: 潜在KVマルチエージェント強化学習のための1つの脳と多数の枝
- Abstract要約: これはシングルモデルマルチエージェントRLフレームワークで、すべてのスレッドが1つのバックボーンを共有し、5つのプリミティブ(fork、read_thread、wait_threads、rewind、commit)を通して、KV状態のGPU常駐型非巡回グラフ(DAG)上でコーディネートする。
1) Zero-Copy Radix Forking, ブランチを$mathcalO(1)$ cursor view over shared physical KV pages; (2) Attention-Only KV Mounting, 兄弟スレッドの端末KVが、線形をバイパスしながら直接フルアテンション層にブロックする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-agent LLM systems explore in parallel by spawning sub-agents with isolated context windows, whereas single-agent systems append every search and verification step into one growing trajectory. However, existing multi-agent frameworks duplicate prefix KV caches across branches, exchange findings by re-prefilling text summaries, and flatten or drop cross-branch dependencies during reinforcement learning (RL). We introduce Octopus, a single-model multi-agent RL framework in which all threads share one backbone and coordinate over a GPU-resident directed acyclic graph (DAG) of KV states through five primitives (fork, read_thread, wait_threads, rewind, commit). Octopus combines three co-designed mechanisms: (1) Zero-Copy Radix Forking, which spawns branches as $\mathcal{O}(1)$ cursor views over shared physical KV pages; (2) Attention-Only KV Mounting, which mounts a sibling thread's terminal KV blocks directly into full-attention layers while bypassing linear-recurrent states (Gated DeltaNet / Mamba-2), cutting off-task hijacking by $21\times$ ($57.9\% \to 2.7\%$) while retaining $92.2\%$ of full-text mutual information at zero extra KV allocation; and (3) a Packed DAG-GRPO Trainer, which packs all episode branches into one block-sparse attention pass and assigns counterfactual branch credit via leave-one-branch-out marginal rewards. Trained end-to-end with GRPO on Qwen3.5-4B over a sparse BM25 corpus, Octopus reaches $49.6\%$ accuracy on BrowseComp-Plus ($+17.5$ points over single-agent GRPO at 143K context and $+12.5$ points over text-summary multi-agent RL) and $51.2\%$ on OpenResearcher, outperforming dense-retrieval agents up to $250\times$ larger while increasing training throughput $3.3\times$ and cutting peak KV memory $2.8\times$.
- Abstract(参考訳): マルチエージェントLLMシステムは、独立したコンテキストウィンドウを持つサブエージェントを発生させることで並列に探索する一方、シングルエージェントシステムは、全ての検索と検証のステップを1つの成長軌道に付加する。
しかし、既存のマルチエージェントフレームワークは、ブランチ間でプレフィックスKVキャッシュを複製し、テキスト要約を再補充することで発見を交換し、強化学習(RL)中にクロスブランチ依存関係をフラットまたはドロップする。
このフレームワークでは、すべてのスレッドが1つのバックボーンを共有し、5つのプリミティブ(fork、read_thread、wait_threads、rewind、commit)を通して、KV状態のGPU非巡回グラフ(DAG)上でコーディネートする。
ブランチを$\mathcal{O}(1)$カーソルビューとして生成するZero-Copy Radix Forking、共有物理KVページ上でブランチを生成させるAttention-Only KV Mounting、リニアリカレントステート(Gated DeltaNet / Mamba-2)をバイパスしながら、兄弟スレッドの端末KVブロックをフルアテンション層にマウントするAttention-Only KV Mounting、オフタスクハイジャックを$21\times$$57.9\% \to 2.7\%$)、9.2\%のフルテキスト相互情報をゼロKVアロケーションで保持するZero-Copy Radix Forking、さらに、各エピソードを1回にまとめて1回にまとめるPacked DAG-GRTrainning、さらに1回に1回にまとめて1回のアセンブルインセンティブインセンティブインセンティブインセンティブインセンティブインセンティブインセンティブインセンティブインセンティブインセンティブインセンティブインセンティブを割り当てる。
Qwen3.5-4B の GRPO を Sparse BM25 コーパスで比較すると、Octopus は BrowseComp-Plus (+17.5$ポイント) の 143K コンテキストでの単一エージェント GRPO (+17.5$ポイント) と 51.2\% の OpenResearcher で訓練された。
関連論文リスト
- SpecPilot: Autonomous Algorithm Discovery and Systems Optimization for Speculative Decoding [56.465476123939816]
デプロイ毎にアルゴリズムとシステム最適化を検出する,自律エージェントループであるSpecPilotを提案する。
対象モデルを4つ,ドラフト3つ,プラットフォーム2つ,ベンチマーク5つに分けて評価した。
論文 参考訳(メタデータ) (2026-11-02T04:21:47Z) - SquidAgent: Parallelize Wisely, Coordinate Efficiently [66.64544354706031]
LLMベースのエージェントは複雑なマルチステップタスクを解決するが、シーケンシャルな実行にはかなりの遅延が発生する。
クリティカルパスコストに加えて、再探索とアライメントオーバーヘッドが対応するシリアルコストよりも低い場合にのみ、レイヤを並列化すべきである。
SquidAgentは平均スループット2.2$times$、平均スループット2.6$times$、最強のマルチエージェントベースラインよりも2.0$times$のスループット改善を実現している。
論文 参考訳(メタデータ) (2026-10-06T16:35:28Z) - Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳(メタデータ) (2026-09-02T08:10:22Z) - MARS: Multi-Specialist LLM Relay System for Competitive Programming [3.8421682531018564]
MARS(Multi-Agent Relay of Specialized LLMs)は、各エージェントがトピックスペシャリストとなるプロンプトのみのフレームワークである。
スタータが初期C++17ソリューションを書き、その後各ターンがサンドボックス内の公開例に対して候補を実行します。
単一のインフラストラクチャー固定器が最後にボイラープレートを正規化する。
論文 参考訳(メタデータ) (2026-08-24T23:51:02Z) - GraniKV: Asymmetric Granularity KV-Cache Paging for Multi-Agent Systems with Long Shared Prefix [9.188178438603975]
GraniKVは生産用ページドサービスエンジンのKVキャッシュに非対称なページング粒度を適用した最初のシステムである。
記憶層だけは 新聞を動機づける政権の勝利を 担っている
論文 参考訳(メタデータ) (2026-08-16T07:19:49Z) - Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes [70.61868608402723]
我々は$textbfSelf-Correcting Coupled Markov Jump Processes (SC-CMJP)を紹介する。
SC-CMJPと組み合わせて、共同マルチモーダルジェネレーションのための新しいトレーニングフリーシングルパスサンプリングであるtextttCO_texttt2textttJump$を紹介する。
トレーニングと評価のために,我々は3つの大規模ジョイントマルチモーダル生成コーパスを作成し,リリースする。
論文 参考訳(メタデータ) (2026-07-14T18:39:29Z) - VisualClaw: A Real-Time, Personalized Agent for the Physical World [76.89211120690028]
2つの原則に基づいて構築された自己進化型マルチモーダルエージェントであるVisualClawを紹介する。
第一に、ハイブリッド符号化は、情報の少ないストリーミングフレームをカスケードゲートでフィルタリングすることにより、デプロイメントコストを低減する。
第二に、スキルの進化により、エージェントは失敗から学び、将来の質問に役立つスキルバンク更新を生成する。
論文 参考訳(メタデータ) (2026-06-15T06:58:22Z) - DualKV: Shared-Prompt Flash Attention for Efficient RL Training with Large Rollouts and Long Contexts [32.57334288518084]
GRPOやDAPOのような現代のRLポストトレーニングメソッドは、共有プロンプトからサンプリングされた$R$トークンの$N$レスポンスシーケンスでトレーニングする。
標準FlashAttentionは、すべての$P$プロンプトトークンを前方と後方の両方で$N回複製する。
トレーニング中に共有プロンプトレプリケーションを排除した最初のFlashカーネルである textDualAttention を提案する。
論文 参考訳(メタデータ) (2026-05-14T21:11:32Z) - Copy-as-Decode: Grammar-Constrained Parallel Prefill for LLM Editing [2.6382975801439836]
LLMは、入力中にほとんどのトークンが冗長に見える場合でも、全出力を自動回帰的に再生することでテキストとコードを編集する。
Copy-as-Decodeは、2プリミティブ文法上の構造化復号化として生成を再キャストする復号化機構である。
論文 参考訳(メタデータ) (2026-04-20T12:29:53Z) - Federated Combinatorial Multi-Agent Multi-Armed Bandits [79.1700188160944]
本稿では,Banditを用いたオンライン最適化に適したフェデレーション学習フレームワークを提案する。
この設定では、エージェントのアームサブセットは、個々のアーム情報にアクセスせずにこれらのサブセットに対するノイズの多い報酬を観察し、特定の間隔で協力して情報を共有することができる。
論文 参考訳(メタデータ) (2024-05-09T17:40:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。