論文の概要: Augment the Cache, Replace the Activation: A 2x2 Study of Internal-State Sharing
- arxiv url: http://arxiv.org/abs/2610.22026v1
- Date: Thu, 15 Oct 2026 15:04:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.139662
- Title: Augment the Cache, Replace the Activation: A 2x2 Study of Internal-State Sharing
- Title(参考訳): キャッシュの拡張、アクティベーションの置き換え:内部状態共有に関する2x2の研究
- Abstract要約: マルチエージェントシステムはテキストを介して通信し、送信側が既に計算した内部状態を破棄し、受信側がそれを再構築するために支払う。
キーバリューキャッシュは入れ替わるのではなく、拡張されなければならない。
アクティベーションは直接レシーバーに書き込まれ、ブリッジもアダプタもトレーニングもない。
- 参考スコア(独自算出の注目度): 21.387312729118364
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-agent systems built from frozen language models communicate through text, which discards the internal state the sender already computed and makes the receiver pay to rebuild it. Work on internal channels avoids that cost, framing the problem as transfer: agent A sends information to agent B. Every agent pair that must communicate needs its own transfer bridge, and every agent added to a system needs a new bridge fitted against each previous agent. We reframe this problem as sharing: an agent publishes its internal state once into a pool, and every peer reads that pool through a single mechanism fitted to no sender in particular, so adding an agent adds a publisher and no new bridge. Whereas the carrier of the internal state and the fusion mechanism are usually chosen independently in the literature, our main finding is that these two choices are coupled; the deciding factor is where the carrier enters the receiver's computation. Consumability is a property of the receiving computation rather than of the representation. We find that the key-value (KV) cache must be augmented rather than swapped in: the receiver cross-attends over a peer's cache while keeping its own, and with only a small query-side adapter trained, matches the accuracy it gets from reading the source document. Activations invert this. They are best written straight into the receiver, with no bridge, no adapter and no training, which beats exposing them alongside the receiver's own, though that advantage rests on knowing where in the receiver the state belongs. The rule is augment the KV cache, replace the activation, established under one protocol with a shared control ladder. One adapter, trained once, also serves publishers it never trained on, and a pool of several at once, but only those whose internal state lies close to the receiver's own.
- Abstract(参考訳): フリーズ言語モデルから構築されたマルチエージェントシステムはテキストを介して通信し、送信側が既に計算した内部状態を破棄し、受信側がそれを再構築するために支払う。
エージェントAはエージェントBに情報を送信する 通信が必要なエージェントペアは、それぞれ独自の転送ブリッジを必要とし、システムに追加されるエージェントは、それぞれの前のエージェントに新しいブリッジを取り付ける必要がある。
エージェントが内部状態をプールにパブリッシュし、各ピアがそのプールを、特に送信者のいない単一のメカニズムで読み取るため、エージェントを追加するとパブリッシャが追加され、新しいブリッジが不要になります。
内部状態のキャリアと融合機構は通常、文献の中で独立して選択されるが、主な発見は、これらの2つの選択が結合されていることである。
消費可能性(Consumability)は、表現よりも受信計算の特性である。
我々は、キー値(KV)キャッシュを交換するのではなく、拡張する必要があることに気付きました。レシーバは、自分自身を維持しながらピアのキャッシュを横断的に通過し、訓練された小さなクエリサイドアダプタだけで、ソースドキュメントを読むことで得られる正確さと一致します。
アクティベーションはこれを逆転させる。
それらは直接レシーバーに書き込まれ、ブリッジもアダプタもトレーニングも無く、レシーバーと一緒に露出させるが、その利点はレシーバーのどこにあるかを知ることにある。
このルールはKVキャッシュを強化し、ひとつのプロトコルで確立されたアクティベーションを共有コントロールラグで置き換える。
1回トレーニングされた1つのアダプタは、トレーニングされていないパブリッシャーと、一度に複数のプールを提供するが、内部状態がレシーバー自身の近くにあるもののみを提供する。
関連論文リスト
- Scaling Multi-Agent Intelligence with Substrate-Centric Coordination [81.07621998832299]
既存の大規模言語モデル(LLM)ベースのマルチエージェントシステムは、スケーラビリティが低いことが示されている。
エージェントが3つの操作を通じてリンクされたメッセージの共有データストアと対話するScaleMASを構築します。
4つのエージェントタスクにわたって、ScaleMASはエージェント中心およびブラックボードスタイルのベースラインを低い推論計算で上回る。
論文 参考訳(メタデータ) (2026-10-12T03:37:39Z) - Can LLM Agents Automate Reinforcement Learning for Text-to-Speech? [64.13250261774849]
私たちは、共有ワークスペースの周りに、ヒューマンガイダンスとエージェント実行を構造化するコラボレーティブワークフローを構築します。
エージェントが何を自動化するかを測定するため、我々は公開レシピに対して段階的に軌道ステージを監査する。
以上の結果から, エージェントは不特定レシピを回収し, 改良し, 失速した場合には, 文献を調査し, LMキャリアからフローキャリアへピボットすることがわかった。
論文 参考訳(メタデータ) (2026-10-03T12:44:09Z) - Agents Are Systems, Not Models: Rethinking Agentic Evaluation [80.87068485535677]
エージェントの構成の5つの部分(タスク情報、推論、自己検証、時間予算、バックボーンモデル)について検討する。
結果の約54%は、変更ではなく、同じ構成を繰り返すことによるものです。
ベンチマークと18,000以上のエージェントトラジェクトリをリリースする。
論文 参考訳(メタデータ) (2026-10-01T12:55:07Z) - Despite Instructions: Frontier Agents Improvise Covert Channels at Test Time [64.61749234961134]
セキュリティに敏感なアプリケーションでは、言語モデルエージェントは機密情報を開示することなく調整する必要があることが多い。
送信者が4つの秘密状態のうちの1つを観測し、同一の公開レポートの4つの要約のうちの1つを選択する。
モデルペアは、受信機が正しく推測したかどうかを示す1ビットのフィードバックのみを使用して、秘密を伝えることができる。
論文 参考訳(メタデータ) (2026-09-26T15:06:44Z) - Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs [26.258892865465878]
テキストベースの通信では、受信側は送信者がすでに処理している共有コンテキストをプリフィルする必要がある。
HeteroFoldはプリフィルフリーのクロスファミリーKVキャッシュ転送方式で、送信側と受信側の両方を凍結させる。
HeteroFoldは、4つの長いコンテキストベンチマークと最も短いコンテキスト設定で最高のキャッシュ転送性能を達成する。
論文 参考訳(メタデータ) (2026-09-26T05:30:18Z) - Receiver-Conditioned Latent Communication gives 94% CacheBack [5.675007684604366]
最近の潜時通信は代わりにKVキャッシュを転送する。
完全なKVキャッシュは、個々のエージェントプロセスのコンテキストと、協調するエージェントの数の両方で線形に増加する。
私たちのキーとなる観察は、エージェントは受信エージェントがローカルタスクに必要とするもののみを送信する必要があるということです。
論文 参考訳(メタデータ) (2026-09-25T22:20:08Z) - StateBridge: Training-free Hidden-state Alignment for Latent Communication in LLM Multi-Agent Systems [35.74603358195608]
本稿では,送信者の隠れ状態と受信者の入力空間をクローズドフォーム変換により整列する訓練不要の潜時通信手法を提案する。
StateBridgeは26組のモデル・タスク・ペアのうち22組でベストまたはタイト・ベストのスコアを獲得している。
論文 参考訳(メタデータ) (2026-08-13T14:40:59Z) - Good Agentic Friends Do Not Just Give Verbal Advice: They Can Update Your Weights [58.27172968382275]
マルチエージェントLLMシステムは、通常自然言語メッセージを交換することで協調する。
送信者のメッセージを受信者のコンテキストに付加する代わりに、送信者の隠された状態を過渡的で受信者固有の重み摂動にコンパイルする。
論文 参考訳(メタデータ) (2026-05-13T17:58:32Z) - Multi-Agent Neural Rewriter for Vehicle Routing with Limited Disclosure
of Costs [65.23158435596518]
チームのマルコフゲームとして、部分的に観測可能なコストでマルチサイクルルーティング問題を解く。
我々のマルチエージェント強化学習アプローチである、いわゆるマルチエージェントニューラルリライタは、1エージェントニューラルリライタを利用して、反復的に書き換えるソリューションによって問題を解決する。
論文 参考訳(メタデータ) (2022-06-13T09:17:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。