論文の概要: Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families

• arxiv url: http://arxiv.org/abs/2610.15095v1
• Date: Sat, 10 Oct 2026 18:09:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 02:36:28.52244
• Title: Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families
• Title（参考訳）: Swarm Telepathy:家族間でのプリフィルフリーKVキャッシュ転送
• Abstract要約: マルチファミリーマルチエージェントシステムにおけるプリフィルフリー通信を可能にする,最初のクロスファミリーKV-cache転送方式であるSwaTを提案する。 Swarm Telepathyはテキスト間通信を精度と速度の両方で打ち負かす。 実験によると、SwaTは12のLLMと6つのファミリーにわたる17のベンチマークで高いパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 20.143732826466223
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM multi-agent systems split work across agents that communicate through text. An agent summarizes its findings, another agent receives the text. This constrains communication to discrete tokens and costs redundant compute, limiting bandwidth and capabilities of multi-agent systems. Recent works demonstrate KV-cache transfer between LLMs but they either require the LLMs to be within the same family or cannot function across context, thus requiring the receiver to prefill text. We present SwaT (Swarm Telepathy), the first cross-family KV-cache transfer method that allows prefill-free communication in multi-family multi-agent systems. In an agent-to-agent communication setting, combining SwaT with recent advances in KV-cache compaction beats text-to-text communication in both accuracy and speed, with a mean of $40\%$ higher accuracy and a mean of $4\times$ faster wall-clock time. Experiments show SwaT achieves high performance on 17 benchmarks across 12 LLMs and 6 families. Additionally, given a sender Vision-Language Model (VLM), SwaT is able to transfer the vision capabilities to a text-only receiver LLM exceeding text-to-text communication despite SwaT being trained on text-only data. SwaT keeps both sender and receiver models frozen without fine-tuning and only requires $<50M$ tokens and $<1$ GPU-day to train.
• Abstract（参考訳）: LLMマルチエージェントシステムは、テキストを介して通信するエージェント間で作業を分割する。 あるエージェントがその発見を要約し、別のエージェントがテキストを受け取る。 これは離散トークンへの通信を制限し、冗長な計算を犠牲にし、マルチエージェントシステムの帯域幅と能力を制限する。 近年の研究では、LLM間のKV-cache転送が実証されているが、LLMが同じファミリー内にあるか、コンテキストを越えて機能しないかのいずれかで、受信側がテキストをプリフィルする必要がある。 SwaT(Swarm Telepathy)は、マルチファミリーマルチエージェントシステムにおけるプリフィルフリー通信を可能にする、最初の家族間KVキャッシュ転送方式である。 エージェント対エージェント通信設定では、SwaTと最近のKV-cache圧縮の進歩を組み合わせることで、テキスト対テキスト通信を精度と速度の両方で上回り、平均は40\%、平均は4\times$高速壁時計時間である。 実験によると、SwaTは12のLLMと6つのファミリーにわたる17のベンチマークで高いパフォーマンスを実現している。 さらに、送信者がVLM(Vision-Language Model)を使用すると、SwaTはテキストのみのデータで訓練されているにもかかわらず、テキスト間通信を超えるテキストのみの受信機LLMに視覚能力を転送することができる。 SwaTは、送信側モデルと受信側モデルの両方を微調整せずに凍結し、トレーニングには$<50M$トークンと$<1$ GPU-dayしか必要としない。

関連論文リスト

• Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs [26.258892865465878]
  テキストベースの通信では、受信側は送信者がすでに処理している共有コンテキストをプリフィルする必要がある。 HeteroFoldはプリフィルフリーのクロスファミリーKVキャッシュ転送方式で、送信側と受信側の両方を凍結させる。 HeteroFoldは、4つの長いコンテキストベンチマークと最も短いコンテキスト設定で最高のキャッシュ転送性能を達成する。
  論文  参考訳（メタデータ） (2026-09-26T05:30:18Z)
• Good Agentic Friends Do Not Just Give Verbal Advice: They Can Update Your Weights [58.27172968382275]
  マルチエージェントLLMシステムは、通常自然言語メッセージを交換することで協調する。 送信者のメッセージを受信者のコンテキストに付加する代わりに、送信者の隠された状態を過渡的で受信者固有の重み摂動にコンパイルする。
  論文  参考訳（メタデータ） (2026-05-13T17:58:32Z)
• Fast-dVLM: Efficient Block-Diffusion VLM via Direct Conversion from Autoregressive VLM [58.322826487307765]
  我々は,KV-cache互換並列デコードと推測ブロックデコードが可能なブロック拡散型VLMであるFast-dVLMを提案する。 SGLangの統合とFP8量子化により、Fast-dVLMはARベースライン上でのエンドツーエンドの推論速度を6倍以上に向上する。
  論文  参考訳（メタデータ） (2026-04-08T08:50:08Z)
• Communicating Activations Between Language Model Agents [0.9043578619916239]
  マルチ言語モデル (LM) エージェント間の通信は、LMの推論能力を高めることが示されている。 自然言語は、LM間通信の主要な媒体である。 本稿では,LMがアクティベーションを介して通信する手法を提案する。
  論文  参考訳（メタデータ） (2025-01-23T20:41:07Z)
• TransMI: A Framework to Create Strong Baselines from Multilingual Pretrained Language Models for Transliterated Data [50.40191599304911]
  本稿では,トランスリテライト・マージ文字化 (Transliterate-Merge-literation, TransMI) という,シンプルだが効果的な枠組みを提案する。 TransMIは、既存のmPLMとそのトークン化ツールをトレーニングなしで利用することにより、共通のスクリプトに書き起こされるデータの強力なベースラインを作成することができる。 実験の結果,TransMIはmPLMの非翻訳データ処理能力を保ちつつ,翻訳データを効果的に処理し,スクリプト間のクロスリンガル転送を容易にすることを実証した。
  論文  参考訳（メタデータ） (2024-05-16T09:08:09Z)
• SpeechAgents: Human-Communication Simulation with Multi-Modal Multi-Agent Systems [53.94772445896213]
  大規模言語モデル(LLM)に基づくマルチエージェントシステムは,人間の社会をシミュレートする上で有望な性能を示した。 本研究では,マルチモーダルLLMに基づくマルチエージェントシステムであるSpeechAgentsを提案する。
  論文  参考訳（メタデータ） (2024-01-08T15:01:08Z)
• TVLT: Textless Vision-Language Transformer [89.31422264408002]
  テキストレス・ビジョン・ランゲージ変換器 (TVLT) では, 同種変換器ブロックが生の視覚・音声入力を行う。 TVLTはテキストベースの様々なマルチモーダルタスクに匹敵するパフォーマンスを実現している。 その結果,低レベルの視覚・音声信号から,コンパクトで効率的な視覚言語表現を学習できる可能性が示唆された。
  論文  参考訳（メタデータ） (2022-09-28T15:08:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。