論文の概要: KVComm: Enabling Efficient LLM Communication through Selective KV Sharing

• arxiv url: http://arxiv.org/abs/2510.03346v1
• Date: Thu, 02 Oct 2025 16:01:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:58.917593
• Title: KVComm: Enabling Efficient LLM Communication through Selective KV Sharing
• Title（参考訳）: KVComm:選択的なKV共有による効率的なLLM通信の実現
• Authors: Xiangyu Shi, Marco Chiesa, Gerald Q. Maguire Jr., Dejan Kostic,
• Abstract要約: 大規模言語モデル(LLM)は、効果的なモデル間通信が不可欠であるマルチエージェントシステムにおいて、ますます多くデプロイされている。 我々は,KVペアの選択的共有により,LLM間の効率的な通信を可能にする新しいフレームワークであるKVCommを提案する。 本研究は,KVペアがLLM間通信に有効な媒体となる可能性を強調し,スケーラブルで効率的なマルチエージェントシステムを実現することを目的とした。
• 参考スコア（独自算出の注目度）: 5.08081184831007
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly deployed in multi-agent systems, where effective inter-model communication is crucial. Existing communication protocols either rely on natural language, incurring high inference costs and information loss, or on hidden states, which suffer from information concentration bias and inefficiency. To address these limitations, we propose KVComm, a novel communication framework that enables efficient communication between LLMs through selective sharing of KV pairs. KVComm leverages the rich information encoded in the KV pairs while avoiding the pitfalls of hidden states. We introduce a KV layer-wise selection strategy based on attention importance scores with a Gaussian prior to identify the most informative KV pairs for communication. Extensive experiments across diverse tasks and model pairs demonstrate that KVComm achieves comparable performance to the upper-bound method, which directly merges inputs to one model without any communication, while transmitting as few as 30\% of layers' KV pairs. Our study highlights the potential of KV pairs as an effective medium for inter-LLM communication, paving the way for scalable and efficient multi-agent systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、効果的なモデル間通信が不可欠であるマルチエージェントシステムにおいて、ますます多くデプロイされている。 既存の通信プロトコルは自然言語に依存するか、高い推論コストと情報損失をもたらすか、あるいは情報集中バイアスと非効率に悩まされる隠れた状態に依存する。 これらの制約に対処するため,KVペアの選択的共有によるLLM間の効率的な通信を可能にする新しい通信フレームワークであるKVCommを提案する。 KVCommは、隠れた状態の落とし穴を避けながら、KVペアに符号化された豊富な情報を活用する。 ガウシアンによる注目度スコアに基づくKV層選択戦略を導入し,コミュニケーションにおいて最も有意義なKV対を特定する。 多様なタスクとモデルペアにわたる大規模な実験により、KVCommは上行法に匹敵する性能を達成し、通信なしで直接1つのモデルに入力をマージすると同時に、30倍の層のKVペアを伝達することを示した。 本研究は,KVペアがLLM間通信に有効な媒体となる可能性を強調し,スケーラブルで効率的なマルチエージェントシステムを実現することを目的とした。

関連論文リスト

• Q-KVComm: Efficient Multi-Agent Communication Via Adaptive KV Cache Compression [0.0]
  我々は,圧縮キー値(KV)キャッシュ表現をエージェント間で直接送信できる新しいプロトコルであるQ-KVCommを紹介する。 Q-KVCommはセマンティックな忠実さを維持しながら5-6倍の圧縮比を達成し、コヒーレンスの品質スコアはすべてのシナリオで0.77以上である。 我々の研究は、テキストベースの情報交換から表現ベースの情報交換へ移行し、LLMエージェント通信のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2025-11-27T10:45:41Z)
• UNCAP: Uncertainty-Guided Planning Using Natural Language Communication for Cooperative Autonomous Vehicles [79.10221881250759]
  不確実性誘導自然言語協調自律計画(UNCAP)は、視覚言語モデルに基づく計画手法である。 CAVは、意思決定における認識の不確実性を明示的に考慮しながら、軽量な自然言語メッセージを介して通信することができる。 多様な運転シナリオに対する実験では、通信帯域幅が63%減少し、運転安全スコアが31%増加し、決定の不確実性が61%減少し、衝突距離マージンが4倍増加した。
  論文  参考訳（メタデータ） (2025-10-14T21:09:09Z)
• SmallKV: Small Model Assisted Compensation of KV Cache Compression for Efficient LLM Inference [71.20542521694524]
  SmallKVはKVキャッシュ圧縮のための小型モデル補助補償法である。 本研究では,SmallKVのスループットがベースライン法よりも1.75～2.56倍高いことを示す。
  論文  参考訳（メタデータ） (2025-08-03T09:15:36Z)
• Reward-Independent Messaging for Decentralized Multi-Agent Reinforcement Learning [7.872846260392537]
  MARL-CPCは、完全に分散化された独立したエージェント間の通信を可能にするフレームワークである。 アクション空間の一部としてメッセージを扱う従来の方法とは異なり、MARL-CPCはメッセージを状態推論にリンクする。 ベンチマークの結果、Bandit-CPCとIPPO-CPCは標準的なメッセージ・アズ・アクション・アプローチよりも優れていた。
  論文  参考訳（メタデータ） (2025-05-28T05:23:47Z)
• Learning to Communicate Through Implicit Communication Channels [15.362651398484633]
  Implicit Channel Protocol (ICP) は、エージェントが暗黙の通信チャネルを通じて通信することを可能にするプロトコルである。 ICPは、スカウティングアクションと呼ばれるアクションのサブセットと、メッセージのエンコードとデコードを行うこれらのスカウティングアクション間のマッピングを利用する。 ICPは、より効率的な情報伝送によってベースライン法を著しく上回る。
  論文  参考訳（メタデータ） (2024-11-03T12:58:22Z)
• Semantic Communication for Cooperative Perception using HARQ [51.148203799109304]
  我々は重要セマンティック情報を抽出するために重要地図を活用し、協調的な知覚セマンティックコミュニケーションフレームワークを導入する。 周波数分割多重化(OFDM)とチャネル推定と等化戦略を併用して,時間変化によるマルチパスフェーディングによる課題に対処する。 我々は,ハイブリッド自動繰り返し要求(HARQ)の精神において,我々の意味コミュニケーションフレームワークと統合された新しい意味エラー検出手法を提案する。
  論文  参考訳（メタデータ） (2024-08-29T08:53:26Z)
• FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models [52.13056951033747]
  フェデレートラーニング(FL)は、異種クライアントがローカルにプライベートデータを処理し、中央サーバーと対話できるというユニークな特徴から、注目を集めている。 FLにおける重要なボトルネックは通信コストです。 我々の研究は、FLにおける通信複雑性の低減を推進した革新的なScaffnewアルゴリズムにインスパイアされている。 我々はFedComLocを導入し、実用的で効果的な圧縮をScaffnewに統合し、通信効率をさらに高める。
  論文  参考訳（メタデータ） (2024-03-14T22:29:59Z)
• Context-aware Communication for Multi-agent Reinforcement Learning [6.109127175562235]
  マルチエージェント強化学習(MARL)のための文脈認識型コミュニケーション手法を開発した。 第1段階では、エージェントは放送方式で粗い表現を交換し、第2段階のコンテキストを提供する。 その後、エージェントは第2段階の注意機構を利用し、受信機用にパーソナライズされたメッセージを選択的に生成する。 CACOMの有効性を評価するため,アクタ批判型と値に基づくMARLアルゴリズムを併用する。
  論文  参考訳（メタデータ） (2023-12-25T03:33:08Z)
• Batch Selection and Communication for Active Learning with Edge Labeling [54.64985724916654]
  コミュニケーション拘束型ベイズ能動的知識蒸留(CC-BAKD) 本研究は,コミュニケーション制約型ベイズ能動的知識蒸留(CC-BAKD)を紹介する。
  論文  参考訳（メタデータ） (2023-11-14T10:23:00Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。