論文の概要: KVComm: Enabling Efficient LLM Communication through Selective KV Sharing

• arxiv url: http://arxiv.org/abs/2510.03346v1
• Date: Thu, 02 Oct 2025 16:01:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:58.917593
• Title: KVComm: Enabling Efficient LLM Communication through Selective KV Sharing
• Title（参考訳）: KVComm:選択的なKV共有による効率的なLLM通信の実現
• Authors: Xiangyu Shi, Marco Chiesa, Gerald Q. Maguire Jr., Dejan Kostic,
• Abstract要約: 大規模言語モデル(LLM)は、効果的なモデル間通信が不可欠であるマルチエージェントシステムにおいて、ますます多くデプロイされている。 我々は,KVペアの選択的共有により,LLM間の効率的な通信を可能にする新しいフレームワークであるKVCommを提案する。 本研究は,KVペアがLLM間通信に有効な媒体となる可能性を強調し,スケーラブルで効率的なマルチエージェントシステムを実現することを目的とした。
• 参考スコア（独自算出の注目度）: 5.08081184831007
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly deployed in multi-agent systems, where effective inter-model communication is crucial. Existing communication protocols either rely on natural language, incurring high inference costs and information loss, or on hidden states, which suffer from information concentration bias and inefficiency. To address these limitations, we propose KVComm, a novel communication framework that enables efficient communication between LLMs through selective sharing of KV pairs. KVComm leverages the rich information encoded in the KV pairs while avoiding the pitfalls of hidden states. We introduce a KV layer-wise selection strategy based on attention importance scores with a Gaussian prior to identify the most informative KV pairs for communication. Extensive experiments across diverse tasks and model pairs demonstrate that KVComm achieves comparable performance to the upper-bound method, which directly merges inputs to one model without any communication, while transmitting as few as 30\% of layers' KV pairs. Our study highlights the potential of KV pairs as an effective medium for inter-LLM communication, paving the way for scalable and efficient multi-agent systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、効果的なモデル間通信が不可欠であるマルチエージェントシステムにおいて、ますます多くデプロイされている。 既存の通信プロトコルは自然言語に依存するか、高い推論コストと情報損失をもたらすか、あるいは情報集中バイアスと非効率に悩まされる隠れた状態に依存する。 これらの制約に対処するため,KVペアの選択的共有によるLLM間の効率的な通信を可能にする新しい通信フレームワークであるKVCommを提案する。 KVCommは、隠れた状態の落とし穴を避けながら、KVペアに符号化された豊富な情報を活用する。 ガウシアンによる注目度スコアに基づくKV層選択戦略を導入し,コミュニケーションにおいて最も有意義なKV対を特定する。 多様なタスクとモデルペアにわたる大規模な実験により、KVCommは上行法に匹敵する性能を達成し、通信なしで直接1つのモデルに入力をマージすると同時に、30倍の層のKVペアを伝達することを示した。 本研究は,KVペアがLLM間通信に有効な媒体となる可能性を強調し,スケーラブルで効率的なマルチエージェントシステムを実現することを目的とした。

関連論文リスト

• SmallKV: Small Model Assisted Compensation of KV Cache Compression for Efficient LLM Inference [71.20542521694524]
  SmallKVはKVキャッシュ圧縮のための小型モデル補助補償法である。 本研究では,SmallKVのスループットがベースライン法よりも1.75～2.56倍高いことを示す。
  論文  参考訳（メタデータ） (2025-08-03T09:15:36Z)
• Learning to Communicate Through Implicit Communication Channels [15.362651398484633]
  Implicit Channel Protocol (ICP) は、エージェントが暗黙の通信チャネルを通じて通信することを可能にするプロトコルである。 ICPは、スカウティングアクションと呼ばれるアクションのサブセットと、メッセージのエンコードとデコードを行うこれらのスカウティングアクション間のマッピングを利用する。 ICPは、より効率的な情報伝送によってベースライン法を著しく上回る。
  論文  参考訳（メタデータ） (2024-11-03T12:58:22Z)
• Semantic Communication for Cooperative Perception using HARQ [51.148203799109304]
  我々は重要セマンティック情報を抽出するために重要地図を活用し、協調的な知覚セマンティックコミュニケーションフレームワークを導入する。 周波数分割多重化(OFDM)とチャネル推定と等化戦略を併用して,時間変化によるマルチパスフェーディングによる課題に対処する。 我々は,ハイブリッド自動繰り返し要求(HARQ)の精神において,我々の意味コミュニケーションフレームワークと統合された新しい意味エラー検出手法を提案する。
  論文  参考訳（メタデータ） (2024-08-29T08:53:26Z)
• Context-aware Communication for Multi-agent Reinforcement Learning [6.109127175562235]
  マルチエージェント強化学習(MARL)のための文脈認識型コミュニケーション手法を開発した。 第1段階では、エージェントは放送方式で粗い表現を交換し、第2段階のコンテキストを提供する。 その後、エージェントは第2段階の注意機構を利用し、受信機用にパーソナライズされたメッセージを選択的に生成する。 CACOMの有効性を評価するため,アクタ批判型と値に基づくMARLアルゴリズムを併用する。
  論文  参考訳（メタデータ） (2023-12-25T03:33:08Z)
• Batch Selection and Communication for Active Learning with Edge Labeling [54.64985724916654]
  コミュニケーション拘束型ベイズ能動的知識蒸留(CC-BAKD) 本研究は,コミュニケーション制約型ベイズ能動的知識蒸留(CC-BAKD)を紹介する。
  論文  参考訳（メタデータ） (2023-11-14T10:23:00Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。