論文の概要: LatComm: Reusable Context Compression for Latent Communication between Large Language Models

• arxiv url: http://arxiv.org/abs/2610.26840v1
• Date: Mon, 19 Oct 2026 17:58:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:55:31.854547
• Title: LatComm: Reusable Context Compression for Latent Communication between Large Language Models
• Title（参考訳）: LatComm: 大規模言語モデル間の遅延通信のための再利用可能なコンテキスト圧縮
• Abstract要約: いくつかの大きな言語モデル(LLM)を組み合わせるシステムは、多くの質問に一つのコンテキストを使うことが多い。 ラテント通信インタフェースであるLatCommを紹介する。 フリーズコンテクストエンコーダLLMは、コンテキストを固定サイズのパケットに圧縮し、異なるフリーズレシーバーLLMに送信し、パケットをクロスアテンションを通じて読み出し、そのプロンプトからゲートを演算する。 QuALITYでは、レシーバの入力を57倍に減らし、記事の質問に3倍早く答える。
• 参考スコア（独自算出の注目度）: 12.205103578404538
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Systems that combine several large language models (LLMs) often use one context for many questions. When the context is passed between models as text, the receiving model processes all of its tokens again for every question. Avoiding this cost requires a context representation that is compact, reusable across questions, and readable by a different LLM. Existing compression and latent communication methods each provide only some of these properties. We introduce LatComm, a Latent Communication interface that provides all three by separating encoding from reading: the context is encoded once without the question, and the receiver selects what to read for each question. A frozen context encoder LLM compresses the context into a fixed-size packet and sends it to a different frozen receiver LLM, which reads the packet through cross-attention, with gates computed from its prompt. On 12 multiple-choice question-answering datasets, LatComm improves average accuracy over single-vector baselines by up to 10.2 points. On QuALITY, it reduces the receiver's input by 57x and answers the questions of an article 3x faster.
• Abstract（参考訳）: いくつかの大きな言語モデル(LLM)を組み合わせるシステムは、多くの質問に一つのコンテキストを使うことが多い。 コンテキストがモデル間でテキストとして渡されるとき、受信モデルはすべての質問に対してすべてのトークンを処理する。 このコストを回避するには、コンパクトで、質問にまたがって再利用でき、異なるLLMで読みやすいコンテキスト表現が必要である。 既存の圧縮および潜時通信方式は、これらの特性のいくつかしか提供しない。 ラテント・コミュニケーション・インタフェースであるLatCommを紹介した。このインタフェースは、読み出しからエンコーディングを分離することで、3つすべてを提供する: コンテキストは質問なしで一度エンコードされ、受信者は各質問に対して何を読むかを選択する。 フリーズコンテクストエンコーダLLMは、コンテキストを固定サイズのパケットに圧縮し、異なるフリーズレシーバーLLMに送信し、パケットをクロスアテンションを通じて読み出し、そのプロンプトからゲートを演算する。 LatCommは12種類の質問回答データセットで、単一ベクトルベースラインの平均精度を最大10.2ポイント向上させる。 QuALITYでは、レシーバの入力を57倍に減らし、記事の質問に3倍早く答える。

関連論文リスト

• Dual-Cache Latent Space Communication between Heterogeneous Language Models [11.183066364515094]
  マルチエージェント LLM システムはモデルを分割するので、解答には他のエージェントのコンテキストに置かれる知識が必要となることが多い。 最近の潜在プロトコルは、共有者のキー値(KV)キャッシュをレシーバに変換する。 XKVはLCF-Xより26%、テキスト通信より6.8倍高速である。
  論文  参考訳（メタデータ） (2026-08-20T23:35:36Z)
• Good Agentic Friends Do Not Just Give Verbal Advice: They Can Update Your Weights [58.27172968382275]
  マルチエージェントLLMシステムは、通常自然言語メッセージを交換することで協調する。 送信者のメッセージを受信者のコンテキストに付加する代わりに、送信者の隠された状態を過渡的で受信者固有の重み摂動にコンパイルする。
  論文  参考訳（メタデータ） (2026-05-13T17:58:32Z)
• Q-KVComm: Efficient Multi-Agent Communication Via Adaptive KV Cache Compression [0.0]
  我々は,圧縮キー値(KV)キャッシュ表現をエージェント間で直接送信できる新しいプロトコルであるQ-KVCommを紹介する。 Q-KVCommはセマンティックな忠実さを維持しながら5-6倍の圧縮比を達成し、コヒーレンスの品質スコアはすべてのシナリオで0.77以上である。 我々の研究は、テキストベースの情報交換から表現ベースの情報交換へ移行し、LLMエージェント通信のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2025-11-27T10:45:41Z)
• Dynamic Chunking and Selection for Reading Comprehension of Ultra-Long Context in Large Language Models [1.5817866616624976]
  大きな言語モデル(LLM)は長いテキストを正確に読み書きするのに苦労することが多い。 現在の改善方法は、通常、長いコンテキストを固定長のチャンクに分割することに依存する。 本稿では,長いコンテキストのチャンクを動的に分離し,選択するための簡単なアプローチを提案する。
  論文  参考訳（メタデータ） (2025-06-01T01:42:40Z)
• Two are better than one: Context window extension with multi-grained self-injection [111.1376461868317]
  SharedLLMは、多粒度コンテキスト圧縮とクエリ対応情報検索の設計哲学に基づく新しいアプローチである。 本研究では,テキストチャンクの多粒度コンテキスト情報を効率的にエンコードし,保存し,検索するための木構造データ構造を提案する。
  論文  参考訳（メタデータ） (2024-10-25T06:08:59Z)
• CacheGen: KV Cache Compression and Streaming for Fast Large Language Model Serving [31.766738294505767]
  CacheGenは、大きな言語モデルのための高速なコンテキストローディングモジュールである。 カスタムテンソルエンコーダを使用して、KVキャッシュをコンパクトなビットストリーム表現にエンコードする。 KVキャッシュの異なる部分の圧縮レベルを適用して、利用可能な帯域幅の変化に対処する。
  論文  参考訳（メタデータ） (2023-10-11T07:08:20Z)
• Retrieving-to-Answer: Zero-Shot Video Question Answering with Frozen Large Language Models [69.59125732317972]
  本稿では,ビデオQAのためのシンプルで効果的な検索・回答(R2A)フレームワークを提案する。 R2Aは、まず、事前訓練されたマルチモーダルモデルを用いて、ジェネリックテキストコーパスから意味論的に類似したテキストの集合を検索する。 質問と検索されたテキストの両方で、LSMを直接使用して、望ましい回答を得ることができる。
  論文  参考訳（メタデータ） (2023-06-15T20:56:20Z)
• Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions [50.114651561111245]
  マルチステップ質問応答のための新しいアプローチであるIRCoTを提案する。 CoTのステップで検索をインターリーブし、CoTで検索を誘導し、検索結果を用いてCoTを改善する。
  論文  参考訳（メタデータ） (2022-12-20T18:26:34Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。