論文の概要: Draft-KV: Learning Useful Latent Communication Between Language Models

• arxiv url: http://arxiv.org/abs/2609.34754v1
• Date: Mon, 28 Sep 2026 09:42:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 03:09:04.386156
• Title: Draft-KV: Learning Useful Latent Communication Between Language Models
• Title（参考訳）: Draft-KV: 言語モデル間の有用な潜在コミュニケーションを学習する
• Abstract要約: 通信は、復号されたテキストではなく、言語モデル間の内部状態を渡す。 Qwen3-8Bシェアリングでは、冷凍されたQwen2.5-0.5Bインストラクト受信機はMMLU-Reduxで78.04%、37.45%が単独で36.40%が再割り当てメッセージである。
• 参考スコア（独自算出の注目度）: 37.232258163056414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Latent communication passes internal states between language models instead of decoded text, but higher receiver accuracy does not show that the receiver used the message content. Across five method-dataset pairs, replacing each message with one from an unrelated question changes accuracy by at most 0.60 points, even when communication adds 15.44 points over the receiver alone. Thus the interface can supply the gain while making the sharer dispensable. Draft-KV instead sends the key-value states formed while the sharer drafts an answer to the current question. Linear projections place these states in a side memory read through a gated attention branch, and progressive training moves from message reconstruction to answer supervision under a guard on harm from mismatched messages. Both models remain frozen and the interface trains 1.05M parameters, 348x fewer than C2C. With a Qwen3-8B sharer, a frozen Qwen2.5-0.5B-Instruct receiver reaches 78.04% on MMLU-Redux, versus 37.45% alone and 36.40% with reassigned messages. At fixed interface size, scaling the sharer from 0.6B to 8B raises accuracy from 46.11% to 78.04%; communication also transfers to held-out tasks and can exceed both models when each holds different evidence.
• Abstract（参考訳）: 遅延通信は、復号されたテキストの代わりに言語モデル間の内部状態を渡すが、高い受信精度は受信者がメッセージコンテンツを使用することを示すものではない。 5つのメソッド・データセット・ペアにまたがって、各メッセージを無関係な質問から1つに置き換えると、通信が受信者のみに15.44ポイント追加しても、少なくとも0.60ポイントの精度が変化する。 これにより、インタフェースは、シェアリングを不要にしつつ、利得を供給できる。 ドラフト-KVは代わりにキーバリュー状態を送り、株主は現在の質問に対する回答をドラフトする。 リニアプロジェクションでは、これらの状態をサイドメモリに配置し、ゲートされたアテンションブランチを通じて読み取る。 どちらのモデルも凍結状態であり、インタフェースはC2Cより348倍少ない1.05Mパラメータを訓練している。 Qwen3-8Bシェアリングでは、冷凍されたQwen2.5-0.5Bインストラクト受信機はMMLU-Reduxで78.04%、37.45%が単独で36.40%が再割り当てメッセージである。 インタフェースサイズが固定された場合、シェアラーを0.6Bから8Bにスケーリングすると、精度は46.11%から78.04%に向上する。

関連論文リスト

• Despite Instructions: Frontier Agents Improvise Covert Channels at Test Time [64.61749234961134]
  セキュリティに敏感なアプリケーションでは、言語モデルエージェントは機密情報を開示することなく調整する必要があることが多い。 送信者が4つの秘密状態のうちの1つを観測し、同一の公開レポートの4つの要約のうちの1つを選択する。 モデルペアは、受信機が正しく推測したかどうかを示す1ビットのフィードバックのみを使用して、秘密を伝えることができる。
  論文  参考訳（メタデータ） (2026-09-26T15:06:44Z)
• LatentPort: Beyond KV Cache - Cross-Model Transfer of Recurrent Memory in Hybrid Language Models: A 4B-to-9B Hybrid-State Handoff Without Target Prefix Replay [0.0]
  これは、異なる言語モデル間で持続的な再帰的推論状態を示す最初のクロスモデルハンドオフである。 直接リカレントと畳み込みの再利用は、テストされたGDNマップよりも優れている。
  論文  参考訳（メタデータ） (2026-09-07T03:57:29Z)
• Dual-Cache Latent Space Communication between Heterogeneous Language Models [11.183066364515094]
  マルチエージェント LLM システムはモデルを分割するので、解答には他のエージェントのコンテキストに置かれる知識が必要となることが多い。 最近の潜在プロトコルは、共有者のキー値(KV)キャッシュをレシーバに変換する。 XKVはLCF-Xより26%、テキスト通信より6.8倍高速である。
  論文  参考訳（メタデータ） (2026-08-20T23:35:36Z)
• StateBridge: Training-free Hidden-state Alignment for Latent Communication in LLM Multi-Agent Systems [35.74603358195608]
  本稿では,送信者の隠れ状態と受信者の入力空間をクローズドフォーム変換により整列する訓練不要の潜時通信手法を提案する。 StateBridgeは26組のモデル・タスク・ペアのうち22組でベストまたはタイト・ベストのスコアを獲得している。
  論文  参考訳（メタデータ） (2026-08-13T14:40:59Z)
• Post-Hoc Sparse Coding of Latent Communication Between Vision-Language Model Agents [4.556640962276085]
  Vision Wormhole は、視覚的特徴を他のモデルで使用可能な普遍的な潜在表現に変換することで、このアプローチを実現している。 すべてのメッセージは、その内容に関係なく、同じ大きさの密度のテンソルとして転送される。 この観察は、通信チャネルが実質的に圧縮可能であることを示唆している。
  論文  参考訳（メタデータ） (2026-08-10T20:16:38Z)
• When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning [73.56343820592399]
  本稿では,視覚的タスクセマンティックス(VTS, Visualized Task Semantics)について紹介する。 6つのMLLMと4つのベンチマークで、24のモデルとタスクのペアの精度は平均17.8ポイント低下した。 本稿では,質問領域を型付きセマンティクスと整合させ,そのクリーンな表現をマスクビューから復元するプロンプト領域グラウンドを提案する。
  論文  参考訳（メタデータ） (2026-08-05T11:46:15Z)
• Voice Memory for Agentic Speech Recognition [66.69623133635868]
  エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。 同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。 10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
  論文  参考訳（メタデータ） (2026-07-29T02:42:56Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• Good Agentic Friends Do Not Just Give Verbal Advice: They Can Update Your Weights [58.27172968382275]
  マルチエージェントLLMシステムは、通常自然言語メッセージを交換することで協調する。 送信者のメッセージを受信者のコンテキストに付加する代わりに、送信者の隠された状態を過渡的で受信者固有の重み摂動にコンパイルする。
  論文  参考訳（メタデータ） (2026-05-13T17:58:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。