論文の概要: Latent Communication Between Language Model Agents: Channels, Alignment, and the Limits of Text

• arxiv url: http://arxiv.org/abs/2607.14103v1
• Date: Wed, 06 May 2026 13:12:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.008546
• Title: Latent Communication Between Language Model Agents: Channels, Alignment, and the Limits of Text
• Title（参考訳）: 言語モデルエージェント間の潜時コミュニケーション:チャンネル,アライメント,テキストの限界
• Authors: Markus Wenzel,
• Abstract要約: 複雑な概念を伝達する必要がある場合,大言語モデルはテキストの表現可能性を超えた世界モデルを持つ可能性があることを示す。 本稿では,3つの通信チャネルを構築し,概念識別情報をそれぞれ測定する。 潜在チャネルは、言語横断的な概念タスクでテキストチャネルと一致するが、それを超えることは決してない。
• 参考スコア（独自算出の注目度）: 0.4230349220081444
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multi-agent systems (MAS) are utilized in many contexts and many professions. Those MAS rely on inter-agent communication, usually implemented by clear-text message passing. We hypothesize that Large Language Models may have a world model at their disposal that exceeds expressibility in text when complex concepts need to be communicated. Our aim is to approach a proof of this hypothesis with structured experiments. In this work, we show that LLM agents communicating via text lose information, which we quantify via Sparse Autoencoder (SAE) feature analysis. We construct three communication channels and measure concept-discriminating information in each. We first show that the SAE-sparse channel retains a 99.4% probe accuracy at 28-fold compression over the dense-latent channel vs 80.4% for the text channel. We then proceed to examine the same for cross-architecture communication by using sparse latent space alignment. We find for Procrustes alignment a 92% top-1 retrieval between Llama and Mistral. Using a text round-trip, we perform feature survival analysis to find that text serialization destroys 88% of SAE features, replacing them with a different feature set. We attribute the loss to identity replacement, not attenuation. By our analysis, we were able to attribute a 3-10pp performance penalty to the linear Procrustes alignment, improving with nonlinear alignment methods. In a task-level evaluation we find that the latent channel matches the text channel on cross-lingual concept tasks but never exceeds it. Text augmentation with latent features provides no benefit, leading us to negative conclusions for the initial hypothesis: lost features mostly or completely encode surface form, not task-relevant semantics. To pinpoint the practical advantage of latent communication over a text channel, deeper tasks eliciting complex concepts and an corresponding analysis framework are needed.
• Abstract（参考訳）: マルチエージェントシステム(MAS)は、多くのコンテキストや多くの専門職で利用されている。 これらのMASはエージェント間通信に依存しており、通常はクリアテキストメッセージパッシングによって実装される。 我々は、複雑な概念を伝達する必要がある場合に、テキストの表現可能性を超えた世界モデルが存在するかもしれないと仮定する。 我々の目標は、この仮説を構造化実験で証明することである。 本研究では,Sparse Autoencoder (SAE) 機能解析により,テキストを介して通信するLLMエージェントが情報を失うことを示す。 本稿では,3つの通信チャネルを構築し,概念識別情報をそれぞれ測定する。 まず、SAEスパースチャネルは、高密度遅延チャネルよりも28倍の圧縮率で99.4%のプローブ精度を保ち、テキストチャネルは80.4%であることを示す。 次に, 疎遅延空間アライメントを用いて, クロスアーキテクチャ通信について検討する。 我々は,ラマとミストラルの間の92%のTop-1検索をProcrustesアライメントで確認した。 テキスト・ラウンドトリップを用いて,テキスト・サバイバル分析を行い,テキスト・シリアライゼーションがSAE機能の88%を破壊し,異なる機能セットで置き換えることを確認した。 私たちはその損失は個人認証の置き換えによるもので、減衰ではない。 解析により,線形プロクリストアライメントに310ppのペナルティを負わせることができ,非線形アライメント法により改善した。 タスクレベルの評価では、潜在チャネルは、言語横断的な概念タスクにおいてテキストチャネルと一致するが、それを超えることはない。 潜在機能によるテキスト拡張は、利益をもたらすものではなく、初期仮説の否定的な結論に繋がる: タスク関連セマンティクスではなく、主に、または完全に、表面形式をコード化する。 テキストチャネル上での潜在的コミュニケーションの実践的利点を見極めるには、複雑な概念とそれに対応する分析フレームワークの深いタスクが必要である。

関連論文リスト

• Explainable Semantic Textual Similarity via Dissimilar Span Detection [53.32175252285023]
  テキストのペア間で意味的に異なるスパンを識別することを目的として,DSD(Dissimilar Span Detection)タスクを導入する。 これにより、ユーザーはどの特定の単語やトークンが類似度スコアに悪影響を及ぼすかを理解したり、STS依存のダウンストリームタスクのパフォーマンス向上に使用することができる。
  論文  参考訳（メタデータ） (2026-03-22T11:32:31Z)
• A Text is Worth Several Tokens: Text Embedding from LLMs Secretly Aligns Well with The Key Tokens [20.37803751979975]
  テキストを大きな言語モデルベースの埋め込み器に入力すると、得られたテキストの埋め込みは入力テキストのキートークンと一致させることができる。 この現象は普遍的であり,モデルアーキテクチャ,トレーニング戦略,埋め込み手法の影響を受けないことを示す。
  論文  参考訳（メタデータ） (2024-06-25T08:55:12Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。