論文の概要: Latent Communication Between Language Model Agents: Channels, Alignment, and the Limits of Text

• arxiv url: http://arxiv.org/abs/2607.14103v1
• Date: Wed, 06 May 2026 13:12:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.008546
• Title: Latent Communication Between Language Model Agents: Channels, Alignment, and the Limits of Text
• Title（参考訳）: 言語モデルエージェント間の潜時コミュニケーション:チャンネル,アライメント,テキストの限界
• Abstract要約: 複雑な概念を伝達する必要がある場合,大言語モデルはテキストの表現可能性を超えた世界モデルを持つ可能性があることを示す。 本稿では,3つの通信チャネルを構築し,概念識別情報をそれぞれ測定する。 潜在チャネルは、言語横断的な概念タスクでテキストチャネルと一致するが、それを超えることは決してない。
• 参考スコア（独自算出の注目度）: 0.4230349220081444
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multi-agent systems (MAS) are utilized in many contexts and many professions. Those MAS rely on inter-agent communication, usually implemented by clear-text message passing. We hypothesize that Large Language Models may have a world model at their disposal that exceeds expressibility in text when complex concepts need to be communicated. Our aim is to approach a proof of this hypothesis with structured experiments. In this work, we show that LLM agents communicating via text lose information, which we quantify via Sparse Autoencoder (SAE) feature analysis. We construct three communication channels and measure concept-discriminating information in each. We first show that the SAE-sparse channel retains a 99.4% probe accuracy at 28-fold compression over the dense-latent channel vs 80.4% for the text channel. We then proceed to examine the same for cross-architecture communication by using sparse latent space alignment. We find for Procrustes alignment a 92% top-1 retrieval between Llama and Mistral. Using a text round-trip, we perform feature survival analysis to find that text serialization destroys 88% of SAE features, replacing them with a different feature set. We attribute the loss to identity replacement, not attenuation. By our analysis, we were able to attribute a 3-10pp performance penalty to the linear Procrustes alignment, improving with nonlinear alignment methods. In a task-level evaluation we find that the latent channel matches the text channel on cross-lingual concept tasks but never exceeds it. Text augmentation with latent features provides no benefit, leading us to negative conclusions for the initial hypothesis: lost features mostly or completely encode surface form, not task-relevant semantics. To pinpoint the practical advantage of latent communication over a text channel, deeper tasks eliciting complex concepts and an corresponding analysis framework are needed.
• Abstract（参考訳）: マルチエージェントシステム(MAS)は、多くのコンテキストや多くの専門職で利用されている。 これらのMASはエージェント間通信に依存しており、通常はクリアテキストメッセージパッシングによって実装される。 我々は、複雑な概念を伝達する必要がある場合に、テキストの表現可能性を超えた世界モデルが存在するかもしれないと仮定する。 我々の目標は、この仮説を構造化実験で証明することである。 本研究では,Sparse Autoencoder (SAE) 機能解析により,テキストを介して通信するLLMエージェントが情報を失うことを示す。 本稿では,3つの通信チャネルを構築し,概念識別情報をそれぞれ測定する。 まず、SAEスパースチャネルは、高密度遅延チャネルよりも28倍の圧縮率で99.4%のプローブ精度を保ち、テキストチャネルは80.4%であることを示す。 次に, 疎遅延空間アライメントを用いて, クロスアーキテクチャ通信について検討する。 我々は,ラマとミストラルの間の92%のTop-1検索をProcrustesアライメントで確認した。 テキスト・ラウンドトリップを用いて,テキスト・サバイバル分析を行い,テキスト・シリアライゼーションがSAE機能の88%を破壊し,異なる機能セットで置き換えることを確認した。 私たちはその損失は個人認証の置き換えによるもので、減衰ではない。 解析により,線形プロクリストアライメントに310ppのペナルティを負わせることができ,非線形アライメント法により改善した。 タスクレベルの評価では、潜在チャネルは、言語横断的な概念タスクにおいてテキストチャネルと一致するが、それを超えることはない。 潜在機能によるテキスト拡張は、利益をもたらすものではなく、初期仮説の否定的な結論に繋がる: タスク関連セマンティクスではなく、主に、または完全に、表面形式をコード化する。 テキストチャネル上での潜在的コミュニケーションの実践的利点を見極めるには、複雑な概念とそれに対応する分析フレームワークの深いタスクが必要である。

関連論文リスト

• Beyond tokens: a unified framework for latent communication in LLM-based multi-agent systems [0.65268245109828]
  大規模言語モデル(LLM)上に構築されたマルチエージェントシステムは、複雑な推論、計画、ツール使用タスクに対処するための主要なパラダイムとなっている。 このようなシステムにおける主要な通信プロトコルは自然言語である: エージェントはメッセージのトークン・バイ・トークンを交換し、同僚が読み、検証し、応答できるように内部の推論を口述する。 エージェントは、テキスト生成のボトルネックを回避して、連続的な表現を直接交換する。 本稿では,潜時コミュニケーションの急速な発展をめざした文献を整理するための統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2026-06-04T05:10:20Z)
• Explainable Semantic Textual Similarity via Dissimilar Span Detection [53.32175252285023]
  テキストのペア間で意味的に異なるスパンを識別することを目的として,DSD(Dissimilar Span Detection)タスクを導入する。 これにより、ユーザーはどの特定の単語やトークンが類似度スコアに悪影響を及ぼすかを理解したり、STS依存のダウンストリームタスクのパフォーマンス向上に使用することができる。
  論文  参考訳（メタデータ） (2026-03-22T11:32:31Z)
• Closing the Gap Between Text and Speech Understanding in LLMs [28.538793793887223]
  大規模言語モデルは、テキスト機能を音声入力に拡張するために適応することができる。 これらの言語適応型LLMは、テキストベースのものよりも一貫して性能が劣っている。 SALAD-Sample- efficient Alignment with Learning through Active selection and cross-modal Distillation。
  論文  参考訳（メタデータ） (2025-10-15T14:57:16Z)
• Diversity Boosts AI-Generated Text Detection [51.56484100374058]
  DivEyeは、予備的な機能を使って、予測不可能がテキスト間でどのように変動するかをキャプチャする、新しいフレームワークである。 提案手法は、既存のゼロショット検出器を最大33.2%向上させ、微調整ベースラインとの競合性能を達成する。
  論文  参考訳（メタデータ） (2025-09-23T10:21:22Z)
• A Text is Worth Several Tokens: Text Embedding from LLMs Secretly Aligns Well with The Key Tokens [20.37803751979975]
  テキストを大きな言語モデルベースの埋め込み器に入力すると、得られたテキストの埋め込みは入力テキストのキートークンと一致させることができる。 この現象は普遍的であり,モデルアーキテクチャ,トレーニング戦略,埋め込み手法の影響を受けないことを示す。
  論文  参考訳（メタデータ） (2024-06-25T08:55:12Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• UATVR: Uncertainty-Adaptive Text-Video Retrieval [90.8952122146241]
  一般的なプラクティスは、テキストとビデオのペアを同じ埋め込みスペースに転送し、特定のエンティティとのクロスモーダルなインタラクションを構築することである。 UATVRと呼ばれる不確実性言語によるテキスト・ビデオ検索手法を提案し、各ルックアップを分布マッチング手順としてモデル化する。
  論文  参考訳（メタデータ） (2023-01-16T08:43:17Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。