論文の概要: Learning to Communicate Across Modalities: Perceptual Heterogeneity in Multi-Agent Systems

• arxiv url: http://arxiv.org/abs/2601.22041v1
• Date: Thu, 29 Jan 2026 17:45:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:50.05713
• Title: Learning to Communicate Across Modalities: Perceptual Heterogeneity in Multi-Agent Systems
• Title（参考訳）: モダリティ間のコミュニケーションを学ぶ:マルチエージェントシステムにおける知覚的不均一性
• Authors: Naomi Pitzer, Daniela Mihai,
• Abstract要約: エージェントがモジュール性や知覚的グラウンドの欠如が異なる異種多段階のバイナリ通信ゲームについて検討する。 知覚的ミスアライメントにもかかわらず、マルチモーダルシステムは知覚的入力を基礎としたクラス一貫性メッセージに収束する。 この研究は、エージェントが不均一なモダリティを越えて表現を適応し、伝達する方法を研究するための枠組みとして、創発的なコミュニケーションを位置づけている。
• 参考スコア（独自算出の注目度）: 0.8594140167290095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emergent communication offers insight into how agents develop shared structured representations, yet most research assumes homogeneous modalities or aligned representational spaces, overlooking the perceptual heterogeneity of real-world settings. We study a heterogeneous multi-step binary communication game where agents differ in modality and lack perceptual grounding. Despite perceptual misalignment, multimodal systems converge to class-consistent messages grounded in perceptual input. Unimodal systems communicate more efficiently, using fewer bits and achieving lower classification entropy, while multimodal agents require greater information exchange and exhibit higher uncertainty. Bit perturbation experiments provide strong evidence that meaning is encoded in a distributional rather than compositional manner, as each bit's contribution depends on its surrounding pattern. Finally, interoperability analyses show that systems trained in different perceptual worlds fail to directly communicate, but limited fine-tuning enables successful cross-system communication. This work positions emergent communication as a framework for studying how agents adapt and transfer representations across heterogeneous modalities, opening new directions for both theory and experimentation.
• Abstract（参考訳）: 創発的なコミュニケーションは、エージェントが共有構造化された表現を開発する方法に関する洞察を与えるが、ほとんどの研究は、現実世界の設定の知覚的不均一性を見越して、均質なモダリティや整列した表現空間を前提としている。 エージェントがモジュール性や知覚的グラウンドの欠如が異なる異種多段階のバイナリ通信ゲームについて検討する。 知覚的ミスアライメントにもかかわらず、マルチモーダルシステムは知覚的入力を基礎としたクラス一貫性メッセージに収束する。 一様系はより効率的に通信し、ビットを減らし、分類エントロピーを低くする一方、マルチモーダル系は情報交換をより大きくし、高い不確実性を示す。 ビット摂動実験は、各ビットの寄与が周囲のパターンに依存するため、意味が構成的ではなく分布的に符号化されているという強い証拠を与える。 最後に、相互運用分析により、異なる知覚界で訓練されたシステムは直接通信できないが、微調整の制限によりシステム間通信が成功していることが示された。 この研究は、エージェントが不均一なモダリティを越えて表現を適応し、伝達する方法を研究するための枠組みとして創発的なコミュニケーションを位置づけ、理論と実験の両方のための新しい方向を開く。

関連論文リスト

• Communication Methods in Multi-Agent Reinforcement Learning [0.0]
  本稿では,マルチエージェント強化学習におけるコミュニケーション技術の概要について述べる。 このトピックに関する29の出版物の詳細な分析により、明示的、暗黙的、注目的、グラフ的、階層的/ロール的コミュニケーションの長所と短所が評価される。
  論文  参考訳（メタデータ） (2026-01-19T09:39:00Z)
• InterAgent: Physics-based Multi-agent Command Execution via Diffusion on Interaction Graphs [72.5651722107621]
  InterAgentはテキスト駆動型物理ベースのマルチエージェントヒューマノイド制御のためのエンドツーエンドフレームワークである。 本稿では,マルチストリームブロックを備えた自己回帰拡散トランスフォーマーを提案する。 また,空間依存性の微粒化を明示的に捉えた対話グラフのエクスセプション表現を提案する。
  論文  参考訳（メタデータ） (2025-12-08T10:46:01Z)
• Multi-Modal Manipulation via Multi-Modal Policy Consensus [62.49978559936122]
  本稿では,ロボット操作のための多様な感覚モダリティを統合するための新しいアプローチを提案する。 提案手法は,それぞれが単一の表現に特化している拡散モデルの集合にポリシーを分解する。 我々は、RLBenchにおけるシミュレーション操作タスクと、隠蔽対象のピック、手作業のスプーン再配向、パズル挿入といった実世界のタスクについて評価した。
  論文  参考訳（メタデータ） (2025-09-27T19:43:04Z)
• Bidirectional Emergent Language in Situated Environments [4.950411915351642]
  マルチエージェントポンとコレクターの2つの新しい協調環境を紹介した。 最適なパフォーマンスには通信プロトコルの出現が必要ですが、適度な成功はそれなしで達成できます。 エージェントは意味のあるメッセージのみを生成し、調整なしでは成功できない状態の受信メッセージに作用する。
  論文  参考訳（メタデータ） (2024-08-26T21:25:44Z)
• Emergent Quantized Communication [34.31732248872158]
  本稿では,メッセージの量子化という,離散的なコミュニケーションを実現するための代替手法を提案する。 メッセージの量子化により、モデルのエンドツーエンドのトレーニングが可能になり、複数のセットアップで優れたパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2022-11-04T12:39:45Z)
• Interpretation of Emergent Communication in Heterogeneous Collaborative Embodied Agents [83.52684405389445]
  本稿では,コラボレーティブな多目的ナビゲーションタスクCoMONを紹介する。 この課題において、オラクルエージェントは、地図の形式で詳細な環境情報を有する。 視覚的に環境を知覚するナビゲーターエージェントと通信し、目標のシーケンスを見つけるのが任務である。 創発的コミュニケーションはエージェントの観察と3次元環境の空間構造に基礎を置くことができることを示す。
  論文  参考訳（メタデータ） (2021-10-12T06:56:11Z)
• Learning to Communicate and Correct Pose Errors [75.03747122616605]
  本稿では、V2VNetで提案された設定について検討し、近くにある自動運転車が共同で物体検出と動き予測を協調的に行う方法を提案する。 本稿では,コミュニケーションを学習し,潜在的な誤りを推定し,それらの誤りについてコンセンサスを得るための新しいニューラルネットワーク推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-10T18:19:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。