論文の概要: Emergent Communication between Heterogeneous Visual Agents through Decentralized Learning

• arxiv url: http://arxiv.org/abs/2605.11695v1
• Date: Tue, 12 May 2026 07:51:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.67978
• Title: Emergent Communication between Heterogeneous Visual Agents through Decentralized Learning
• Title（参考訳）: 分散学習による異種視覚エージェント間の創発的コミュニケーション
• Authors: Mikako Ochiai, Masatoshi Nagano, Tadahiro Taniguchi,
• Abstract要約: 分散学習による異種視覚エージェント間の創発的コミュニケーションについて検討する。 この設定は、創発的コミュニケーションの未発見の側面に焦点を当てている。 MHCG(Metropolis-Hastings Captioning Game)におけるこの設定のインスタンス化
• 参考スコア（独自算出の注目度）: 7.6594584749768835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Symbols are shared, but perception is private. We study emergent communication between heterogeneous visual agents through decentralized learning, asking what visual information can become shareable when agents have different visual representations. Instead of optimizing messages through a shared external communicative objective, our agents exchange only discrete token sequences and update their own models using local perceptual evidence. This setting focuses on an underexplored aspect of emergent communication, examining whether common symbols can arise without shared perceptual access, and how the similarity between private visual spaces constrains the content and symmetry of the resulting language. We instantiate this setting in the Metropolis-Hastings Captioning Game (MHCG), where two agents collaboratively form shared captions by exchanging proposed token sequences that a listener accepts or rejects using an MH-style criterion evaluated against its own visual features. We compare three pairings of frozen visual encoders, with agents starting from randomly initialized text modules. Experiments on MS-COCO show that MHCG produces visually informative shared token sequences that outperform a no-communication baseline in cross-agent alignment, visual-feature prediction, and image-text retrieval; all cross-agent metrics decline as encoder mismatch increases. Moderate encoder heterogeneity reduces the number of shared sequences while preserving per-sequence visual specificity, whereas stronger encoder heterogeneity yields fewer, coarser, and more asymmetric sequences. Ablations show that listener-side MH acceptance is critical for avoiding degenerate token formation. These results suggest that shared symbols can arise from local perceptual evaluation alone, with visual representational similarity across encoders shaping both the content and symmetry of the resulting language.
• Abstract（参考訳）: シンボルは共有されるが、知覚はプライベートである。 我々は,異種視覚エージェント間の創発的コミュニケーションを分散学習を通じて研究し,エージェントが異なる視覚表現を持つ場合の視覚情報の共有性について質問する。 我々のエージェントは、共有された外部通信目的を通じてメッセージを最適化する代わりに、個別のトークンシーケンスのみを交換し、ローカルな知覚的証拠を使用して独自のモデルを更新します。 この設定は、創発的コミュニケーションの未解明の側面に焦点を当て、共通のシンボルが知覚的アクセスを共有せずに生まれるかどうか、そして、プライベートな視覚空間間の類似性が、結果の言語の内容と対称性をいかに制約するかを調べる。 この設定をMetropolis-Hastings Captioning Game (MHCG) でインスタンス化し、2人のエージェントが共謀して共有キャプションを形成する。 凍結した視覚エンコーダの3つのペアをランダムに初期化したテキストモジュールから始まるエージェントと比較する。 MS-COCOの実験では、MHCGは、横断エージェントアライメント、視覚特徴予測、画像テキスト検索において非コミュニケーションベースラインを上回る、視覚的に有意な共有トークンシーケンスを生成する。 モデレートエンコーダの不均一性は、シーケンスごとの視覚的特異性を保ちながら共有配列の数を減らす一方、より強いエンコーダの不均一性はより少ない、粗い、より非対称なシーケンスをもたらす。 アブレーションは、リスナー側MHの受容がトークン生成の退化を避けるために重要であることを示している。 これらの結果から,共有シンボルは局所的な知覚的評価のみから発生し,エンコーダ間の視覚的表現的類似性は,結果言語の内容と対称性の両方を形作る可能性が示唆された。

関連論文リスト

• Mind-the-Glitch: Visual Correspondence for Detecting Inconsistencies in Subject-Driven Generation [120.23172120151821]
  本稿では,事前学習した拡散モデルのバックボーンから視覚的特徴と意味的特徴を分離するための新しいアプローチを提案する。 注釈付きセマンティックと視覚対応を備えた画像ペアを構築する自動パイプラインを導入する。 被験者駆動画像生成における視覚的不整合を定量化する新しい指標であるビジュアルセマンティックマッチングを提案する。
  論文  参考訳（メタデータ） (2025-09-26T07:11:55Z)
• Open-Vocabulary HOI Detection with Interaction-aware Prompt and Concept Calibration [42.24582981160835]
  オープンヒューマンオブジェクトインタラクション(HOI)は、人間とオブジェクト間のインタラクションを検出することを目的としている。 現在の手法はビジョンと言語モデル(VLM)に頼っていることが多いが、最適な画像エンコーダによる課題に直面している。 Interaction-aware Prompting with Concept (INP-CC) を提案する。
  論文  参考訳（メタデータ） (2025-08-05T08:33:58Z)
• Implicit Counterfactual Learning for Audio-Visual Segmentation [50.69377287012591]
  我々は,非バイアスの相互理解を実現するために,暗黙の対実的枠組み(ICF)を提案する。 意味論の欠如により、異種表現は誤った一致につながる可能性がある。 モダリティ共有空間を確立するために,ビデオ,セグメント,フレームレベルを含む多粒性暗黙テキスト(MIT)をブリッジとして導入する。
  論文  参考訳（メタデータ） (2025-07-28T11:46:35Z)
• Image Tokens Matter: Mitigating Hallucination in Discrete Tokenizer-based Large Vision-Language Models via Latent Editing [39.969451863788464]
  LVLM(Large Vision-Language Models)は、視覚入力を有限のトークン集合に符号化することで、マルチモーダル表現を統一する。 これらのモデルは、まだ存在しないオブジェクトを幻覚させる。 生成中の潜像埋め込みを変更することで、視覚的に欠落したトークンの影響を抑える幻覚緩和法を提案する。
  論文  参考訳（メタデータ） (2025-05-24T22:36:15Z)
• Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
  大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。 LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。 本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
  論文  参考訳（メタデータ） (2025-01-03T17:56:28Z)
• Unified Local and Global Attention Interaction Modeling for Vision Transformers [1.9571946424055506]
  本稿では,視覚変換器(ViT)の自己認識機構を拡張し,多様なデータセット間でより正確な物体検出を行う手法を提案する。 ViTは、オブジェクト検出、セグメンテーション、分類などの画像理解タスクに強力な能力を示す。 従来の自己意識フレームワークには,局所的特徴混合のための新たなアグレッシブ・コンボリューション・プール戦略と,新たな概念的アテンション・トランスフォーメーションという,2つの改良が加えられている。
  論文  参考訳（メタデータ） (2024-12-25T04:53:19Z)
• Collaborative Group: Composed Image Retrieval via Consensus Learning from Noisy Annotations [67.92679668612858]
  我々は,集団が個人より優れているという心理的概念に触発されたコンセンサスネットワーク(Css-Net)を提案する。 Css-Netは,(1)コンセンサスモジュールと4つのコンセンサスモジュール,(2)コンセンサス間の相互作用の学習を促進するKulback-Leibler分散損失の2つのコアコンポーネントから構成される。 ベンチマークデータセット、特にFashionIQでは、Css-Netが大幅に改善されている。特に、R@10が2.77%、R@50が6.67%増加し、リコールが大幅に向上している。
  論文  参考訳（メタデータ） (2023-06-03T11:50:44Z)
• Stacked Hybrid-Attention and Group Collaborative Learning for Unbiased Scene Graph Generation [62.96628432641806]
  Scene Graph Generationは、まず与えられた画像内の視覚的コンテンツをエンコードし、次にそれらをコンパクトな要約グラフに解析することを目的としている。 まず,モーダル内改良とモーダル間相互作用を容易にする新しいスタック型ハイブリッド・アテンションネットワークを提案する。 次に、デコーダを最適化するための革新的なグループ協調学習戦略を考案する。
  論文  参考訳（メタデータ） (2022-03-18T09:14:13Z)
• On (Emergent) Systematic Generalisation and Compositionality in Visual Referential Games with Straight-Through Gumbel-Softmax Estimator [0.30458514384586394]
  2人(またはそれ以上)のエージェントが非視覚的な参照ゲームを行うと、構成性のドライバが現れる。 本稿では,ST-GSの文脈において,これまでフィールドで認識されてきた構成性の要因がどの程度適用されているかを検討する。 st-gsアプローチを小さなバッチサイズとオーバーコンプリート通信チャネルで使用することで、新興言語のコンポジション性が向上する。
  論文  参考訳（メタデータ） (2020-12-19T20:40:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。