論文の概要: A Heart Means Recursion: Exploring Visual Meaning and Communication in VLMs

• arxiv url: http://arxiv.org/abs/2610.36449v1
• Date: Tue, 27 Oct 2026 00:51:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.455003
• Title: A Heart Means Recursion: Exploring Visual Meaning and Communication in VLMs
• Title（参考訳）: 心的意味の再帰:VLMにおける視覚的意味とコミュニケーションを探る
• Abstract要約: 視覚直感モデル(VLM)は、リッチで創造的で視覚的なコミュニケーションを可能にする可能性があることを示す。 しかし、彼らの視覚的意味の解釈と生産は、驚くべき方法で人間の慣習から分岐する。
• 参考スコア（独自算出の注目度）: 26.068221604915532
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Do vision-language models (VLMs) share our ability to communicate visually? We share preliminary findings, starting from a surprising observation: simple visual symbols like a red heart can strongly influence model behavior on seemingly unrelated tasks, such as steering models towards recursive solutions on simple coding problems. Notably, this steering effect is largely implicit, as models' direct interpretations and thinking traces about visual symbols diverge substantially from their observed behavior. In visual communication between models, this leads to a generation--interpretation gap: while models tend to send shape primitives that they (and humans) find intuitive, these visual cues often fail to steer other models. In further communication games involving abstract concepts and stories, models can creatively use visuals to transmit meaning to one another, although some communications remain non-intuitive to humans. These findings reveal that VLMs might be capable of rich, creative, and visually-grounded communication, but their interpretation and production of visual meaning diverges from human conventions in surprising ways. Together this work highlights both the promise and challenges of visual communication between humans and VLMs.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、視覚的にコミュニケーションする能力を共有していますか? 赤いハートのような単純な視覚的シンボルは、単純なコーディング問題に対する再帰的な解決策を操るなど、一見無関係なタスクにおけるモデル行動に強く影響を与えます。 特に、この操舵効果は、モデルが直接解釈し、視覚的シンボルに関する思考が観察された行動から大きく逸脱しているため、おおむね暗黙的である。 モデル間の視覚的コミュニケーションにおいて、これは世代間解釈のギャップをもたらす:モデルが(そして人間)直感的な形状のプリミティブを送る傾向がある一方で、これらの視覚的手がかりは、しばしば他のモデルを操るのに失敗する。 抽象的な概念や物語を含むさらなるコミュニケーションゲームでは、モデルは創造的に視覚を使ってお互いに意味を伝えることができるが、一部のコミュニケーションは人間には直感的でないままである。 これらの結果から、VLMは豊かで創造的で視覚的なコミュニケーションが可能な可能性があるが、視覚的意味の解釈と生成は、驚くべき方法で人間の慣習から分岐していることが明らかとなった。 この研究は、人間とVLM間の視覚的コミュニケーションの約束と課題の両方を強調している。

関連論文リスト

• Through the Lens of Contrast: Self-Improving Visual Reasoning in VLMs [60.93949629734977]
  モデル生成論理における幻覚を軽減するために,視覚コントラスト型自己学習共振器(VC-STaR)を提案する。 多様なVQAデータセットを収集し、マルチモーダルな類似性に応じてコントラストペアをキュレートし、VC-STaRを用いて合理性を生成する。 大規模な実験によると、VC-STaRは既存の自己改善アプローチを上回るだけでなく、SoTA視覚推論データセットで微調整されたモデルを上回る。
  論文  参考訳（メタデータ） (2026-03-03T03:18:31Z)
• MentisOculi: Revealing the Limits of Reasoning with Mental Imagery [63.285794947638614]
  視覚的解決が可能な多段階推論問題の組である MentisOculi を開発した。 遅延トークンから明示的な生成画像まで,視覚的戦略を評価すると,一般的にはパフォーマンス向上に失敗する。 以上の結果から,視覚的思考がモデル推論の恩恵を受けていないことが示唆された。
  論文  参考訳（メタデータ） (2026-02-02T18:49:06Z)
• Self-Rewarding Vision-Language Model via Reasoning Decomposition [49.784411666601905]
  VLM(Vision-Language Models)はしばしば視覚幻覚に悩まされ、実際に画像にないものや言語ショートカットが語られる。 本稿では,外部視覚監督に頼らずに視覚推論を改善する自己回帰手法であるVision-SR1を紹介する。 我々の実験は、Vision-SR1が視覚的推論を改善し、視覚幻覚を緩和し、言語ショートカットへの依存を減らすことを示した。
  論文  参考訳（メタデータ） (2025-08-27T08:01:03Z)
• Generative Visual Communication in the Era of Vision-Language Models [9.229067992381763]
  今日の視覚的に飽和した世界では、効果的なデザインはグラフィックデザインの原則を理解する必要がある。 この論文は、視覚言語モデルにおける最近の進歩をいかに活用し、効果的な視覚コミュニケーション設計の自動化を図っている。
  論文  参考訳（メタデータ） (2024-11-27T20:04:31Z)
• VAGUE: Visual Contexts Clarify Ambiguous Expressions [26.190504250419547]
  VAGUEは、意図の視覚的コンテキストを統合するマルチモーダルAIシステムの能力を評価するベンチマークである。 我々の実験によると、既存のマルチモーダルAIモデルは話者の真の意図を推測するのに苦労している。 失敗事例の分析は、現在のモデルが視覚的なシーンにおける表面的相関と真の意図を区別できないことを示す。
  論文  参考訳（メタデータ） (2024-11-21T14:01:42Z)
• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• Localization vs. Semantics: Visual Representations in Unimodal and Multimodal Models [57.08925810659545]
  既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。 我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。 我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
  論文  参考訳（メタデータ） (2022-12-01T05:00:18Z)
• Emergent Graphical Conventions in a Visual Communication Game [80.79297387339614]
  人間は象徴的な言語とは別にグラフィカルなスケッチと通信する。 視覚コミュニケーションゲームをする2つのニューラルエージェントを介して、このような進化過程をモデル化し、シミュレートする第一歩を踏み出す。 我々は,コミュニケーションと抽象的なグラフィカルな慣行を成功させるために,エージェントを共同で進化させる新しい強化学習手法を考案した。
  論文  参考訳（メタデータ） (2021-11-28T18:59:57Z)
• Explainable Semantic Space by Grounding Language to Vision with Cross-Modal Contrastive Learning [3.441021278275805]
  視覚における言語学習の基盤となる2ストリームモデルを設計する。 このモデルはまず、視覚的表現と言語表現をMS COCOデータセットに合わせることを学習する。 トレーニング後、このモデルの言語ストリームは、視覚的に接地されたセマンティック空間に概念を埋め込むことができるスタンドアロン言語モデルである。
  論文  参考訳（メタデータ） (2021-11-13T19:54:15Z)
• Interpretable agent communication from scratch(with a generic visual processor emerging on the side) [29.722833768572805]
  我々は、2つのディープネットをスクラッチからトレーニングし、教師なし緊急通信を通じて現実的な参照識別を行う。 ほぼ解釈可能な創発的プロトコルにより、トレーニング時に見なかったオブジェクトタイプであっても、ネットがうまく通信できることが示される。 以上の結果から,従来考えられていたよりも現実的な状況下での(解釈可能な)深層ネット通信の実現可能性に関する具体的な証拠が得られた。
  論文  参考訳（メタデータ） (2021-06-08T11:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。