論文の概要: Faithful Grounded Visual Reasoning via Learned Proxy-Tokens

• arxiv url: http://arxiv.org/abs/2606.23354v1
• Date: Mon, 22 Jun 2026 13:54:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:26:33.741931
• Title: Faithful Grounded Visual Reasoning via Learned Proxy-Tokens
• Title（参考訳）: 学習したプロキシトーケンによる忠実な接地的視覚推論
• Authors: Tom Hodemon, Mohamed Chaouch, Aboubacar Tuo, Angelique Loesch,
• Abstract要約: Grounded Visual Reasoning (GVR) アプローチは、テキストの有理と視覚的接地情報とを明示的に結合することにより、解釈可能性を向上させる。 このメカニズムには、視覚的特徴への学習可能なセマンティックリンクがなく、多くの場合、意味と空間のギャップが生じる。 学習したプロキシトークンに基づいた新しい視覚的接地機構を活用するMLLMであるComposerを紹介する。
• 参考スコア（独自算出の注目度）: 1.5749416770494706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) have achieved remarkable success in Visual Question Answering (VQA), yet their "black-box" nature hinders deployment in critical domains. Grounded Visual Reasoning (GVR) approaches attempt to improve interpretability by explicitly couple textual rationales with visual grounding information, which are typically textual coordinates. This mechanism lacks a learnable semantic link to the visual features, often resulting in a semantic-spatial gap where the model hallucinates coordinates that do not correspond to image evidences. In this work, we introduce Composer, a MLLM that leverages a novel visual grounding mechanism based on learned proxy-tokens to promote faithful interpretability. These discrete symbolic pointers explicitly index the image latent space, allowing the model to manipulate visual regions as addressable, semantically manipulable sets. To rigorously validate our novel grounding mechanism, we constructed ComposerGCoT, a dataset synthesized to enable holistic assessment of reasoning consistency and grounding accuracy. Experimental results indicate that Composer achieves performance parity with its coordinate-based counterpart in final answer accuracy, while improving visual grounding accuracy by +9.0 points. By demonstrating that discrete proxy-tokens capture spatial semantics more effectively than typical textual coordinates, we establish that visual grounding mechanisms with learnable semantic links represent a promising path toward trustworthy and reliable MLLMs.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、VQA(Visual Question Answering)において大きな成功を収めている。 Grounded Visual Reasoning (GVR) アプローチは、テキストの合理性を視覚的な接地情報と明示的に結合することで、解釈可能性を改善する。 このメカニズムは、視覚的特徴と学習可能なセマンティックリンクを欠いているため、しばしば、モデルが画像のエビデンスに対応しない座標を幻覚させる意味-空間的ギャップをもたらす。 本研究では,学習したプロキシトークンをベースとした新しい視覚的基盤機構を活用し,忠実な解釈性を促進するMLLMであるComposerを紹介する。 これらの離散的なシンボルポインターは、イメージ潜在空間を明示的にインデックスし、モデルがアドレス可能で意味論的に操作可能な集合として視覚領域を操作できるようにする。 新たな接地機構を厳格に検証するために,推論一貫性と接地精度の総合評価を可能にするために合成されたデータセットであるComposerGCoTを構築した。 実験結果から,Composerは座標系と同等の性能を最終回答精度で達成し,視覚的グラウンドの精度を+9.0ポイント向上した。 個別のプロキシトークンが通常のテキストの座標よりも効果的に空間意味をキャプチャできることを実証することにより、学習可能なセマンティックリンクを用いた視覚的グラウンドリング機構が、信頼できる信頼性のあるMLLMへの有望な経路であることを示す。

関連論文リスト

• AffordGrasp: Cross-Modal Diffusion for Affordance-Aware Grasp Synthesis [50.793806818677716]
  AffordGraspは、物理的に安定し、セマンティックに忠実な人間の握りを高精度に生成する。 AffordGraspは、手ポーズの空きを意識した潜在表現を二重条件拡散プロセスに統合する。 AffordGraspはHO-3D, OakInk, GRAB, AffordPoseの4つの命令強化ベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-03-09T06:56:35Z)
• The Perceptual Observatory Characterizing Robustness and Grounding in MLLMs [44.71703930770065]
  The Perceptual Observatoryは、顔マッチングやテキスト・イン・ビジョンの理解機能など、MLLMを垂直方向に特徴付けるフレームワークである。 知覚観測所はリーダーボードの精度を超えて、MLLMが摂動下での知覚的接地と関係構造をどのように保存するかについての洞察を得る。
  論文  参考訳（メタデータ） (2025-12-17T20:22:23Z)
• SATGround: A Spatially-Aware Approach for Visual Grounding in Remote Sensing [57.609801041296095]
  視覚言語モデル(VLM)はリモートセンシングの強力なツールとして登場しつつある。 衛星画像におけるVLMに基づく視覚的グラウンド化を,新しい構造的局所化機構を提案することで促進する。
  論文  参考訳（メタデータ） (2025-12-09T18:15:43Z)
• Mind-the-Glitch: Visual Correspondence for Detecting Inconsistencies in Subject-Driven Generation [120.23172120151821]
  本稿では,事前学習した拡散モデルのバックボーンから視覚的特徴と意味的特徴を分離するための新しいアプローチを提案する。 注釈付きセマンティックと視覚対応を備えた画像ペアを構築する自動パイプラインを導入する。 被験者駆動画像生成における視覚的不整合を定量化する新しい指標であるビジュアルセマンティックマッチングを提案する。
  論文  参考訳（メタデータ） (2025-09-26T07:11:55Z)
• Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception [71.26728044621458]
  DeCLIPは、CLIPを強化する新しいフレームワークで、自己認識モジュールを分離して、それぞれコンテンツ’と“コンテキスト’の機能を取得する。 2D検出とセグメンテーション、3Dインスタンスのセグメンテーション、ビデオインスタンスのセグメンテーション、6Dオブジェクトのポーズ推定など、幅広いタスクにわたる最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2025-08-15T06:43:51Z)
• Mind the Gap: Benchmarking Spatial Reasoning in Vision-Language Models [14.442394137843923]
  本稿では,まず空間的推論のコア要素を記述した詳細な分析を行う。 次に、これらのモデルの性能を、合成画像と実画像の両方で評価する。
  論文  参考訳（メタデータ） (2025-03-25T14:34:06Z)
• Towards Grounded Visual Spatial Reasoning in Multi-Modal Vision Language Models [3.86170450233149]
  画像とテキストとのマッチングを訓練した大規模視覚言語モデル(VLM)では,空間的関係の微妙な理解が欠如していることが示されている。 本稿では,空間的節の認識とランク付けのための,よりきめ細かな構成的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-18T18:58:54Z)
• Sim-To-Real Transfer of Visual Grounding for Human-Aided Ambiguity Resolution [0.0]
  視覚的接地という課題について考察し, エージェントは, 混み合ったシーンからオブジェクトを抽出し, 自然言語で記述する。 視覚的接地に対する現代の全体論的アプローチは、言語構造を無視し、ジェネリックドメインをカバーするのに苦労する。 実体,属性,空間関係の合成視覚的グラウンド化のための,完全に分離されたモジュラー・フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-24T14:12:32Z)
• Cross-modal Representation Learning for Zero-shot Action Recognition [67.57406812235767]
  我々は、ゼロショット動作認識(ZSAR)のためのビデオデータとテキストラベルを共同で符号化するクロスモーダルトランスフォーマーベースのフレームワークを提案する。 我々のモデルは概念的に新しいパイプラインを使用し、視覚的表現と視覚的意味的関連をエンドツーエンドで学習する。 実験結果から,本モデルはZSARの芸術的状況に大きく改善され,UCF101,HMDB51,ActivityNetベンチマークデータセット上でトップ1の精度が向上した。
  論文  参考訳（メタデータ） (2022-05-03T17:39:27Z)
• Co-Grounding Networks with Semantic Attention for Referring Expression Comprehension in Videos [96.85840365678649]
  エレガントなワンステージの枠組みで動画の表現理解を参照する問題に取り組みます。 意味的注意学習により単フレーム接地精度を高め、クロスフレーム接地一貫性を向上させます。 私たちのモデルは、RefCOCOデータセットのパフォーマンス改善によって示される、画像の表現理解の参照にも適用できます。
  論文  参考訳（メタデータ） (2021-03-23T06:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。