論文の概要: From What to Which: Decoding Modifier Grounding in Frozen MLLMs

• arxiv url: http://arxiv.org/abs/2610.12305v1
• Date: Thu, 08 Oct 2026 16:53:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.19467
• Title: From What to Which: Decoding Modifier Grounding in Frozen MLLMs
• Title（参考訳）: 冷凍MLLMにおけるデコード修飾器のグラウンド化
• Abstract要約: 我々は, 最適輸送(OT)を用いて生成したトークンを視覚領域に整列させ, コンパクトな接地マップを生成する, 冷凍MLLM表現上の軽量教師付きプローブOTTERを紹介する。 その結果, (i) インスタンス識別視覚情報を修飾子トークンから復号することが可能であり, 空間項の最も明確な証拠が得られたが, (ii) はそれらに限定されていないことがわかった。 学習されたOTベースのグラウンドリングは、制御された設定を超えて、フリージェネレーションとクロスデータセット転送に拡張される。
• 参考スコア（独自算出の注目度）: 7.1710677756703305
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Multimodal Large Language Models (MLLMs) can describe increasingly complex visual scenes, token-level grounding becomes crucial. Yet, when an MLLM generates "the yellow banana on the left", established grounding approaches focus on what is in the image ("banana"), overlooking tokens that help describe which instance is meant ("yellow", "left"). In this work, we ask whether frozen MLLM representations contain decodable grounding information about the referred instance across generated tokens, extending to modifiers such as attributes, spatial expressions, and relational/action terms. To address this question, we introduce OTTER, a lightweight supervised probe over frozen MLLM representations that uses Optimal Transport (OT) to align generated tokens with visual regions and produce compact grounding maps. Our results show that (i) instance-discriminative visual information can be decoded from modifier tokens, with the clearest evidence for spatial terms, but (ii) is not confined to them, as contextualized object nouns also carry referential information; (iii) the recovered grounding remains informative under context perturbations, while selected regions remain relevant to generation; and (iv) the learned OT-based grounding extends beyond the controlled setting to free generation and cross-dataset transfer.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、ますます複雑な視覚シーンを記述できるため、トークンレベルの基礎化が重要となる。 しかし、MLLMが「左の黄色いバナナ」を生成するとき、確立された根拠となるアプローチは、画像中のもの(「バナナ」)に焦点を当て、どのインスタンスが「黄色」、「左」を意味するかを記述するのに役立つトークンを見渡すことである。 本研究では,フリーズMLLM表現には,参照されたインスタンスに関するデオード可能なグラウンド情報が含まれており,属性や空間表現,リレーショナル/アクション項などの修飾子に拡張されているかどうかを問う。 この問題に対処するために, OTTERは, 最適輸送(OT)を用いて生成したトークンを視覚領域に整列させ, コンパクトな接地マップを生成する, 冷凍MLLM表現上の軽量教師付きプローブである。 私たちの結果は (i)空間用語の最も明確な証拠を有する修飾子トークンからインスタンス識別視覚情報を復号することができるが (ii)は、文脈化されたオブジェクト名詞にも参照情報があるため、それらに限定されない。 三 回復した接地は、文脈のゆがみにより情報として残り、選択された地域は、生成に関連がある。 (iv)学習されたOTベースのグラウンドリングは、制御された設定を超えて、フリージェネレーションとクロスデータセット転送に拡張される。

関連論文リスト

• Learning Trajectory-Aware Multimodal Large Language Models for Video Reasoning Segmentation [55.743701532984126]
  我々はTrajSegを提案する。TrajSegはマルチモーダル大規模言語モデル上に構築されたシンプルで統一されたフレームワークである。 本研究では,MLLMが接頭辞(テキスト・トゥ・トラジェクティブ)と接頭辞(テキスト・トゥ・テキスト)の指示を受理する双方向テキスト・トラジェクティブアライメントを提案する。 このようにして、MLLMは、ビデオの対応性の向上と、より知覚的なオブジェクトの軌跡の恩恵を受けることができる。
  論文  参考訳（メタデータ） (2026-03-23T02:25:51Z)
• Grounding Everything in Tokens for Multimodal Large Language Models [22.159698168842862]
  本稿では,学習可能なトークンの特別な語彙をMLLMに統合する,オブジェクトのグラウンド化のための空間表現手法であるGETokを提案する。 トークンに直接空間関係を埋め込むことにより、GETokは自己回帰アーキテクチャを変更することなく、ネイティブな2次元空間推論においてMLLMを著しく前進させる。
  論文  参考訳（メタデータ） (2025-12-11T11:38:50Z)
• 1 + 1 > 2: Detector-Empowered Video Large Language Model for Spatio-Temporal Grounding and Reasoning [53.28271278708241]
  本稿では,DEViL の略である Detector-Empowered Video LLM を提案する。 DEViLはオープンボキャブラリ検出器(OVD)とビデオLLMを結合する 単に空間的なプロンプトやセグメンタスイッチとして機能するトークンとは異なり、RTTは制御信号とOVDのテキスト埋め込みの置き換えの両方として機能する。
  論文  参考訳（メタデータ） (2025-12-07T06:11:15Z)
• Spatial Preference Rewarding for MLLMs Spatial Understanding [92.25703021388142]
  マルチモーダル大言語モデル (MLLM) は, 有望な空間理解能力を示した。 彼らの成功にもかかわらず、MLLMは依然として微粒な空間知覚能力に不足している。 本稿では,MLLMの空間能力を高めるSPR(Spatial Preference Rewarding)アプローチを提案する。
  論文  参考訳（メタデータ） (2025-10-16T07:16:18Z)
• Patch-as-Decodable-Token: Towards Unified Multi-Modal Vision Tasks in MLLMs [88.68484904214142]
  Patch-as-Decodable Token (PaDT)を導入し、テキストと多様な視覚出力を生成する。 PaDTの中心は、クエリイメージのビジュアルパッチ埋め込みから派生したVisual Reference Tokens (VRT)である。 MLLMモデルと比較しても,PaDTは最先端の性能を一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-10-02T12:23:57Z)
• LLM-RG: Referential Grounding in Outdoor Scenarios using Large Language Models [9.647551134303384]
  屋外の運転シーンにおける参照グラウンドリングは、大きなシーンの変動、多くの視覚的に類似したオブジェクト、動的要素のために困難である。 LLM-RGは,既製の視覚言語モデルと,記号的推論のための大規模言語モデルを組み合わせたハイブリッドパイプラインである。
  論文  参考訳（メタデータ） (2025-09-29T21:32:54Z)
• EAGLE: Towards Efficient Arbitrary Referring Visual Prompts Comprehension for Multimodal Large Language Models [80.00303150568696]
  本稿では,既存のアプローチよりもトレーニングの少ない任意の参照視覚的プロンプトの理解を促進するための,MLLM(Multimodal Large Language Models)を提案する。 本手法は,視覚的プロンプトを,MLLMに理解可能な特定の空間領域を伝達する空間概念として応用する。 我々はまた、MLLMの領域レベルの理解を視覚的プロンプトを参照する特定の形式にさらに引き離すための幾何非依存学習パラダイム(GAL)を提案する。
  論文  参考訳（メタデータ） (2024-09-25T08:22:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。