論文の概要: How Multimodal LLMs Solve Image Tasks: A Lens on Visual Grounding, Task Reasoning, and Answer Decoding

• arxiv url: http://arxiv.org/abs/2508.20279v1
• Date: Wed, 27 Aug 2025 21:22:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:01.828044
• Title: How Multimodal LLMs Solve Image Tasks: A Lens on Visual Grounding, Task Reasoning, and Answer Decoding
• Title（参考訳）: マルチモーダルLLMがイメージタスクをどう解決するか:ビジュアルグラウンド、タスク推論、解答復号に関するレンズ
• Authors: Zhuoran Yu, Yong Jae Lee,
• Abstract要約: MLLMが階層間の視覚的およびテキスト的入力をどのように処理するかを分析するための探索フレームワークを導入する。 ステージ単位の構造は、視覚的トークン化、命令チューニングデータ、事前学習コーパスの様々なバリエーションで安定しているが、各ステージシフトごとに特定の層が割り当てられることが示される。
• 参考スコア（独自算出の注目度）: 39.342366994703376
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) have demonstrated strong performance across a wide range of vision-language tasks, yet their internal processing dynamics remain underexplored. In this work, we introduce a probing framework to systematically analyze how MLLMs process visual and textual inputs across layers. We train linear classifiers to predict fine-grained visual categories (e.g., dog breeds) from token embeddings extracted at each layer, using a standardized anchor question. To uncover the functional roles of different layers, we evaluate these probes under three types of controlled prompt variations: (1) lexical variants that test sensitivity to surface-level changes, (2) semantic negation variants that flip the expected answer by modifying the visual concept in the prompt, and (3) output format variants that preserve reasoning but alter the answer format. Applying our framework to LLaVA-1.5, LLaVA-Next-LLaMA-3, and Qwen2-VL, we identify a consistent stage-wise structure in which early layers perform visual grounding, middle layers support lexical integration and semantic reasoning, and final layers prepare task-specific outputs. We further show that while the overall stage-wise structure remains stable across variations in visual tokenization, instruction tuning data, and pretraining corpus, the specific layer allocation to each stage shifts notably with changes in the base LLM architecture. Our findings provide a unified perspective on the layer-wise organization of MLLMs and offer a lightweight, model-agnostic approach for analyzing multimodal representation dynamics.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて強力な性能を示してきたが、内部処理のダイナミクスは未解明のままである。 本研究では,MLLMが階層間の視覚的およびテキスト的入力をどのように処理するかを体系的に解析する探索フレームワークを提案する。 我々は,各層で抽出されたトークン埋め込みから細粒度視覚カテゴリー(犬種など)を予測するために,標準化されたアンカー質問を用いて線形分類器を訓練する。 異なるレイヤの機能的役割を明らかにするために,(1)表面レベルの変化に対する感受性をテストする語彙的変種,(2)視覚的概念をプロンプトで修正して期待する応答を反転させる意味的否定変種,(3)推論を保存して応答形式を変更する出力形式変種,の3種類の制御されたプロンプト変種を用いてこれらのプローブの評価を行った。 フレームワークをLLaVA-1.5,LLaVA-Next-LLaMA-3,Qwen2-VLに適用することにより、初期層が視覚的接地を行う一貫した段階的構造、中層が語彙統合と意味的推論をサポートし、最終層がタスク固有の出力を作成する。 さらに、視覚的トークン化、命令チューニングデータ、事前学習コーパスの様々な段階的構造が安定しているが、各ステージへの特定の層割り当ては、基本LLMアーキテクチャの変更により顕著に変化することを示す。 本研究は,MLLMの階層構造を統一的に把握し,マルチモーダル表現力学を解析するための軽量でモデルに依存しないアプローチを提供する。

関連論文リスト

• Dynamic Embedding of Hierarchical Visual Features for Efficient Vision-Language Fine-Tuning [5.85033069870214]
  動的埋め込みと階層型視覚特徴の融合に基づく効率的な視覚言語微調整法を提案する。 少数のパラメータのみを微調整することで、DEHVFはクロスモーダル情報の正確なアライメントと補完を実現する。
  論文  参考訳（メタデータ） (2025-08-25T03:57:46Z)
• Rethinking Visual Layer Selection in Multimodal LLMs [46.091556112958884]
  この研究は、浅い、中、深いカテゴリに類似した振る舞いを持つグループCLIP-ViT層に対するレイヤワイズ類似性アプローチを提案する。 大規模MLLMにおける視覚層選択問題を再考し,1.4Bから7BまでのLLaVAスタイルのモデルを訓練する。 1) 深層はOCRタスクに必須であり,(2) 浅層と中層はカウント,位置決め,オブジェクトの局所化を含む推論タスクにおいて実質的に深層を上回り,(3) 浅層,中層,深層をまたいだ軽量な融合は,専門的な融合ベースラインと単一層を一貫して上回ります。
  論文  参考訳（メタデータ） (2025-04-30T09:07:10Z)
• Keeping Yourself is Important in Downstream Tuning Multimodal Large Language Model [63.14883657299359]
  MLLM(Multi-modal Large Language Models)は、視覚的および言語的推論を統合して、画像キャプションや視覚的質問応答といった複雑なタスクに対処する。 ダウンストリームタスクのためのMLLMのチューニングには,2つの重要な課題がある。タスク-Expert – 事前トレーニングとターゲットデータセット間の分散シフトによってターゲットのパフォーマンスが制限される。
  論文  参考訳（メタデータ） (2025-03-06T15:29:13Z)
• Instruction-Guided Fusion of Multi-Layer Visual Features in Large Vision-Language Models [50.98559225639266]
  6つのタスクカテゴリにまたがる18のベンチマークを用いて,異なるエンコーダ層からの視覚的特徴の寄与について検討した。 この結果から,多層構造はタスク依存性の相補的な長所を提供し,均一な融合が最適以下の性能をもたらすことが明らかとなった。 テキスト命令に基づいて動的に多層視覚特徴を統合する命令誘導型視覚アグリゲータを提案する。
  論文  参考訳（メタデータ） (2024-12-26T05:41:31Z)
• Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models [73.40350756742231]
  視覚条件付き言語モデル(VLM)は、視覚対話、シーン理解、ロボットタスク計画などのアプリケーションに採用されている。 新しいリリースの量は多いが、イメージ前処理、アーキテクチャ、最適化に関する重要な設計決定は未調査である。
  論文  参考訳（メタデータ） (2024-02-12T18:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。