論文の概要: Seeing Before Answering: Training-Free Visual Layer Profiling for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2608.16263v1
• Date: Mon, 17 Aug 2026 08:35:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.593256
• Title: Seeing Before Answering: Training-Free Visual Layer Profiling for Vision-Language Models
• Title（参考訳）: 回答の前に見る:視覚言語モデルのための学習不要なビジュアル・レイヤ・プロファイリング
• Abstract要約: LLaVA-style Vision-Language Models (VLM) は、視覚バックボーンの固定された後期層から言語モデルに視覚トークンを渡す。 徹底的なレイヤワイド推論でそのレイヤを見つけるのは違法にコストがかかり、固定されたデフォルトが存在しない。 本稿では,視覚的エントロピー (VDE) とグロモフ・ワッサーシュタイン (GW) 距離 (Gromov-Wasserstein) として,サンプルレベルの視覚的埋め込みを用いて計算する行列ベースのエントロピーについて検討する。
• 参考スコア（独自算出の注目度）: 38.82047665515676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLaVA-style Vision-Language Models (VLMs) pass visual tokens from a fixed late layer of the vision backbone, typically the penultimate one, to the language model. We first show that this hidden convention is fragile: across 2 VLMs and 7 image and video benchmarks, the default layer is sub-optimal in 13 of 14 model-task pairs, and the best layer shifts with both task and visual backbone. Finding that layer by exhaustive layer-wise inference is prohibitively expensive, and no better fixed default exists. We therefore ask whether layer usefulness can instead be predicted from representation geometry. We study matrix-based entropy, introduced for unimodal layer analysis, which we compute over sample-level visual embeddings as Visual Dataset Entropy (VDE); and Gromov-Wasserstein (GW) distance, introduced for encoder-level VLM model selection, which we repurpose as a layer-wise visual--language alignment signal. Transferring these to LLaVA-based models is not obvious a priori: the vision tower is frozen while the multimodal projector is trained, so we profile both sides of the projector. We find that VDE transfers, and GW does not. Computed from 100 unlabeled task samples without downstream inference, pre-projector VDE tracks layer-wise accuracy and its top-ranked layers cover the oracle best layer on every task for the SigLIP-based LLaVA-Video, while giving region-level guidance for the CLIP-based Video-LLaVA. Post-projector profiles show that the projector reshapes visual geometry but does not erase the performance-relevant trend, leaving $\mathrm{VDE}_{\mathrm{pre}}$ the stronger signal. GW instead flattens after projection and is best read as an alignment diagnostic rather than a selector. VDE thus offers an interpretable, training-free policy that narrows the visual-layer search to a handful of candidates for limited downstream verification.
• Abstract（参考訳）: LLaVA-style Vision-Language Models (VLM) は、視覚バックボーンの固定された後期層から言語モデルに視覚トークンを渡す。 2つのVLMと7つのイメージとビデオのベンチマークにまたがって、デフォルトのレイヤは14のモデルとタスクのペアのうち13のサブ最適であり、タスクと視覚のバックボーンの両方で最高のレイヤがシフトする。 徹底的なレイヤワイド推論でそのレイヤを見つけるのは違法にコストがかかり、固定されたデフォルトが存在しない。 したがって、表現幾何学から層の有用性を予測できるかどうかを問う。 我々は,一様層解析のために導入された行列ベースのエントロピーについて検討し,視覚データセットエントロピー(VDE)や,エンコーダレベルのVLMモデル選択のために導入されたGromov-Wasserstein(GW)距離などのサンプルレベルの視覚埋め込みを計算し,レイヤワイドな視覚言語アライメント信号として再利用する。 視覚塔は凍結し、マルチモーダルプロジェクターは訓練されているので、プロジェクターの両側をプロファイルする。 VDE は転送され、GW は転送されない。 下流推論のない100の未ラベルタスクサンプルから計算された、プレプロジェクタVDEは、レイヤーの精度をトラックし、トップランクのレイヤは、SigLIPベースのLLaVA-Videoのすべてのタスクにおけるオラクルベストレイヤをカバーすると同時に、CLIPベースのVideo-LLaVAのリージョンレベルのガイダンスを提供する。 プロジェクター後のプロファイルは、プロジェクターが視覚的幾何学に反するが、パフォーマンス関連トレンドを消さず、$\mathrm{VDE}_{\mathrm{pre}}$強い信号を残していることを示している。 GWはプロジェクション後に平坦になり、セレクタではなくアライメント診断として最もよく読まれる。 したがって、VDEは、限定的な下流検証のために、視覚層探索を少数の候補に限定する、解釈可能な、トレーニング不要のポリシーを提供する。

関連論文リスト

• DriveStack-VLA: Render-Teacher Alignment for BEV-Based DeepStack Vision-Language-Action Model [22.06522773748522]
  本稿では,大規模なVLMバックボーン上に構築されたDriveStack-VLAについて紹介する。 VLA駆動の空間的接地を強化するために,デュアルビジュアル・モデリング・コンポーネントを開発した。 DriveStack-VLAはNAVSIMv1で91.6 PDMS、NAVSIMv2で91.0S、クローズドループのBench2Driveで56.36%の成功率で79.49を記録した。
  論文  参考訳（メタデータ） (2026-06-23T01:40:54Z)
• Unlocking Dense Metric Depth Estimation in VLMs [36.431792667223796]
  VLM(Vision-Language Models)は、接地やキャプションなどの2Dタスクに優れるが、3D理解には制限がある。 本稿では,単一のVLMをネイティブな密度密度幾何学予測器に変換する,シンプルで効果的なフレームワークであるDepthVLMを提案する。 LLMバックボーンに軽量な深度ヘッドをアタッチすることで、DepthVLMは1つの前方パスで言語出力と並行してフル解像度の深度マップを生成する。
  論文  参考訳（メタデータ） (2026-05-15T11:54:17Z)
• What Happens Before Decoding? Prefill Determines GUI Grounding in VLMs [33.91859613266694]
  VLM(Vision-Language Models)におけるGUIグラウンディング中に何が起こるかを調べ、これまで見過ごされていたボトルネックを特定する。 プリフィルステージは候補UI要素を決定するが、デコードステージは最終的な座標を洗練させる。 Re-Prefillは、注意誘導された第2のプリフィルステージを導入して、ターゲット選択を洗練させることによって推論を再考する、トレーニング不要な手法である。
  論文  参考訳（メタデータ） (2026-05-10T07:04:07Z)
• AgentVLN: Towards Agentic Vision-and-Language Navigation [78.739525400071]
  VLN (Vision-and-Language Navigation) は、複雑な自然言語命令を、見えない環境での長距離ナビゲーションに接地するために、エンボディエージェントを必要とする。 本稿では,エッジコンピューティングプラットフォーム上に展開可能な,新規かつ効率的なナビゲーションフレームワークであるAgentVLNを提案する。
  論文  参考訳（メタデータ） (2026-03-18T12:43:47Z)
• Demystifying the Visual Quality Paradox in Multimodal Large Language Models [49.154146792279946]
  最近のMLLM(Multimodal Large Language Models)は、視覚言語タスクのベンチマークに優れていますが、入力された視覚的品質がその応答をどのように形作るかについてはほとんど分かっていません。 本研究は,MLLMを先導する最初の体系的な研究と,視覚言語ベンチマークのスイートを対象とする。 モデル,タスク,さらには個々のインスタンスのパフォーマンスさえも,人間の知覚した忠実さから逸脱した画像を改善することができる。
  論文  参考訳（メタデータ） (2025-06-18T17:14:07Z)
• Probing Visual Language Priors in VLMs [51.016683265437536]
  我々は,意図的に分布外画像を特徴付けるベンチマークであるViLPを紹介した。 ViLPの各質問には、3つの潜在的な答えと3つの対応するイメージが結合される。 本稿では,モデルが新たなVQAデータを生成し,ピクセルレベルおよびセマンティックな汚職を適用して,自己学習のための「良いバッド」画像ペアを生成する自己改善フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-31T17:54:29Z)
• Learning to Rank Pre-trained Vision-Language Models for Downstream Tasks [41.488394198111976]
  CLIPのような視覚言語モデル(VLM)は、分類ベンチマークで星のゼロショット能力を示している。 ラベル付けされていない下流タスクで最高のパフォーマンスでVLMを選択するのは簡単ではありません。 本稿では、教師なしの下流データセットのみを利用できる、テクスチャファイン教師付き視覚言語モデル選択の問題を紹介する。
  論文  参考訳（メタデータ） (2024-12-30T03:26:53Z)
• DivScene: Towards Open-Vocabulary Object Navigation with Large Vision Language Models in Diverse Scenes [76.24687327731031]
  まず,DivSceneを導入することにより,オープン語彙オブジェクトナビゲーションの課題について検討する。 私たちのデータセットは、既存のデータセットよりもターゲットオブジェクトやシーンタイプがはるかに多様です。 我々はLVLMを微調整し、CoTの説明で次の動作を予測する。
  論文  参考訳（メタデータ） (2024-10-03T17:49:28Z)
• SIGMA:Sinkhorn-Guided Masked Video Modeling [69.31715194419091]
  SIGMA (Sinkhorn-guided Masked Video Modelling) は、新しいビデオ事前学習法である。 時空管の特徴を,限られた数の学習可能なクラスタに均等に分散する。 10個のデータセットによる実験結果から,より高性能で時間的,堅牢な映像表現を学習する上で,SIGMAの有効性が検証された。
  論文  参考訳（メタデータ） (2024-07-22T08:04:09Z)
• Vision Transformers: From Semantic Segmentation to Dense Prediction [139.15562023284187]
  視覚的予測のための視覚変換器(ViT)のグローバルな文脈学習の可能性について検討する。 我々のモチベーションは、グローバルコンテキストを全受容界層で学習することで、ViTがより強力な長距離依存性情報を取得することである。 階層型ローカル・グローバル・トランスフォーマー (HLG) のファミリを定式化し, 窓内部の局所的な注意と, ピラミッド建築における窓全体のグローバルアテンションを特徴とする。
  論文  参考訳（メタデータ） (2022-07-19T15:49:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。