論文の概要: Through the LENS: Local Geometric Decomposition of Vision-Language Model Representations

• arxiv url: http://arxiv.org/abs/2608.00561v1
• Date: Sat, 01 Aug 2026 09:54:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.779897
• Title: Through the LENS: Local Geometric Decomposition of Vision-Language Model Representations
• Title（参考訳）: LENSを通して:視覚・言語モデル表現の局所的幾何学的分解
• Abstract要約: LENS (Local Explanation of Neborhood Subspaces) は、VLMの活性化を低ランクのガウス地区に分解する。 自動マルチモーダルラベリングパイプラインは、これらの地区に簡潔な意味記述を割り当てる。 周辺セントロイドに対する補間活性化は、モダリティ内および複数の生成を因果的にリダイレクトする。
• 参考スコア（独自算出の注目度）: 0.5872014229110214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) process image patches and text tokens in a shared residual stream, but the local geometry through which the two modalities interact remains poorly understood. Most interpretability methods identify global linear directions, which may miss representations that are globally high-dimensional but locally low-dimensional. We introduce LENS (Local Explanation of Neighborhood Subspaces), a method that decomposes VLM activations into local low-rank Gaussian neighborhoods using a Mixture of Factor Analyzers. Applied to LLaVA-1.5-7B and Qwen3-VL-8B, LENS reveals distinct depth-dependent fusion trajectories consistent with each model's fusion mechanism: LLaVA progressively mixes modalities at later layers, whereas Qwen3-VL mixes them early, partially re-segregates them, and recombines them near the output. An automated multimodal labeling pipeline assigns concise semantic descriptions to these neighborhoods. Interpolating activations toward neighborhood centroids causally redirects generation within and across modalities and outperforms difference-in-means and VL-SAE in most evaluated conditions; in one LLaVA vision-to-vision setting, MFA achieves 5.7 times the VL-SAE score. Human evaluation finds MFA steering competitive with prompting and substantially stronger than the other intervention baselines. Finally, the MFA coefficient space improves Qwen3-VL image-to-rendered-text retrieval at the deepest evaluated layer from 14.9% to 48.6% R@1. Ablations show that the reported fusion trajectories are stable across component counts, local ranks, and modality-purity thresholds. These results support local geometric neighborhoods as useful interpretable and causal units for analyzing cross-modal representations in the evaluated VLMs.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、画像パッチとテキストトークンを共有残差ストリームで処理するが、2つのモダリティが相互作用する局所幾何学はいまだに理解されていない。 ほとんどの解釈可能性法は、大域的に高次元であるが局所的に低次元である表現を見逃しかねない大域的線形方向を識別する。 LENS (Local Explanation of Neborhood Subspaces) は、要因分析器の混合を用いて、VLMの活性化を局所的な低ランクガウス地区に分解する手法である。 LLaVAは後続の層で徐々にモダリティを混合し、Qwen3-VLはそれらを早期に混合し、部分的に再分離し、出力の近くで再結合する。 自動マルチモーダルラベリングパイプラインは、これらの地区に簡潔な意味記述を割り当てる。 周辺セントロイドに対する補間活性化は、モダリティ内および複数の生成を因果的にリダイレクトし、ほとんどの評価条件において差分平均値とVL-SAEを上回り、一方のLLaVAビジョン・ツー・ビジョン設定では、MFAはVL-SAEスコアの5.7倍を達成する。 人間の評価では、MFAの操舵は他の介入ベースラインよりも刺激的であり、かなり強い。 最後に、MFA係数空間は、最も深い評価層におけるQwen3-VL画像からレンダリングテキストへの検索を14.9%から48.6%に改善する。 アブレーションは、報告された核融合軌道は、成分数、局所ランク、モダリティ純度閾値で安定であることを示している。 これらの結果は、評価されたVLMにおけるクロスモーダル表現を解析するのに有用な解釈および因果単位として、局所幾何学的近傍を支持する。

関連論文リスト

• Learning Where Outcomes Change:Credit-Addressable Reasoning for Multimodal Geometry [105.89493240787861]
  推論中に露出したセマンティックユニットは、学習が代替品と比較し、クレジットを割り当てる場所を定義する。 我々は,この原理を,ライン順応可能な実行可能コードとして視覚的関係を表すCode-CoTでインスタンス化し,推論を型付きイベントに整理する。 9つの幾何ベンチマークで、CE-GRPOは平均76.04の精度を達成し、Qwen3-VL-8Bと軌跡レベルGRPOをそれぞれ8.09$と3.43ポイント上回る。
  論文  参考訳（メタデータ） (2026-08-31T08:44:36Z)
• Explainable and Resource-Efficient Spatial Reasoning in Multimodal LLMs for Decision-Critical Applications [7.911287368927542]
  MLLM(Multimodal Large Language Models)は、ロボット工学、組み込みAI、安全監視といった決定クリティカルなパイプラインに、ますます多くデプロイされている。 MLLMは強い推論を示すが、しばしば微細な空間理解と物体幻覚に苦しむ。 ByDeWay-V2を提案する。
  論文  参考訳（メタデータ） (2026-07-29T17:20:56Z)
• Steering Vision-Language Models with Joint Sparse Autoencoders [2.367986397868328]
  連成スパースオートエンコーダ(JSAE)を導入し、シーケンスプールされた視覚と言語アクティベーションを、共用、解釈可能な画像/カプセルレベルの特徴に分解する。 JSAEを視覚言語モデル(VLM)に適用すると、制御可能なクロスモーダルステアリングの方向として使うのが難しい表現が得られる。
  論文  参考訳（メタデータ） (2026-06-24T10:11:04Z)
• From Drop-off to Recovery: A Mechanistic Analysis of Segmentation in MLLMs [50.185593677108436]
  マルチモーダル大言語モデル(MLLM)は、ピクセルレベルの視覚タスクにますます適用されているが、空間的理解の本質的な能力は理解されていない。 本稿では,MLLMパイプライン全体(ビジョンエンコーダ,アダプタ,LSM)の階層的線形探索によるセグメント化能力について検討する。
  論文  参考訳（メタデータ） (2026-03-18T00:22:15Z)
• Rethinking VLMs for Image Forgery Detection and Localization [55.32700985102152]
  本稿では,視覚言語モデル(VLM)をフル活用して画像偽造検出・局所化(IFDL)タスクを支援する方法について検討する。 これらの知見に基づいて,IFDL-VLMと呼ばれる新しいIFDLパイプラインを提案する。 実験結果から, 検出, 局所化, 解釈可能性において, 常に新しい最先端性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2026-03-13T12:21:31Z)
• BREATH-VL: Vision-Language-Guided 6-DoF Bronchoscopy Localization via Semantic-Geometric Fusion [7.382475458362566]
  BREATH-VLは,視覚言語モデルからのセマンティックキューと,登録手法からの幾何情報を統合し,正確な6-DoFポーズ推定を行うハイブリッドフレームワークである。 これに基づいて、BREATH-VLは、最先端の視覚のみのローカライゼーション法を精度と一般化の両方で上回り、翻訳誤差を最良性能のベースラインと比較して25.5%削減する。
  論文  参考訳（メタデータ） (2026-01-07T09:00:52Z)
• Progressive Localisation in Localist LLMs [0.0]
  本稿では,解釈可能な大言語モデル(LLM)を作成する上で,プログレッシブローカライゼーションが最適アーキテクチャであることを示す。 本稿では,ネットワーク奥行きを戦略的に適用しながら,解釈可能性制約を自然な意味構造に整合させることができるかを検討する。 本研究では,セマンティックブロックと急激な適応的局所性スケジュールを組み合わせた進行的セマンティックローカライゼーションが,解釈可能な注意パターンを提供しながら,ほぼベースライン言語モデリング性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-11-23T09:49:13Z)
• HEDGE: Hallucination Estimation via Dense Geometric Entropy for VQA with Vision-Language Models [4.099133096025821]
  視覚言語モデル(VLM)は、オープンエンドの視覚的質問応答を可能にするが、幻覚に苦しむ傾向にある。 我々は、制御された視覚摂動、セマンティッククラスタリング、堅牢な不確実性メトリクスを組み合わせた幻覚検出のための統合フレームワークであるHEDGEを提案する。
  論文  参考訳（メタデータ） (2025-11-16T17:16:31Z)
• FineRS: Fine-grained Reasoning and Segmentation of Small Objects with Reinforcement Learning [62.11389260206383]
  textscFineRSは、非常に小さなオブジェクトをセグメント化するための2段階のMLLMベースの強化学習フレームワークである。 textscFineRS-4kは,属性レベルの推論に基づくMLLMの評価と,微妙で小規模なターゲットに対する画素レベルのセグメンテーションのための新しいデータセットである。
  論文  参考訳（メタデータ） (2025-10-24T10:14:17Z)
• Unbiased Region-Language Alignment for Open-Vocabulary Dense Prediction [80.67150791183126]
  事前訓練された視覚言語モデル(VLM)は、印象的なゼロショット認識能力を示したが、それでも高密度予測タスクでは性能が劣っている。 提案するDenseVLMは,非バイアスの領域言語アライメントを,強力な事前学習型VLM表現から学習するためのフレームワークである。 DenseVLMは、オープン語彙オブジェクト検出および画像分割法において、元のVLMを直接置き換えることができることを示す。
  論文  参考訳（メタデータ） (2024-12-09T06:34:23Z)
• Hierarchical Matching and Reasoning for Multi-Query Image Retrieval [113.44470784756308]
  マルチクエリ画像検索のための階層マッチング・推論ネットワーク(HMRN)を提案する。 MQIRを3つの階層的なセマンティック表現に分解し、きめ細かい局所的な詳細、文脈的グローバルスコープ、高レベルの固有の相関をキャプチャする責任を負う。 我々のHMRNは最先端の手法を大幅に上回っている。
  論文  参考訳（メタデータ） (2023-06-26T07:03:56Z)
• LCPFormer: Towards Effective 3D Point Cloud Analysis via Local Context Propagation in Transformers [60.51925353387151]
  本稿では,近隣地域間のメッセージパッシングを活用するために,LCP (Local Context Propagation) という新しいモジュールを提案する。 隣接するローカル領域の重複点を仲介として使用した後、異なるローカルリージョンからの共有ポイントの特徴を再重み付けし、その後、次のレイヤに渡す。 提案手法は, 異なるタスクに適用可能であり, 3次元形状分類や高密度予測タスクを含むベンチマークにおいて, 様々なトランスフォーマーベースの手法より優れる。
  論文  参考訳（メタデータ） (2022-10-23T15:43:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。