論文の概要: VLMProbe: An Open-source Library for VLM Probing and Interpretation

• arxiv url: http://arxiv.org/abs/2610.33072v1
• Date: Wed, 21 Oct 2026 02:36:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.238784
• Title: VLMProbe: An Open-source Library for VLM Probing and Interpretation
• Title（参考訳）: VLMProbe: VLMの調査と解釈のためのオープンソースライブラリ
• Abstract要約: vlmprobeは、レンズの読み出し、注意の属性、因果介入、スパースオートエンコーダ分析を統合するオープンソースのライブラリである。 視覚言語,言語,視覚モデルにまたがる手法をマッチングケーススタディで比較し,事前学習したスパース辞書の制御評価を行った。
• 参考スコア（独自算出の注目度）: 41.3038535109039
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Understanding how vision-language models use visual information requires connecting internal representations to model behavior. We present vlmprobe, an open-source library that integrates lens readouts, attention attribution, causal interventions, and sparse autoencoder (SAE) analysis within a common model interface. Shared adapters, calibration and checkpoint utilities, evaluation pipelines, and visualizations support systematic analysis across architectures. Using this framework, we compare methods across vision-language, language, and vision models through matched case studies and controlled evaluations of pretrained sparse dictionaries. The comparisons show that representation readouts and spatial explanations depend on the analysis objective and observation site, and that local attribution estimates can disagree with measured intervention effects. SAE evaluations further expose distinct trade-offs in reconstruction fidelity, concept readout, and spatial localization. Together, these results support combining multiple forms of evidence to evaluate an interpretation. vlmprobe provides a reusable basis for selecting methods, comparing their conclusions, and testing hypotheses about model behavior. The code is available on github.com/ubc-tea/vlm-probe
• Abstract（参考訳）: 視覚言語モデルがどのように視覚情報を使用するかを理解するには、内部表現とモデル動作を結びつける必要がある。 本稿では、レンズの読み出し、注意属性、因果介入、スパースオートエンコーダ(SAE)分析を共通モデルインタフェースに組み込んだオープンソースのライブラリであるvlmprobeについて述べる。 共有アダプタ、キャリブレーションとチェックポイントユーティリティ、評価パイプライン、視覚化は、アーキテクチャ全体にわたる体系的な分析をサポートする。 このフレームワークを用いて,事前学習したスパース辞書のケーススタディと制御された評価を通じて,視覚言語,言語,視覚モデル間での手法の比較を行う。 比較の結果,表現の読み出しと空間的説明は分析対象と観測地点に依存し,局所帰属推定は測定された介入効果と一致しないことが示された。 SAEの評価は、再構成の忠実度、概念の読み出し、空間的位置付けにおいて、明らかなトレードオフを明らかにしている。 これらの結果は、解釈を評価するために複数の形態の証拠を組み合わせることを支援する。 vlmprobeは、メソッドの選択、結論の比較、モデルの振る舞いに関する仮説のテストのための再利用可能な基盤を提供する。 コードはgithub.com/ubc-tea/vlm-probeで入手できる。

関連論文リスト

• Zero-Shot Visualization: Exploring Text Corpora with User-Prompted Axes [0.0]
  テキストコーパスの視覚的探索における大規模言語モデルの応用について検討する。 ゼロショット可視化(ZSV)は、ユーザが自然言語で概念を指定し、文書を対応する概念軸にマッピングして視覚化するタスクである。
  論文  参考訳（メタデータ） (2026-09-23T16:56:37Z)
• Beyond Independence: Learning Correlated Views for Variational Incomplete Multi-View Clustering [15.204251218204542]
  不完全なマルチビュークラスタリング(IMVC)は、部分的に観察されたビューを持つデータから共有クラスタ構造を明らかにすることを目的としている。 本稿では、学習可能なクロスビュー相関構造を導入することにより、この仮定を明示的に超越した変分フレームワークを提案する。 提案手法は多種多様なビュー設定における最先端のアプローチを一貫して上回る。
  論文  参考訳（メタデータ） (2026-08-16T14:16:24Z)
• Language Model Maps for Prompt-Response Distributions via Log-Likelihood Vectors [7.455546102930913]
  本稿では,プロンプト応答対上での対数類似ベクトルによる言語モデル表現法を提案し,条件分布を比較するためのモデルマップを構築した。 公開言語モデルの大規模なコレクションの実験は、地図が意味のあるグローバル構造を捉えていることを示している。 このフレームワークは入力依存モデル行動の分析をサポートする。
  論文  参考訳（メタデータ） (2026-03-19T08:02:06Z)
• Matching-Based Few-Shot Semantic Segmentation Models Are Interpretable by Design [8.993770750003673]
  Few-Shot Semantic (FSS)モデルは、最小限のラベル付き例を持つ新規クラスのセグメンテーションにおいて強力な性能を達成する。 本稿では、マッチングベースのFSSモデルを解釈するための最初の専用手法を提案する。 Affinity Explainer アプローチは,画像のどのピクセルがクエリセグメンテーション予測に最も寄与しているかを示す属性マップを抽出する。
  論文  参考訳（メタデータ） (2025-11-22T19:22:10Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• Interactive Visualization and Representation Analysis Applied to Glacier Segmentation [0.0]
  氷河セグメンテーションモデルの解釈にインタラクティブな可視化と表現分析を適用した。 Shiny Rパッケージを使ってオンラインインターフェースを構築し、予測の包括的なエラー解析を行う。
  論文  参考訳（メタデータ） (2021-12-11T14:03:53Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。