Fugu-MT 論文翻訳(概要): Language Models Can Explain Visual Features via Steering

論文の概要: Language Models Can Explain Visual Features via Steering

arxiv url: http://arxiv.org/abs/2603.22593v2
Date: Wed, 25 Mar 2026 08:24:41 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-26 14:25:25.993346
Title: Language Models Can Explain Visual Features via Steering
Title（参考訳）: 言語モデルはステアリングによって視覚的特徴を説明できる
Abstract要約: オートエンコーダは視覚モデルで何千もの機能を発見したが、人間の介入を必要とせずにこれらの機能を説明することは、まだオープンな課題である。空画像提供後の視覚エンコーダにおける視覚言語モデルの構造と個別SAE特徴を利用する。言語モデルに「何が見えるか」を説明し、各機能で表される視覚概念を効果的に引き出す。
参考スコア（独自算出の注目度）: 8.36855091633073
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Sparse Autoencoders uncover thousands of features in vision models, yet explaining these features without requiring human intervention remains an open challenge. While previous work has proposed generating correlation-based explanations based on top activating input examples, we present a fundamentally different alternative based on causal interventions. We leverage the structure of Vision-Language Models and steer individual SAE features in the vision encoder after providing an empty image. Then, we prompt the language model to explain what it ``sees'', effectively eliciting the visual concept represented by each feature. Results show that Steering offers an scalable alternative that complements traditional approaches based on input examples, serving as a new axis for automated interpretability in vision models. Moreover, the quality of explanations improves consistently with the scale of the language model, highlighting our method as a promising direction for future research. Finally, we propose Steering-informed Top-k, a hybrid approach that combines the strengths of causal interventions and input-based approaches to achieve state-of-the-art explanation quality without additional computational cost.
Abstract（参考訳）: スパースオートエンコーダは、視覚モデルで何千もの機能を発見したが、人間の介入を必要とせずにこれらの機能を説明することは、まだオープンな課題である。従来の研究では、トップアクティベート入力例に基づく相関に基づく説明が提案されているが、因果的介入に基づく根本的に異なる代替案が提示されている。空画像提供後の視覚エンコーダにおける視覚言語モデルの構造と個別SAE特徴を利用する。そこで我々は,言語モデルに対して,それが'sees'であるのかを説明するように促し,各機能で表される視覚概念を効果的に引き出す。結果として、Steeringは、入力例に基づいて従来のアプローチを補完するスケーラブルな代替手段を提供し、視覚モデルにおける自動解釈可能性のための新しい軸として機能することを示している。さらに,説明の質は言語モデルのスケールと一貫して改善され,今後の研究に期待できる方向として,我々の手法が強調される。最後に,因果介入の強みと入力に基づくアプローチを組み合わせるハイブリッド手法であるステアリングインフォームドTop-kを提案する。

関連論文リスト

Decoupling the Declarative from the Procedural in Vision-Language-Action Models [65.22639791239932]
オブジェクト固有のデモから振る舞いをクローンするように訓練されたポリシーは、そのオブジェクトを超えて一般化されなければならない。情報フローを再構成した新しいビジョン・ランゲージ・アクションモデルであるw$2$VLAを提案する。最先端のVLAとは異なり、我々のモジュラーアプローチは知識表現の分離に成功している。
論文参考訳（メタデータ） (2026-06-19T14:43:58Z)
Towards Understanding Multimodal Fine-Tuning: Spatial Features [25.349396112139214]
Vision-Language Models (VLM) は、事前訓練された言語モデルとビジョンエンコーダをペアリングすることで、幅広いタスクにおいて強力なパフォーマンスを達成する。本稿では,ステージワイドモデル差分法によるVLM適応の最初の力学解析について述べる。
論文参考訳（メタデータ） (2026-02-06T18:48:18Z)
Vision-Grounded Machine Interpreting: Improving the Translation Process through Visual Cues [0.0]
Vision-Grounded Interpreting (VGI) は、一元的機械解釈の限界に対処するために設計された新しい手法である。本稿では,Webカメラからの音声入力と視覚入力の両方を処理するために,視覚言語モデルを統合するプロトタイプシステムを提案する。本手法の有効性を評価するため,3種類のあいまいさを対象とする手作り診断コーパスを構築した。
論文参考訳（メタデータ） (2025-09-28T16:25:33Z)
An Iterative Feedback Mechanism for Improving Natural Language Class Descriptions in Open-Vocabulary Object Detection [0.08974531206817744]
そこで本研究では,非技術ユーザを対象にした自然言語テキスト記述の改善手法を提案する。複数の公開可能なオープン語彙オブジェクト検出モデルで性能を示すことで,フィードバック機構がもたらす改善を定量化する。
論文参考訳（メタデータ） (2025-03-21T16:34:04Z)
Fine-Grained Verifiers: Preference Modeling as Next-token Prediction in Vision-Language Alignment [57.0121616203175]
本研究では,視覚言語アライメントを改善するための細粒度検証器として,モデル自身のビジュアルエンコーダを利用する新たな自己アライメント手法であるFiSAOを提案する。ビジョンエンコーダからのトークンレベルのフィードバックを活用することで、FiSAOは視覚言語アライメントを大幅に改善する。
論文参考訳（メタデータ） (2024-10-18T03:34:32Z)
Enhancing Large Vision Language Models with Self-Training on Image Comprehension [131.14381425260706]
本稿では、画像理解に特化して自己学習アプローチを強調する自己学習 on Image (STIC)を紹介する。まず、ラベルのない画像を用いて、画像記述の好みを自己構築する。抽出した視覚情報に対する推論をさらに自己改善するため,既存の命令調整データのごく一部をモデルに再利用する。
論文参考訳（メタデータ） (2024-05-30T05:53:49Z)
Enhancing Visual-Language Modality Alignment in Large Vision Language Models via Self-Improvement [102.22911097049953]
大規模視覚言語モデル(LVLM)は、視覚的質問応答および推論タスクにおいて印象的な結果を得た。既存の手法は、しばしば外部モデルやデータに依存し、制御不能で不安定なアライメント結果をもたらす。本稿では,外部依存を伴わない視覚的・言語的モダリティアライメントを向上させる自己改善フレームワークSIMAを提案する。
論文参考訳（メタデータ） (2024-05-24T23:09:27Z)
Calibrated Self-Rewarding Vision Language Models [27.686545023186852]
LVLM(Large Vision-Language Models)は、訓練済みの大規模言語モデル(LLM)と視覚モデルを統合することで、指導チューニングを通じて大幅に進歩した。 LVLMは、しばしば幻覚現象を示し、生成されたテキスト応答は言語的に妥当に見えるが、入力画像に矛盾する。本稿では,候補応答を反復的に生成し,各応答に対する報酬を評価し,微調整のための選好データをキュレートすることで,モデルの自己改善を可能にするCalibrated Self-Rewarding(CSR)アプローチを提案する。
論文参考訳（メタデータ） (2024-05-23T14:30:33Z)
Multimodal Large Language Model is a Human-Aligned Annotator for Text-to-Image Generation [87.50120181861362]
VisionPreferは高品質できめ細かい選好データセットで、複数の選好面をキャプチャする。我々は、VisionPrefer上で報酬モデルVP-Scoreをトレーニングし、テキストから画像への生成モデルのトレーニングを指導し、VP-Scoreの嗜好予測精度は人間のアノテーションに匹敵する。
論文参考訳（メタデータ） (2024-04-23T14:53:15Z)
Diffexplainer: Towards Cross-modal Global Explanations with Diffusion Models [51.21351775178525]
DiffExplainerは、言語ビジョンモデルを活用することで、マルチモーダルなグローバルな説明可能性を実現する新しいフレームワークである。最適化されたテキストプロンプトに条件付けされた拡散モデルを使用し、クラス出力を最大化する画像を合成する。生成した視覚的記述の分析により、バイアスと突発的特徴の自動識別が可能になる。
論文参考訳（メタデータ） (2024-04-03T10:11:22Z)
Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
論文参考訳（メタデータ） (2024-03-19T17:59:52Z)
Interpreting and Controlling Vision Foundation Models via Text Explanations [45.30541722925515]
本稿では,視覚変換器の潜在トークンを自然言語で解釈するフレームワークを提案する。我々のアプローチは、追加のモデルトレーニングやデータ収集を必要とせずに、モデルの視覚的推論手順の理解を可能にする。
論文参考訳（メタデータ） (2023-10-16T17:12:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。