論文の概要: Extraction and Analysis of Multimodal Concepts in Vision Language Models through Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2606.21197v1
• Date: Fri, 19 Jun 2026 08:08:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 07:31:45.055132
• Title: Extraction and Analysis of Multimodal Concepts in Vision Language Models through Sparse Autoencoders
• Title（参考訳）: スパースオートエンコーダによる視覚言語モデルにおけるマルチモーダル概念の抽出と解析
• Authors: Sergio Lanza, Jae Hee Lee, Stefan Wermter,
• Abstract要約: 本稿では,視覚言語モデル(VLM)から視覚,テキスト,マルチモーダルの概念を抽出し,解析する,スパースオートエンコーダ(SAE)に基づくフレームワークを提案する。 我々のフレームワークは、既存のSAEベースの手法と比較して、視覚概念の質を最大45%向上させる。
• 参考スコア（独自算出の注目度）: 9.716523835964045
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision Language Models (VLMs) have demonstrated impressive performance in tasks requiring joint understanding of images and text, such as image captioning and Visual Question Answering (VQA), but our understanding of their internal processes remains limited. Recently, Sparse Autoencoders (SAEs) have emerged as a promising tool to support the interpretation of concepts encoded in VLMs. However, most SAE-based approaches focus only on textual or visual concepts separately, ignoring multimodal concepts. This limitation hinders a comprehensive understanding of VLMs, since concepts that integrate both modalities can be misclassified. Moreover, previous visual approaches often produce low-quality visual concept descriptions that are vague or incomplete, limiting their usefulness for understanding model reasoning. We propose a framework based on SAEs to extract and analyze visual, textual, and multimodal concepts from VLMs. For each neuron, we propose a candidate human-interpretable concept and compute the alignment between the concept and the dataset samples using cosine similarity scores. Experiments on a VQA dataset (LLaVA-NeXT) demonstrate that our framework improves visual concept quality by up to 45\% compared to existing SAE-based methods, while maintaining high textual concept quality and enabling systematic identification of multimodal concepts. This work contributes new insights into the conceptual space of VLMs, providing a structured approach to distinguish between visual, textual, and multimodal concepts. The code is available at https://github.com/PHDLanza/Multidata_SAE
• Abstract（参考訳）: 視覚言語モデル (VLM) は画像キャプションや視覚質問応答 (VQA) などの画像とテキストを共同で理解する必要のあるタスクにおいて印象的な性能を示してきたが, 内部プロセスの理解は限られている。 近年,Sparse Autoencoders (SAE) が,VLM で符号化された概念の解釈を支援するための有望なツールとして登場した。 しかし、ほとんどのSAEベースのアプローチは、マルチモーダルな概念を無視して、テキストや視覚的な概念にのみ焦点をあてている。 この制限は、両方のモダリティを統合する概念を誤分類できるため、VLMの包括的な理解を妨げる。 さらに、従来の視覚的アプローチは、曖昧または不完全である低品質な視覚的概念記述をしばしば生成し、モデル推論を理解するために有用性を制限する。 本稿では,視覚,テキスト,マルチモーダルの概念をVLMから抽出し,分析するためのSAEに基づくフレームワークを提案する。 各ニューロンに対して、候補となる人間解釈可能な概念を提案し、コサイン類似度スコアを用いて、概念とデータセットのアライメントを計算する。 VQAデータセット(LLaVA-NeXT)を用いた実験では,既存のSAE方式と比較して最大45倍の視覚的概念品質向上を実現し,高いテキスト的概念品質を維持しつつ,マルチモーダルな概念の体系的識別を可能にした。 この研究は、VLMの概念空間に対する新たな洞察をもたらし、視覚、テキスト、マルチモーダルの概念を区別するための構造化されたアプローチを提供する。 コードはhttps://github.com/PHDLanza/Multidata_SAEで公開されている。

関連論文リスト

• VL-SAE: Interpreting and Enhancing Vision-Language Alignment with a Unified Concept Set [80.50996301430108]
  視覚言語表現のアライメントは、強いマルチモーダル推論能力を持つ現在のビジョン言語モデルを実現する。 視覚言語表現をその隠れアクティベーションにエンコードするスパースオートエンコーダVL-SAEを提案する。 解釈において、視覚と言語表現のアライメントは、意味論と概念を比較することで理解することができる。
  論文  参考訳（メタデータ） (2025-10-24T10:29:31Z)
• MIMIC: Multimodal Inversion for Model Interpretation and Conceptualization [52.66401137323065]
  視覚言語モデル(VLM)の内部表現を可視化するMIMIC(Multimodal Inversion for Model Interpretation and Conceptualization)フレームワークを提案する。 MIMICは、VLMの自己回帰処理のために、ジョイントVLMベースの反転と特徴アライメントの目的を使用する。 可変長自由形VLM出力テキストに対して視覚概念を反転させることによりMIMICを定量的に定性的に評価する。
  論文  参考訳（メタデータ） (2025-08-11T10:36:58Z)
• V2C-CBM: Building Concept Bottlenecks with Vision-to-Concept Tokenizer [19.177297480709512]
  概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、イメージを人間の理解可能な概念に変換することによって、固有の解釈性を提供する。 最近のアプローチでは、概念ボトルネックを構築するために、大きな言語モデルの知識を活用している。 本研究では,CBMをマルチモーダルモデルから直接構築することで,これらの問題を回避する。
  論文  参考訳（メタデータ） (2025-01-09T05:12:38Z)
• A Concept-Based Explainability Framework for Large Multimodal Models [52.37626977572413]
  本稿では,トークン表現に適用した辞書学習に基づくアプローチを提案する。 これらの概念は、視覚とテキストの両方に意味論的に根ざしていることを示す。 抽出したマルチモーダル概念は,テストサンプルの表現の解釈に有用であることを示す。
  論文  参考訳（メタデータ） (2024-06-12T10:48:53Z)
• Pre-trained Vision-Language Models Learn Discoverable Visual Concepts [33.302556000017844]
  学習した視覚的概念が広範囲のアプリケーションを可能にすることを目標にしています。 事前学習されたVLMによってキャプチャされた視覚概念は、テキストベースの概念プロンプトで視覚言語インタフェースによって抽出できると仮定する。 提案する概念発見学習フレームワークは,汎用的な視覚概念の多種多様なリストを識別するように設計されている。
  論文  参考訳（メタデータ） (2024-04-19T06:41:32Z)
• MyVLM: Personalizing VLMs for User-Specific Queries [78.33252556805931]
  視覚言語モデルのパーソナライズに向けての第一歩を踏み出し,ユーザが提供する概念を学習し,推論することを可能にする。 様々なユーザ固有の概念を効果的に認識するために,モデルのトグルとして機能する外部概念ヘッドを付加する。 この概念を認識して、VLMの中間機能空間に埋め込まれた新しい概念を学習する。 この埋め込みは、言語モデルを誘導し、ターゲットの概念を生成された応答に自然に統合する。
  論文  参考訳（メタデータ） (2024-03-21T17:51:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。