論文の概要: Verifying the Linear Representation Hypothesis: How Interpretable Are Vision SAEs?

• arxiv url: http://arxiv.org/abs/2609.35020v1
• Date: Mon, 28 Sep 2026 12:20:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 17:50:21.306025
• Title: Verifying the Linear Representation Hypothesis: How Interpretable Are Vision SAEs?
• Title（参考訳）: 線形表現仮説の検証:視覚SAEはどのように解釈可能か?
• Abstract要約: Vision Sparse Autoencoders (SAEs) は、メカニスティック・インタプリタビリティ(Mechanistic Interpretability)において人気のあるツールとなっている。 標準メトリクスと適応型自己解釈可能性スコア(AIS)の両方を用いてSAE概念の質を評価する。 その結果,SAEの解釈可能性の指標は相互に相関せず,AISとも相関し,単一の基準自由度が視覚SAEの解釈可能性の検証に十分でないことが明らかとなった。
• 参考スコア（独自算出の注目度）: 0.35776452910753404
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision Sparse Autoencoders (SAEs) have become a popular tool in Mechanistic Interpretability due to their presumed ability to disentangle complex features learned by a model into monosemantic concepts. Despite their growing popularity, evaluating their interpretability remains an active topic of research. The bedrock motivating the adoption of SAEs is the Linear Representation Hypothesis (LRH), which claims that polysemantic features can be projected onto a (near) orthogonal basis of sparse, human-understandable representations. Yet, most current frameworks evaluate proxies such as the sparsity of SAE features or the coherence of the inferred dictionary, implicitly assuming that these reflect alignment with human perception. In this paper, we provide empirical evidence that measuring the interpretability of SAE concepts is more difficult than these proxies suggest. To this end, we adapt the Autointerpretability Score (AIS) - previously shown to align with human judgments in Natural Language Processing - to vision tasks and validate our approach in a dedicated user study. We evaluate SAE concept quality using both standard metrics and our adapted AIS. We find that established interpretability metrics for SAEs correlate neither with one another nor with AIS, indicating that no single reference-free metric, whether grounded in the LRH or not, is sufficient for verifying the interpretability of vision SAEs. We argue these findings support recent calls for more verifiable, ground-truth-anchored design and evaluation of explanation methods.
• Abstract（参考訳）: 視覚スパースオートエンコーダ(SAE)は、モデルによって学習された複雑な特徴をモノセマンティックな概念に分解する能力によって、機械的解釈可能性において一般的なツールとなっている。 人気が高まっているにもかかわらず、その解釈可能性を評価することは研究の活発なトピックである。 リーナー表現仮説(Linear Representation hypothesis、LRH)は、多意味的な特徴は、(ほぼ)直交する、スパースで人間の理解可能な表現に投影できると主張している。 しかし、現在のほとんどのフレームワークは、SAE特徴の空間性や推論辞書のコヒーレンスといったプロキシを評価し、これらが人間の知覚を反映していると暗黙的に仮定している。 本稿では,これらのプロキシが示唆するよりも,SAE概念の解釈可能性を測定することが困難であることを示す実証的証拠を提供する。 この目的のために、我々は、自然言語処理における人間の判断に適合するように示されているAutointerpretability Score(AIS)を、タスクのビジョンに適応し、専用のユーザスタディでアプローチを検証する。 標準メトリクスと適応AISの両方を用いて,SAEの概念品質を評価した。 その結果,視線SAEの解釈可能性を検証するには,LRHに接するか否かに関わらず,単一の基準自由度が不十分であることが示唆された。 これらの知見は, より信頼性が高く, 地味に整合した設計, 説明手法の評価に対する近年の要求を裏付けるものである。

関連論文リスト

• Evaluating the Interpretability of Sparse Autoencoders with Concept Annotations [12.535445487099393]
  本研究では,SAE潜伏剤と人間注釈概念のアライメントを定量化する人為的評価フレームワークを提案する。 対象属性の摂動によるマッチングを検証する。 我々のフレームワークは、中程度の辞書サイズが最良のトレードオフをもたらし、最も解釈可能なSAEをもたらすことを示唆している。
  論文  参考訳（メタデータ） (2026-06-23T15:39:29Z)
• From Sparse Features to Trustworthy Proxies: Certifying SAE-Based Interpretability [53.681678236115836]
  我々は,SAEに基づく説明を,基盤となる凍結LMの忠実な見方として扱うことができるかを検討した。 この枠組みは, 4つの測定可能な量を用いて, 基本モデルの予測リスクの上限を導出する。 我々は, GPT-2 Small, Gemma-2B, Llama-3-8B のサンプルサイズにおいて, 境界が非空洞となることを示す。
  論文  参考訳（メタデータ） (2026-06-16T18:28:23Z)
• SAVOIR: Learning Social Savoir-Faire via Shapley-based Reward Attribution [82.31558282651811]
  複雑な対人相互作用をナビゲートするソーシャルインテリジェンスは、言語エージェントに根本的な課題を提示する。 既存のアプローチでは、言語モデルを直接使用してエピソードレベルの報酬を分配する。 協調ゲーム理論に基づく新しい原理的枠組みであるSAVOIRを提案する。
  論文  参考訳（メタデータ） (2026-04-21T02:08:25Z)
• Evaluating SAE interpretability without explanations [0.7234862895932991]
  我々は,スパースコーダの解釈可能性を評価するために,既存の手法を適用した。 解釈可能性の指標から得られたスコアと、類似したタスクや様々な設定の人的評価を比較し、これらの手法の評価を改善するためのコミュニティの提案を行う。
  論文  参考訳（メタデータ） (2025-07-11T10:31:53Z)
• Interpretability Illusions with Sparse Autoencoders: Evaluating Robustness of Concept Representations [23.993903128858832]
  本研究では,SAE表現を操作するために対向的摂動が構築される現実的なシナリオを特徴とする評価フレームワークを開発する。 逆入力摂動は,ほとんどのシナリオにおいて,概念に基づく解釈を効果的に操作できることがわかった。 以上の結果から,SAEの概念表現は脆弱であり,モデル監視や監視に不適である可能性が示唆された。
  論文  参考訳（メタデータ） (2025-05-21T20:42:05Z)
• Sparse Autoencoders Learn Monosemantic Features in Vision-Language Models [50.587868616659826]
  視覚表現におけるニューロンレベルでの単意味性を評価するための包括的枠組みを提案する。 実験の結果,視覚言語モデルで訓練したSAEは個々のニューロンの単意味性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2025-04-03T17:58:35Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Archetypal SAE: Adaptive and Stable Dictionary Learning for Concept Extraction in Large Vision Models [16.894375498353092]
  スパースオートエンコーダ(SAE)は、機械学習の解釈可能性のための強力なフレームワークとして登場した。 既存のSAEは、類似したデータセットでトレーニングされた同一のモデルは、非常に異なる辞書を生成することができるため、深刻な不安定性を示す。 本稿では、辞書の原子を凸殻に拘束するArchitypal SAEについて述べる。
  論文  参考訳（メタデータ） (2025-02-18T14:29:11Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。