論文の概要: Rethinking SAE Evaluation: An Atomic Interpretable Unit Framework Reveals Hidden Polysemanticity and Redundancy

• arxiv url: http://arxiv.org/abs/2610.30474v2
• Date: Fri, 23 Oct 2026 03:47:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.230116
• Title: Rethinking SAE Evaluation: An Atomic Interpretable Unit Framework Reveals Hidden Polysemanticity and Redundancy
• Title（参考訳）: SAEの評価を再考する: 隠れた多面性と冗長性を明らかにする原子解釈可能なユニット・フレームワーク
• Abstract要約: スパースオートエンコーダ (SAE) はもともと単意味的特徴の発見によって動機づけられた。 我々は,SAE評価のための新しいパラダイム,すなわち原子解釈可能な単位基底を形成するためのSAE機能を提案する。
• 参考スコア（独自算出の注目度）: 15.75438897214483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders (SAEs) were originally motivated by discovering monosemantic features, a property that characterizes individual features but does not specify what the learned feature set should look like as a whole. As SAEs have increasingly been adopted for attribution, circuit discovery, and intervention, researchers have begun evaluating metrics that describe global properties of the feature set, such as sparsity, dead feature rates, reconstruction fidelity, and disentanglement, a diverse set that extends far beyond monosemanticity. However, this implicit shift beyond monosemanticity has not been formalized as a clear, well-defined objective that comes before these evaluation metrics. Without such an objective, existing metrics remain ad hoc, with their necessity unjustified. In this work, we formalize this ultimate objective by introducing a new paradigm for SAE evaluation: requiring that SAE features, and more generally dictionary-based decompositions of model representations, form an atomic interpretable unit basis, a coordinate system for semantically meaningful explanation. Under this paradigm, we organize existing and new measurements such as DAME (Dominance-Aware Monosemanticity Evaluation) as proxy metrics and introduce a comprehensive benchmarking framework. Evaluating hundreds of SAEs across multiple architectures and model families, we uncover failure modes in which some SAEs appear monosemantic under existing evaluation metrics while remaining functionally polysemantic: the most dominant features, those contributing most to model computation, are systematically less interpretable and more redundant. These failure modes warrant attention from SAE researchers as targets for improved training and architectures, and motivate dominance-aware evaluation as a standard check for practitioners before SAE features are deployed for attribution, circuit tracing, or intervention.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は、もともとは個々の特徴を特徴付けるが、学習した特徴セットが全体としてどう見えるかを定義しない、単意味的な特徴を発見することで動機づけられた。 SAEは、帰属、回路発見、介入のためにますます採用されてきているので、研究者らは、その特徴セットのグローバルな特性、例えば、空間性、死の特徴率、再構築の忠実さ、そして、単調性を超えて広がる多様な集合であるアンタングルメント(disentanglement)について評価し始めている。 しかしながら、この単意味性を超えた暗黙的なシフトは、これらの評価指標の前に生じる明確で明確に定義された目的として定式化されていない。 このような客観的な目的がなければ、既存のメトリクスは不当に不適切なまま残される。 本研究は,SAE評価のための新たなパラダイムを導入することで,この究極の目的を定式化するものである。SAEの特徴,およびより一般的には,モデル表現の辞書に基づく分解が,意味論的に意味のある説明のための座標系である原子解釈可能な単位基底を形成すること。 このパラダイムの下では、DAME(Dominance-Aware Monosemanticity Evaluation)などの既存の新しい測定基準をプロキシメトリクスとして整理し、包括的なベンチマークフレームワークを導入する。 複数のアーキテクチャやモデルファミリにまたがる数百のSAEを評価することで、いくつかのSAEが既存の評価指標の下で単意味に見えながら機能的に多義的である障害モードを明らかにします。 これらの障害モードは、SAE研究者から、トレーニングとアーキテクチャの改善のターゲットとして注意を喚起し、SAE機能が帰属、回路追跡、介入のためにデプロイされる前に、実践者の標準チェックとして優位性評価を動機付けている。

関連論文リスト

• Verifying the Linear Representation Hypothesis: How Interpretable Are Vision SAEs? [0.35776452910753404]
  Vision Sparse Autoencoders (SAEs) は、メカニスティック・インタプリタビリティ(Mechanistic Interpretability)において人気のあるツールとなっている。 標準メトリクスと適応型自己解釈可能性スコア(AIS)の両方を用いてSAE概念の質を評価する。 その結果,SAEの解釈可能性の指標は相互に相関せず,AISとも相関し,単一の基準自由度が視覚SAEの解釈可能性の検証に十分でないことが明らかとなった。
  論文  参考訳（メタデータ） (2026-09-28T12:20:57Z)
• Evaluating the Interpretability of Sparse Autoencoders with Concept Annotations [12.535445487099393]
  本研究では,SAE潜伏剤と人間注釈概念のアライメントを定量化する人為的評価フレームワークを提案する。 対象属性の摂動によるマッチングを検証する。 我々のフレームワークは、中程度の辞書サイズが最良のトレードオフをもたらし、最も解釈可能なSAEをもたらすことを示唆している。
  論文  参考訳（メタデータ） (2026-06-23T15:39:29Z)
• Qwen-Scope: Turning Sparse Features into Development Tools for Large Language Models [80.45129499188461]
  我々はQwenモデルファミリ上に構築されたスパースオートエンコーダ(SAE)のオープンソーススイートであるQwen-Scopeを紹介する。 SAEはポストホック解析を超越して,4方向のモデル開発のための実用的なインターフェースとして機能することを示す。
  論文  参考訳（メタデータ） (2026-05-12T10:01:06Z)
• On the Theoretical Understanding of Identifiable Sparse Autoencoders and Beyond [36.107366496809675]
  スパースオートエンコーダ(SAE)は、大規模言語モデル(LLM)によって学習された特徴を解釈する強力なツールとして登場した。 複雑な重畳されたポリセマンティックな特徴を、わずかに活性化されたニューラルネットワークによる特徴再構成によって解釈可能なモノセマンティックな特徴に復元することを目的としている。 SAEの幅広い応用にもかかわらず、SAEがどのような条件下で、重畳された多意味的特徴から基底真理単意味的特徴を完全に回復できるかは不明である。
  論文  参考訳（メタデータ） (2025-06-19T02:16:08Z)
• Taming Polysemanticity in LLMs: Provable Feature Recovery via Sparse Autoencoders [50.52694757593443]
  既存のSAEトレーニングアルゴリズムは厳密な数学的保証を欠いていることが多く、実用的な制限に悩まされている。 まず,特徴の特定可能性という新たな概念を含む特徴回復問題の統計的枠組みを提案する。 本稿では、ニューラルネットワークのバイアスパラメータを適応的に調整し、適切なアクティベーション間隔を確保する手法である「バイアス適応」に基づく新たなSAEトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-16T20:58:05Z)
• Rethinking Evaluation of Sparse Autoencoders through the Representation of Polysemous Words [29.09237503747052]
  スパースオートエンコーダ(SAE)は、大規模言語モデル(LLM)の解釈性を改善するための有望なツールとして多くの注目を集めている。 本稿では,多文単語に着目した単意味特徴の質を解析するためのSAEの評価スイートを提案する。
  論文  参考訳（メタデータ） (2025-01-09T02:54:19Z)
• Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
  現代の言語モデル(LM)は、能力評価において新たな課題を提起する。 メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
  論文  参考訳（メタデータ） (2024-07-22T17:52:12Z)
• Boosting Segment Anything Model Towards Open-Vocabulary Learning [69.24734826209367]
  Segment Anything Model (SAM)は、新しいパラダイムビジョン基盤モデルとして登場した。 SAMは様々な領域で応用や適応を発見できるが、その主な制限はオブジェクトの意味を把握できないことである。 我々は,SAMとオープン語彙オブジェクト検出器をエンドツーエンドフレームワークでシームレスに統合するSamborを提案する。
  論文  参考訳（メタデータ） (2023-12-06T17:19:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。