論文の概要: Measuring Monosemanticity in Sparse Autoencoders via Latent Activation Coherence

• arxiv url: http://arxiv.org/abs/2607.17770v1
• Date: Mon, 20 Jul 2026 10:03:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.58406
• Title: Measuring Monosemanticity in Sparse Autoencoders via Latent Activation Coherence
• Title（参考訳）: 潜在活性化コヒーレンスによるスパースオートエンコーダの単意味性の測定
• Abstract要約: 機械的解釈性は、神経表現からより解釈可能な特徴を抽出するためにスパースオートエンコーダを使用する。 既存のメトリクスは外部の概念ラベルを必要とするか、事前訓練された埋め込みモデルに依存しているため、エンコーダの幾何学に敏感である。 本稿では,Tversky Monosemanticity Score (TMS)を紹介した。
• 参考スコア（独自算出の注目度）: 0.8594140167290097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Within Explainable Artificial Intelligence, mechanistic interpretability uses Sparse Autoencoders (SAEs) to extract more interpretable features from neural representations. However, assessing their monosemanticity, and thus explanation quality, remains challenging. Existing metrics require external concept labels or depend on pretrained embedding models, making them sensitive to encoder's geometry. We introduce the Tversky Monosemanticity Score (TMS), a label-free metric that operationalizes monosemanticity as activation-set coherence of binarized SAE latents, and does not require external embedding encoders. We evaluate TMS on SAEs trained on features from pretrained vision and vision-language models (DINOv3, CLIP, BLIP2), two common SAE regimes (TopK, BatchTopK), multiple sparsity levels, and expansion factors. Our results show that TMS is less affected by encoder anisotropy than its embedding-based alternative, while remaining aligned with established monosemanticity indicators. TMS also reveals distinct SAE training dynamics across base models. Moreover, under encoder anisotropy, TMS provides a stronger indication of probe-based concept deletion effectiveness, while being competitive otherwise.
• Abstract（参考訳）: 説明可能な人工知能の中では、機械的解釈性はスパースオートエンコーダ(SAE)を使用して、神経表現からより解釈可能な特徴を抽出する。 しかし、彼らの独占性を評価し、品質を説明することは依然として困難である。 既存のメトリクスは外部の概念ラベルを必要とするか、事前訓練された埋め込みモデルに依存しているため、エンコーダの幾何学に敏感である。 本稿では,Tversky Monosemanticity Score (TMS)について紹介する。これは,二項化SAEラテントのアクティベーションセットコヒーレンスとしてモノセマンティリティを運用し,外部埋め込みエンコーダを必要としないラベルフリーメトリックである。 我々は、事前訓練された視覚モデルと視覚言語モデル(DINOv3、CLIP、BLIP2)、一般的な2つのSAE体制(TopK、BatchTopK)、複数の空間レベル、拡張因子から訓練されたSAE上のTMSを評価した。 以上の結果より, TMSはエンコーダ異方性の影響を受けにくいが, 既往の単意味性指標と一致していることが明らかとなった。 TMSはまた、ベースモデル全体で異なるSAEトレーニングダイナミクスを明らかにしている。 さらに、エンコーダ異方性の下では、TMSはプローブに基づく概念削除の有効性を強く示し、それ以外は競合する。

関連論文リスト

• Monosemanticity in Recommender Systems [0.0]
  本研究では,Amazon Fashionデータセット上に大規模な行列分解推薦システムをトレーニングし,Materyoshka Sparse Autoencoderを学習した埋め込みに適用する。 メタデータアライメントとLCMラベリングによって得られた潜在特徴を分析し,セマンティックコヒーレンスとアンタングルメントを評価する。 以上の結果から, 協調フィルタリングは階層構造が復元可能であることが示唆され, マットリシカトレーニングは, 解釈可能な潜伏因子を明らかにするための原則的メカニズムが示唆された。
  論文  参考訳（メタデータ） (2026-06-28T11:16:12Z)
• Towards Syn-to-Real IQA: A Novel Perspective on Reshaping Synthetic Data Distributions [74.00222571094437]
  Blind Image Quality Assessment (BIQA)はディープラーニングを通じて大幅に進歩しているが、大規模なラベル付きデータセットの不足は依然として課題である。 合成データセットから学習した表現は、しばしば回帰性能を妨げる離散的かつクラスタ化されたパターンを示す。 本稿では,BIQAの一般化を促進するために,合成データ分布を再考する新しいフレームワークであるSynDR-IQAを紹介する。
  論文  参考訳（メタデータ） (2026-01-01T06:11:16Z)
• Beyond Redundancy: Diverse and Specialized Multi-Expert Sparse Autoencoder [59.89996751196727]
  スパースオートエンコーダ(SAE)は、大規模な言語モデルを解釈するための強力なツールとして登場した。 SAEの隠蔽層は、空間的制約を満たすために高い次元性を持ち、結果として禁止的なトレーニングと推論コストをもたらす。 近年のMixture of Experts (MoE) アプローチは、SAEsによってゲートアクティベーションを持つより狭い専門家ネットワークにこの問題に対処しようとしている。 本稿では,(1)専門化を促進するために意味的に重み付けされた専門家サブセットを同時に関与する複数の専門家活性化,(2)適応的な高周波スケーリングによって多様性を高める特徴スケーリングという2つの重要なイノベーションを提案する。
  論文  参考訳（メタデータ） (2025-11-07T22:19:34Z)
• Analysis of Variational Sparse Autoencoders [1.675385127117872]
  SAEアーキテクチャに変分手法を組み込むことで,特徴構造や解釈可能性が改善されるかどうかを検討する。 本稿では,変分スパースオートエンコーダ(vSAE)を導入し,決定論的ReLUゲーティングを学習したガウス後部からのサンプリングに置き換える。 以上の結果から,SAEに対する変分法の適用は,機能的構造や解釈可能性の向上には至らないことが示唆された。
  論文  参考訳（メタデータ） (2025-09-26T23:09:56Z)
• Measuring and Guiding Monosemanticity [25.40936584258291]
  現在の手法では、特徴表現を確実にローカライズし操作する上で、課題に直面している。 本稿では,学習中にラベル付き概念に潜在表現を条件付ける手法であるガイドスパースオートエンコーダ(G-SAE)を提案する。 G-SAEは単Semanticityを向上するだけでなく、より効果的できめ細かいステアリングを可能にする。
  論文  参考訳（メタデータ） (2025-06-24T07:18:20Z)
• Dense SAE Latents Are Features, Not Bugs [86.50389855919292]
  言語モデル計算において,高密度潜伏剤が機能的役割を担っていることを示す。 位置追跡,コンテキストバインディング,エントロピー制御,文字固有出力信号,パート・オブ・音声,主成分再構成に関連するクラスを同定する。
  論文  参考訳（メタデータ） (2025-06-18T17:59:35Z)
• Taming Polysemanticity in LLMs: Provable Feature Recovery via Sparse Autoencoders [50.52694757593443]
  既存のSAEトレーニングアルゴリズムは厳密な数学的保証を欠いていることが多く、実用的な制限に悩まされている。 まず,特徴の特定可能性という新たな概念を含む特徴回復問題の統計的枠組みを提案する。 本稿では、ニューラルネットワークのバイアスパラメータを適応的に調整し、適切なアクティベーション間隔を確保する手法である「バイアス適応」に基づく新たなSAEトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-16T20:58:05Z)
• Sparse Autoencoders Learn Monosemantic Features in Vision-Language Models [50.587868616659826]
  視覚表現におけるニューロンレベルでの単意味性を評価するための包括的枠組みを提案する。 実験の結果,視覚言語モデルで訓練したSAEは個々のニューロンの単意味性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2025-04-03T17:58:35Z)
• Interpreting CLIP with Hierarchical Sparse Autoencoders [8.692675181549117]
  サエマトリオシュカ(MSAE)は複数の粒度の階層的表現を同時に学習する。 MSAEは、CLIPの再構築品質とスパーシリティの間に新しい最先端のフロンティアを確立する。
  論文  参考訳（メタデータ） (2025-02-27T22:39:13Z)
• Evaluating Sparse Autoencoders on Targeted Concept Erasure Tasks [1.4565166775409717]
  スパースオートエンコーダ(SAE)は、ニューラルネットワークのアクティベーションを解釈可能な単位に分解することを目的とした解釈可能性技術である。 我々は,マークスらによる下流作業である ShiFT に基づく評価のファミリを紹介する。 我々は ShiFT をSAE 品質の自動測定基準に適合させ,人間のアノテーションを LLM に置き換える。 また、SAEが同様の概念を解き放つ能力を定量化するTPP(Targeted Probe Perturbation)指標も導入する。
  論文  参考訳（メタデータ） (2024-11-28T03:58:48Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。