論文の概要: Measuring Semantic Abstractness of SAE Features via Nonlocality
- arxiv url: http://arxiv.org/abs/2608.10537v1
- Date: Tue, 11 Aug 2026 06:19:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.926678
- Title: Measuring Semantic Abstractness of SAE Features via Nonlocality
- Title（参考訳）: 非局所性によるSAE特徴量の意味的抽象性の測定
- Abstract要約: SAE特徴の活性化に対する正規化パーポジションの影響のエントロピーとして定義されるemphFeature Nonlocality (FNL)を導入する。
FNL は LLM に依存しない、ラベルなし、相関関係のないSAE 機能の抽象化レベルを目撃する。
- 参考スコア（独自算出の注目度）: 0.19116784879310025
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse autoencoders (SAEs) have helped uncover mechanistic explanations for LLM behaviours such as reasoning, jailbreaking etc., via understanding the corresponding task-relevant and causally effective features. To evaluate such mechanistic explanations, downstream studies must distinguish surface lexical features from genuinely high-level ones. However, neither an autointerp-based semantic description nor causal steering utility fully resolves the abstraction level of a feature. To this end, we introduce \emph{Feature Nonlocality} (FNL), defined as the entropy of the normalized per-position influence on an SAE feature's activation. We report that FNL correlates with existing LLM-based proxy metrics of feature semantic abstractness, and successfully distinguishes context-dependent reasoning features from token-driven ones, correctly assigning the higher FNL to the contextual feature in $73$--$84\%$ of randomly drawn pairs that consist of one contextual and one token-level feature. We demonstrate two downstream applications. We audit SAE-based features used for jailbreak mitigation and find surprisingly that most effective features are positional features with low FNL rather than genuinely recognizing harmful intents. We report that steering high-FNL features in DeepSeek-R1-Distill-Llama-8B improves MATH-500 accuracy by $4.6$ points over the unsteered model and outperforms steering low-FNL features, though the gains are model-specific. We conclude that FNL provides an LLM-independent, label-free, correlational witness of the abstraction level of an SAE feature, with applications in evaluating mechanistic explanations as well as selecting features for downstream interventions.
- Abstract（参考訳）: スパースオートエンコーダ(SAE)は、対応するタスク関連および因果的効果的な特徴を理解することによって、推論、脱獄などのLCMの動作に関する機械的説明を明らかにするのに役立っている。
このような力学的な説明を評価するためには、下流の研究では、表面の語彙的特徴と真に高レベルな特徴とを区別する必要がある。
しかし、オートインタップに基づくセマンティック記述や因果的ステアリングユーティリティは、機能の抽象化レベルを完全に解決するものではない。
この目的のために,SAE特徴の活性化に対する正規化パーポジションの影響のエントロピーとして定義される「emph{Feature Nonlocality} (FNL) を導入する。
我々は、FNLが既存のLLMベースの特徴的抽象性のプロキシメトリクスと相関し、文脈依存推論機能をトークン駆動のものと区別し、高いFNLを1つのコンテキストと1つのトークンレベルの特徴からなるランダムに描画されたペアの7,3$--84\%$でコンテキスト的特徴に正しく割り当てることに成功したことを報告した。
ダウンストリームアプリケーションを2つ紹介する。
ジェイルブレイクの軽減に使用されるSAEベースの特徴を検査し、最も有効な特徴は、有害な意図を真に認識するのではなく、FNLの低い位置的特徴であることを発見した。
We report that steering high-FNL features in DeepSeek-R1-Distill-Llama-8B improveing MATH-500 accuracy over the unsteered model and outforms steering low-FNL features, although the gains are model-specific。
我々は、FNLがSAE機能の抽象化レベルをLLMに依存しず、ラベル無しで相関関係のない証人として提供し、機械的説明の評価や下流介入のための特徴の選択に応用できると結論付けた。
関連論文リスト
- Sparse Autoencoders Encode Both Concepts and Functions: The Downstream Geometry of Feature Effects [58.98080129016082]
Feature-Effect Geometry Analysis (FEGA)は、コンテキスト間で同じアクティブなSAE機能を削除した教師なしのフレームワークである。
ステアリングの安定な方向を提供することなく,特徴を解釈し,因果的に関連付けることができることを示す。
論文 参考訳（メタデータ） (2026-07-27T16:45:08Z) - From Sparse Features to Trustworthy Proxies: Certifying SAE-Based Interpretability [53.681678236115836]
我々は,SAEに基づく説明を,基盤となる凍結LMの忠実な見方として扱うことができるかを検討した。
この枠組みは, 4つの測定可能な量を用いて, 基本モデルの予測リスクの上限を導出する。
我々は, GPT-2 Small, Gemma-2B, Llama-3-8B のサンプルサイズにおいて, 境界が非空洞となることを示す。
論文 参考訳（メタデータ） (2026-06-16T18:28:23Z) - Step-Level Sparse Autoencoder for Reasoning Process Interpretation [48.99201531966593]
大規模言語モデル(LLM)は、Chain-of-Thought(CoT)推論を通じて、強力な複雑な推論機能を実現している。
本稿では,ステップレベルスパースオートエンコーダ (SSAE) を提案する。
複数の基本モデルと推論タスクの実験により,抽出した特徴の有効性が示された。
論文 参考訳（メタデータ） (2026-03-03T14:25:02Z) - Control Reinforcement Learning: Interpretable Token-Level Steering of LLMs via Sparse Autoencoder Features [1.5874067490843806]
Control Reinforcement Learningは、各トークンでステアリングするためのSAE機能を選択するポリシーをトレーニングし、解釈可能な介入ログを生成する。
Adaptive Feature Maskingは、単一機能解釈性を維持しながら、多様な機能発見を促進する。
MMLU、BBQ、GSM8K、HarmBench、XSTestにわたるGemma 2Bでは、CRLは、トークン単位の介入ログを提供しながら改善されている。
論文 参考訳（メタデータ） (2026-02-11T02:28:49Z) - Do Sparse Autoencoders Identify Reasoning Features in Language Models? [12.693974363520423]
大規模言語モデル(LLM)において,スパースオートエンコーダ(SAE)が真の推論特徴を識別するかどうかを検討する。
我々はまず、$ell_$-regularized SAEsが本質的に低次元パターンに偏っているという単純な理論分析を通して示す。
このバイアスに触発され,機能活性化が推論過程を反映しているか,あるいは表層言語的相関を反映しているかを検証するために,ファルシフィケーション指向評価フレームワークを導入する。
論文 参考訳（メタデータ） (2026-01-09T09:54:36Z) - Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation [59.40886078302025]
マルチモーダル大規模言語モデル(MLLM)は、視覚入力と自然言語出力の整合性を示す。
しかし、生成したトークンが視覚的モダリティに依存する範囲は、いまだに理解されていない。
MLLMにおける自己回帰トークン生成を説明するための軽量なブラックボックスフレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-26T15:38:42Z) - Decomposing MLP Activations into Interpretable Features via Semi-Nonnegative Matrix Factorization [17.101290138120564]
現在の手法は、スパースオートエンコーダ(SAE)を用いた辞書学習に依存している。
ここでは、セミ非負行列分解(SNMF)によるアクティベーションを直接分解することで、これらの制限に対処する。
Llama 3.1, Gemma 2, GPT-2の実験では、SNMFはSAEよりも優れており、因果的ステアリングに強い教師付きベースライン(差-in-means)がある。
論文 参考訳（メタデータ） (2025-06-12T17:33:29Z) - Outcome-Based Online Reinforcement Learning: Algorithms and Fundamental Limits [58.63897489864948]
結果に基づくフィードバックによる強化学習は、根本的な課題に直面します。
適切なアクションにクレジットを割り当てるには?
本稿では,一般関数近似を用いたオンラインRLにおけるこの問題の包括的解析を行う。
論文 参考訳（メタデータ） (2025-05-26T17:44:08Z) - FADE: Why Bad Descriptions Happen to Good Features [14.00042287629001]
FADE: 特徴アライメントを記述評価に導入する。
FADEは、機能間アライメントを自動的に評価するためのスケーラブルなフレームワークである。
既存のオープンソース機能記述を分析し,自動解釈可能性パイプラインの重要なコンポーネントを評価するためにFADEを適用した。
論文 参考訳（メタデータ） (2025-02-24T09:28:35Z) - Interpreting and Steering LLMs with Mutual Information-based Explanations on Sparse Autoencoders [29.356200147371275]
大きな言語モデル(LLM)は人間のクエリを扱うのに優れていますが、時に欠陥や予期せぬ応答を生成することができます。
特徴解釈と相互情報に基づく目的設計のための固定語彙集合を提案する。
そこで本研究では,学習した機能アクティベーションを,対応する説明に基づいて調整する2つの実行時ステアリング戦略を提案する。
論文 参考訳（メタデータ） (2025-02-21T16:36:42Z) - X2-DFD: A framework for eXplainable and eXtendable Deepfake Detection [55.77552681618732]
X2-DFDは、eXplainableおよびeXtendableフレームワークであり、ディープフェイク検出のためのマルチモーダルな多言語モデル(MLLM)に基づいている。
最初の段階であるモデル特徴評価は、MLLMの偽造関係の特徴の検出可能性を体系的に評価する。
2番目のステージであるExplainable dataset Constructionは、Strong Feature StrengtheningとWeak Feature Supplementingの2つの重要なモジュールで構成されている。
3番目のステージであるファインチューニングと推論では、構築されたデータセット上でMLLMを微調整し、最終的な検出と説明のためにデプロイする。
論文 参考訳（メタデータ） (2024-10-08T15:28:33Z) - Large Language Models can be Strong Self-Detoxifiers [82.6594169242814]
SASA(Self-disciplined Autoregressive Smpling)は、大規模言語モデル(LLM)の毒性低減のための軽量制御復号アルゴリズムである。
SASAは、自己回帰サンプリング戦略を調整することにより、電流出力のマージンを追跡し、有害な部分空間から世代を分離する。
Llama-3.1-Instruct (8B), Llama-2 (7B), GPT2-L model with the RealToxicityPrompts, BOLD, and AttaQ benchmarks。
論文 参考訳（メタデータ） (2024-10-04T17:45:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。