論文の概要: From Input to Output: A Flexible Agent for Dual-End Interpretation of Sparse Autoencoder Features

• arxiv url: http://arxiv.org/abs/2609.35367v1
• Date: Mon, 28 Sep 2026 15:09:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 06:04:21.626878
• Title: From Input to Output: A Flexible Agent for Dual-End Interpretation of Sparse Autoencoder Features
• Title（参考訳）: 入力から出力へ:スパースオートエンコーダのデュアルエンド解釈のためのフレキシブルエージェント
• Abstract要約: 本稿では,SAE特徴をその活性化入力セマンティクスから介入による出力効果へのマッピングとして特徴付ける機能解釈を紹介する。 本稿では,DAFI(Dual-End Agentic Feature Interpretation)について述べる。
• 参考スコア（独自算出の注目度）: 40.86380741881536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders (SAEs) are an important tool for mechanistic interpretability, but interpreting their many features remains challenging. Existing methods characterize input-side activation patterns and output-side intervention effects, yet often leave their functional connection implicit, while input-side evidence collection typically relies on costly large-corpus scans. We introduce functional interpretation, which characterizes an SAE feature as a mapping from its activating input semantics to its output effects under intervention, and present Dual-End Agentic Feature Interpretation (DAFI), an agent that actively gathers evidence and refines input-side, output-side, and functional interpretations through component-specific feedback. Its short-context token probing enables on-demand activation evidence collection without a full corpus scan. On GemmaScope, DAFI improves Input score by 13.1 percentage points over SAGE and Output score by 38.9 points over Token Change, while being substantially more token-efficient than a general-purpose coding agent. Skills distilled from successful refinements raise the held-out joint pass rate from 58.0% to 92.0% and improve both interpretation quality and efficiency when transferred to a new model-SAE setting. Across features with reliable endpoint interpretations, 70.7% exhibit non-equivalent input and output semantics. On AxBench, DAFI also improves steering-feature selection over output-score filtering. Code is available at https://github.com/THUAIS-Lab/DAFI.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は機械的解釈可能性にとって重要なツールであるが、多くの特徴を解釈することは依然として困難である。 既存の方法は入力側のアクティベーションパターンと出力側の介入効果を特徴付けるが、しばしば機能的な接続を暗黙に残す。 本稿では,DAFI(Dual-End Agentic Feature Interpretation)という,入力セマンティクスの活性化から介入による出力効果へのマッピングとして,SAE機能を特徴付ける機能解釈を紹介した。 その短文トークン探索は、全コーパススキャンなしでオンデマンドのアクティベーションエビデンス収集を可能にする。 GemmaScopeでは、DAFIは入力スコアをSAGEとOutputで13.1ポイント、Token Changeで38.9ポイント改善している。 改良を成功させて蒸留した技術は、保持されたジョイントパスレートを58.0%から92.0%に引き上げ、新しいモデルSAE設定に移行する際の解釈品質と効率を向上させる。 信頼できるエンドポイントの解釈を持つ機能全体では、70.7%は等価でない入力と出力のセマンティクスを示す。 AxBenchでは、DAFIは出力スコアフィルタリングよりもステアリング機能の選択を改善している。 コードはhttps://github.com/THUAIS-Lab/DAFIで入手できる。

関連論文リスト

• Beyond Token Scale: Chunk-Level Sparse Autoencoders for Reliable Semantic Feature Discovery [31.533455413979357]
  スパースオートエンコーダ(SAE)は,言語モデルの理解とステアリングを支援する機能を公開するが,忠実な再構築は情報的概念を保証するものではない。 チャンク上の平均プール活性化をエンコードするチャンクレベルのSAEのファミリーを導入します。 一致したトレーニングデータでは、チャンクレベルのSAEは信頼性のあるセマンティック機能を学びながら、強力な解釈可能性ツールのままである。
  論文  参考訳（メタデータ） (2026-09-28T16:11:30Z)
• Sparse Autoencoders Encode Both Concepts and Functions: The Downstream Geometry of Feature Effects [58.98080129016082]
  Feature-Effect Geometry Analysis (FEGA)は、コンテキスト間で同じアクティブなSAE機能を削除した教師なしのフレームワークである。 ステアリングの安定な方向を提供することなく,特徴を解釈し,因果的に関連付けることができることを示す。
  論文  参考訳（メタデータ） (2026-07-27T16:45:08Z)
• ADAG: Automatically Describing Attribution Graphs [50.460651620833055]
  完全自動化されたこれらの属性グラフを記述するためのエンドツーエンドパイプラインである textbfADAG を導入する。 次に、特徴群をグループ化するための新しいクラスタリングアルゴリズムと、これらの特徴群の機能的役割に関する自然言語的説明を生成・スコアするLLM説明器-シミュレータ構成を導入する。 我々は、既知の人為的な回路追跡タスクでシステムを実行し、解釈可能な回路を復元し、さらに、Llama 3.1 8Bインストラクトにおける有害なアドバイスジェイルブレイクの原因となる、ステアブルクラスタを見つけることができることを示す。
  論文  参考訳（メタデータ） (2026-04-08T21:34:37Z)
• CorrSteer: Generation-Time LLM Steering via Correlated Sparse Autoencoder Features [1.5874067490843806]
  提案するCorrSteerは,サンプルの正しさとSAEのアクティベーションを推論時に生成したトークンから関連付けて特徴を選択する。 我々の研究は、言語モデルアプリケーション間での自動SAEステアリングのための効果的でスケーラブルなアプローチとして相関ベースの選択を確立する。
  論文  参考訳（メタデータ） (2025-08-18T00:01:42Z)
• SAEs Are Good for Steering -- If You Select the Right Features [45.47261543304217]
  現在の方法では、それらを活性化する入力トークンを分析して、SAEの機能をステアに識別する。 本研究では,主にモデル入力のパターンをキャプチャする入力特徴と,モデル出力に対する人間の理解可能な影響を持つ出力特徴の2つの特徴を区別する。
  論文  参考訳（メタデータ） (2025-05-26T14:47:59Z)
• Enhancing Automated Interpretability with Output-Centric Feature Descriptions [14.591455690954513]
  本稿では,特徴記述を自動生成する効率的な出力中心手法を提案する。 我々の記述は、入力中心の記述よりもモデル出力に対する特徴の因果効果をよりよく捉えている。 以前は"デッド"と思われていた特徴を活性化するインプットを見つけるために,出力中心の記述が利用できることを示す。
  論文  参考訳（メタデータ） (2025-01-14T18:53:00Z)
• iffDetector: Inference-aware Feature Filtering for Object Detection [70.8678270164057]
  Inference-aware Feature Filtering (IFF)モジュールを導入し、現代の検出器と簡単に組み合わせることができる。 IFFは、畳み込み機能を強化するためにハイレベルなセマンティクスを活用することでクローズドループ最適化を行う。 IFFはCNNベースの物体検出器とプラグアンドプレイ方式で融合でき、計算コストのオーバーヘッドは無視できる。
  論文  参考訳（メタデータ） (2020-06-23T02:57:29Z)
• Self-Attention Attribution: Interpreting Information Interactions Inside Transformer [89.21584915290319]
  本稿では,トランスフォーマー内の情報相互作用を解釈する自己帰属属性法を提案する。 本研究は,BERT に対する非目標攻撃の実装において,その属性を敵対パターンとして用いることができることを示す。
  論文  参考訳（メタデータ） (2020-04-23T14:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。