論文の概要: Discovering Millions of Interpretable Features with Sparse Autoencoders
- arxiv url: http://arxiv.org/abs/2606.26620v1
- Date: Thu, 25 Jun 2026 05:33:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.180383
- Title: Discovering Millions of Interpretable Features with Sparse Autoencoders
- Title（参考訳）: スパースオートエンコーダによる数百万の解釈可能な特徴の発見
- Abstract要約: textbfQwen3-Instruct SAEは、Qwen3命令チューニングモデルファミリでトレーニングされたSAEの包括的スイートである。
本研究では,選択したSAE特徴量を用いて,Qwen3モデルの動作拒否を因果的に制御できることを示す。
- 参考スコア（独自算出の注目度）: 7.920281725575481
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sparse autoencoders (SAEs) have emerged as a powerful tool for decomposing superposed language model representations into sparse and interpretable features. However, training SAEs is computationally expensive, and available open-source SAE models remain limited. In this work, we introduce \textbf{Qwen3-Instruct SAE}, a comprehensive suite of SAEs trained on the Qwen3 instruction-tuned model family, covering Qwen3-1.7B, Qwen3-4B, and Qwen3-8B. For Qwen3-1.7B and Qwen3-4B, we train layer-wise SAEs at three key activation sites: residual streams, MLP outputs, and attention outputs. For Qwen3-8B, we train SAEs on a subset of residual stream layers. We systematically evaluate these SAEs using both activation-level reconstruction metrics and model-level recovery metrics, revealing distinct sparsity--fidelity trade-offs across layers and components. Finally, we demonstrate the utility of Qwen3-Instruct SAE through a refusal-steering case study, showing that selected SAE features can causally steer instruction-tuned Qwen3 models toward refusal behavior. Our release provides a practical resource for studying sparse representations, feature-level mechanisms, and behavioral interventions in instruction-tuned language models
- Abstract（参考訳）: スパースオートエンコーダ(SAE)は、重畳された言語モデル表現をスパースかつ解釈可能な機能に分解するための強力なツールとして登場した。
しかし、SAEのトレーニングは計算コストが高く、利用可能なオープンソースSAEモデルは限定的のままである。
本研究は,Qwen3-1.7B,Qwen3-4B,Qwen3-8Bを対象とする,Qwen3命令チューニングモデルファミリでトレーニングされたSAEの包括的スイートである,textbf{Qwen3-Instruct SAE}を紹介する。
Qwen3-1.7B と Qwen3-4B では、残差ストリーム、MLP出力、アテンション出力の3つの主要な活性化部位で層ワイズSAEを訓練する。
Qwen3-8Bでは、残留ストリーム層のサブセットでSAEをトレーニングします。
我々はこれらのSAEをアクティベーションレベル再構築指標とモデルレベル回復指標の両方を用いて体系的に評価し、レイヤやコンポーネント間での異種性-忠実性トレードオフを明らかにした。
最後に,Qwen3-Instruct SAEの有効性を,リファリング・ステアリング・ケーススタディを通じて実証し,選択したSAE特徴がリファリング行動に対するインストラクション調整Qwen3モデルに対して因果的にステアリング可能であることを示した。
我々のリリースは、訓練言語モデルにおけるスパース表現、特徴レベルのメカニズム、行動介入を研究するための実践的なリソースを提供する。
関連論文リスト
- Steering Vision-Language Models with Joint Sparse Autoencoders [2.367986397868328]
連成スパースオートエンコーダ(JSAE)を導入し、シーケンスプールされた視覚と言語アクティベーションを、共用、解釈可能な画像/カプセルレベルの特徴に分解する。
JSAEを視覚言語モデル(VLM)に適用すると、制御可能なクロスモーダルステアリングの方向として使うのが難しい表現が得られる。
論文 参考訳（メタデータ） (2026-06-24T10:11:04Z) - From Sparse Features to Trustworthy Proxies: Certifying SAE-Based Interpretability [53.681678236115836]
我々は,SAEに基づく説明を,基盤となる凍結LMの忠実な見方として扱うことができるかを検討した。
この枠組みは, 4つの測定可能な量を用いて, 基本モデルの予測リスクの上限を導出する。
我々は, GPT-2 Small, Gemma-2B, Llama-3-8B のサンプルサイズにおいて, 境界が非空洞となることを示す。
論文 参考訳（メタデータ） (2026-06-16T18:28:23Z) - Qwen-Scope: Turning Sparse Features into Development Tools for Large Language Models [80.45129499188461]
我々はQwenモデルファミリ上に構築されたスパースオートエンコーダ(SAE)のオープンソーススイートであるQwen-Scopeを紹介する。
SAEはポストホック解析を超越して,4方向のモデル開発のための実用的なインターフェースとして機能することを示す。
論文 参考訳（メタデータ） (2026-05-12T10:01:06Z) - Control Reinforcement Learning: Interpretable Token-Level Steering of LLMs via Sparse Autoencoder Features [1.5874067490843806]
Control Reinforcement Learningは、各トークンでステアリングするためのSAE機能を選択するポリシーをトレーニングし、解釈可能な介入ログを生成する。
Adaptive Feature Maskingは、単一機能解釈性を維持しながら、多様な機能発見を促進する。
MMLU、BBQ、GSM8K、HarmBench、XSTestにわたるGemma 2Bでは、CRLは、トークン単位の介入ログを提供しながら改善されている。
論文 参考訳（メタデータ） (2026-02-11T02:28:49Z) - SQS: Enhancing Sparse Perception Models via Query-based Splatting in Autonomous Driving [56.198745862311824]
スパースパーセプションモデル(SPM)のための新しいクエリベーススプラッティング事前トレーニングであるSQSを紹介する。
SQSは、事前トレーニング中にスパースクエリから3Dガウス表現を予測する。
自律運転ベンチマークの実験では、SQSは複数のクエリベースの3D知覚タスクでかなりのパフォーマンス向上を達成している。
論文 参考訳（メタデータ） (2025-09-20T09:25:19Z) - Beyond I'm Sorry, I Can't: Dissecting Large Language Model Refusal [40.3000670795883]
有害なプロンプトの拒絶は、命令調整型大規模言語モデル(LLM)における重要な安全行動である
残留ストリームアクティベーションを訓練したスパースオートエンコーダ(SAE)を用いて、Gemma-2-2B-ITとLLaMA-3.1-8B-ITの2つの公開命令チューニングモデルについて検討した。
有害なプロンプトが与えられた場合、私たちはSAE潜伏空間を探索し、アブレーションがモデルを拒絶からコンプライアンスに反転させ、因果的影響を示し、ジェイルブレイクを発生させる特徴セットを探索する。
論文 参考訳（メタデータ） (2025-09-07T02:29:07Z) - Qwen3 Embedding: Advancing Text Embedding and Reranking Through Foundation Models [90.54780244175511]
我々は、前身のGTE-Qwenシリーズよりも大幅に進歩したQwen3 Embeddingシリーズを紹介する。
Qwen3 Embeddingシリーズは、組み込みタスクと再ランクタスクの両方のためのモデルサイズの範囲を提供する。
Qwen3 Embeddingシリーズは様々なベンチマークで最先端の結果が得られる。
論文 参考訳（メタデータ） (2025-06-05T15:49:48Z) - Ensembling Sparse Autoencoders [10.81463830315253]
スパースオートエンコーダ(SAE)は、ニューラルネットワークの活性化を人間の解釈可能な特徴に分解するために用いられる。
我々は,複数のSAEを包括的袋詰めとブースティングによりアンサンブルすることを提案する。
実験の結果,SAEのアンサンブルにより,言語モデルの活性化,特徴の多様性,SAEの安定性が向上することが示された。
論文 参考訳（メタデータ） (2025-05-21T23:31:21Z) - SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models [88.29990536278167]
SPaRは、木探索の自己精製を統合して、有効かつ同等な選好ペアを得るセルフプレイフレームワークである。
実験により,SPaRで誘導された3回の反復で訓練されたLLaMA3-8Bモデルが,一般機能を失うことなくIFEvalベンチマークでGPT-4-Turboを上回った。
論文 参考訳（メタデータ） (2024-12-16T09:47:43Z) - Llama Scope: Extracting Millions of Features from Llama-3.1-8B with Sparse Autoencoders [115.34050914216665]
スパースオートエンコーダ(SAE)は、言語モデルからスパース表現を抽出する強力な教師なし手法として登場した。
我々は、Llama-3.1-8B-Baseモデルの各層とサブ層で訓練された256個のSAEスイートを紹介し、32Kと128Kの特徴を持つ。
基礎モデルに基づいて訓練されたSAEのより長い文脈と微調整モデルへの一般化性を評価する。
論文 参考訳（メタデータ） (2024-10-27T17:33:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。