論文の概要: Statistically Grounded Sparse-Feature Interventions for Activation-Space Control in Large Language Models
- arxiv url: http://arxiv.org/abs/2607.19364v1
- Date: Fri, 05 Jun 2026 19:27:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:13.133826
- Title: Statistically Grounded Sparse-Feature Interventions for Activation-Space Control in Large Language Models
- Title（参考訳）: 大規模言語モデルにおけるアクティベーション空間制御のための統計的根拠付きスパース・インターベンション
- Abstract要約: アクティベーションステアリングは、大規模言語モデルの振る舞い制御のための微調整の軽量な代替手段を提供する。
非重みのないボルダのコンセンサスを通じてスパースな特徴をランク付けする,透明なSAE機能ステアリングパイプラインを導入する。
3つのGemmaファミリーモデル、4つの振舞いドメイン、356の層長構成で、測定可能なドメイン固有のシフトを生成する。
- 参考スコア（独自算出の注目度）: 2.464003792743989
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Activation steering offers a lightweight alternative to fine-tuning for behavioral control of large language models, but SAE-based steering methods often rely on learned steering objectives or single-criterion feature selection. We introduce a transparent SAE-feature steering pipeline that first applies a six-condition reliability filter, then ranks sparse features through an unweighted Borda consensus over three complementary statistics: $F$-test, KSG mutual information, and Cohen's $d$. The resulting steering direction is constructed as a Cohen's-$d$-weighted combination of SAE decoder rows, providing an optimization-free direction motivated by Fisher-LDA under approximate SAE-feature decorrelation. Across three Gemma-family models, four behavioral domains, and 356 layer-strength configurations, the method produces measurable domain-specific shifts while revealing a substantial gap between raw attribute movement and quality-preserving generation. In the strongest configuration, logical-correctness steering reaches a primary-score delta of $+1.16$ in Gemma~2 9B; however, our broader finding is that usable steering is highly localized by model, domain, layer, and strength. These results argue that activation-steering evaluations should report quality-conditioned success alongside raw behavioral shift. Our code and data are available at https://github.com/Oshayer-Siddique/LLM-Steering-Using-SAE.
- Abstract（参考訳）: アクティベーションステアリングは、大規模言語モデルの振る舞い制御のための微調整の軽量な代替手段を提供するが、SAEベースのステアリング手法は、しばしば学習されたステアリング目標や単一基準特徴選択に依存する。
本稿では,まず6条件の信頼性フィルタを適用して,F$-test,KSG相互情報,Cohenの$d$という3つの相補的統計量に対して,未重み付きボルダのコンセンサスを通じてスパース機能をランク付けする,透明なSAE機能ステアリングパイプラインを紹介する。
SAEデコーダ列のCohen's-d$-weightedコンビネーションとして構成され、近似SAAE-Feature decorrelationの下でFisher-LDAによって動機付けられた最適化のない方向を提供する。
3つのGemmaファミリーモデル、4つの振舞いドメイン、356の層構造において、本手法は、原属性運動と品質維持生成の間に大きなギャップを生じさせながら、測定可能なドメイン固有のシフトを発生させる。
最も強い構成では、論理的正当性ステアリングはGemma~2 9Bで$+1.16$のプライマリスコアデルタに達するが、より広範な発見は、使用可能なステアリングがモデル、ドメイン、層、強度によって高度に局所化されていることである。
以上の結果から,アクティベーション・ステアリング評価は,生の行動変化とともに品質条件による成功を報告すべきであると考えられる。
私たちのコードとデータはhttps://github.com/Oshayer-Siddique/LLM-Steering-Using-SAEで公開されています。
関連論文リスト
- A Coin Flip Per Token: Bernoulli Sparse Steering of Large Language Models [12.373460256583583]
スパースオートエンコーダ(SAE)によるアクティベーションステアリングは、タスク固有の微調整なしで大きな言語モデルの動作制御を可能にするが、標準手法では生成されたトークン毎にステアリング信号を適用する。
確率$p$で各トークンを独立にゲートするToken Steering(STS)と、シーケンス毎に先頭ウィンドウをゲートするBlock Steering(SBS)を紹介する。
2つのモデルファミリーと2つの行動タスクにまたがって、トークンの50%しかステアリングを行なわず、フラエンシを保ちながら密接なステアリング効果のほとんどを回復させ、30%までステアリングはプロンプトベースの制御を超越する。
論文 参考訳（メタデータ） (2026-07-06T20:25:27Z) - When is Your LLM Steerable? [56.656180566692946]
アクティベーションステアリングは、推論時に言語モデルの振る舞いを制御するための軽量なアプローチを提供する。
ステアリングを成功させる体制と境界を見つけるには、通常、高価なグリッドサーチが必要である。
生成プロセスの開始時にモデルの内部状態からステアビリティを予測できるかどうかを検討する。
論文 参考訳（メタデータ） (2026-06-10T02:55:34Z) - Activation Steering for Synthetic Data Generation: The Role of Diversity in Downstream Safety Detection [18.555524134112755]
アクティベーションステアリング(AS)は、ターゲット概念に沿った応答を生成するためのデータ効率の手法として登場した。
本研究は,4ドルの概念にまたがって,本質的・外生的評価を伴う2次元的な研究である。
操舵強度の増大は応答の多様性を低下させる。
論文 参考訳（メタデータ） (2026-05-27T15:59:45Z) - Qwen-Scope: Turning Sparse Features into Development Tools for Large Language Models [80.45129499188461]
我々はQwenモデルファミリ上に構築されたスパースオートエンコーダ(SAE)のオープンソーススイートであるQwen-Scopeを紹介する。
SAEはポストホック解析を超越して,4方向のモデル開発のための実用的なインターフェースとして機能することを示す。
論文 参考訳（メタデータ） (2026-05-12T10:01:06Z) - Behavioral Steering in a 35B MoE Language Model via SAE-Decoded Probe Vectors: One Agency Axis, Not Five Traits [0.0]
我々はQwen 3.5-35B-A3Bの残流上に9個のスパースオートエンコーダ(SAE)を訓練する。
私たちは5つのエージェント的行動特性を識別し、管理するためにそれらを使用します。
論文 参考訳（メタデータ） (2026-03-17T10:05:41Z) - Does higher interpretability imply better utility? A Pairwise Analysis on Sparse Autoencoders [63.544453925182005]
3つの言語モデルで90のSAEをトレーニングし、解釈可能性と操舵性を評価します。
解析の結果,比較的弱い正の相関(tau b approx 0.298)しか示さず,解釈性は操舵性能の指標として不十分であることが示唆された。
本稿では,特徴量の増幅が次のトークン分布に与える影響を計測するデルタトークン信頼性(Delta Token Confidence)という新しい選択基準を提案する。
論文 参考訳（メタデータ） (2025-10-04T04:14:50Z) - GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。
推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。
微調整と既存のステアリングベースラインの両方を一貫して上回る。
論文 参考訳（メタデータ） (2025-07-24T02:34:13Z) - Multi-Attribute Steering of Language Models via Targeted Intervention [56.93583799109029]
推論時間介入(ITI)は,大規模言語モデル(LLM)の振る舞いを特定の方向に操るための有望な手法として登場した。
マルチ属性・ターゲットステアリング(MAT-Steer)は,複数の属性をまたいだトークンレベルの選択的介入を目的とした,新しいステアリングフレームワークである。
論文 参考訳（メタデータ） (2025-02-18T02:27:23Z) - Interpretable Steering of Large Language Models with Feature Guided Activation Additions [4.496738719682736]
本稿では,新しいアクティベーションステアリング法であるFeature Guided Activation Additions (FGAA)を紹介する。
スパースオートエンコーダ(SAE)の潜在空間で操作することにより、FGAAは正確なステアリングベクトルを構成する。
Gemma-2-2B と Gemma-2-9B モデルの評価は、FGAA が既存のステアリング法より優れていることを示す。
論文 参考訳（メタデータ） (2025-01-17T02:55:23Z) - AutoAssign: Differentiable Label Assignment for Dense Object Detection [94.24431503373884]
Auto COCOは、物体検出のためのアンカーフリー検出器である。
外観認識は、完全に微分可能な重み付け機構によって実現される。
我々の最良のモデルでは52.1%のAPが達成され、既存の1段検出器よりも優れている。
論文 参考訳（メタデータ） (2020-07-07T14:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。