論文の概要: What Drives Representation Steering? A Mechanistic Case Study on Steering Refusal
- arxiv url: http://arxiv.org/abs/2604.08524v1
- Date: Thu, 09 Apr 2026 17:57:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-10 18:34:06.06473
- Title: What Drives Representation Steering? A Mechanistic Case Study on Steering Refusal
- Title（参考訳）: 表象ステアリングを駆動するもの : ステアリング拒絶に関する機械的事例研究
- Abstract要約: 異なるステアリング手法が同一層に印加した場合に機能的に交換可能な回路を利用することを示す。
その結果,操舵ベクトルは最大90～99%のスペーサー化が可能であり,ほとんどの性能は維持できることがわかった。
- 参考スコア（独自算出の注目度）: 53.189667624047416
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Applying steering vectors to large language models (LLMs) is an efficient and effective model alignment technique, but we lack an interpretable explanation for how it works-- specifically, what internal mechanisms steering vectors affect and how this results in different model outputs. To investigate the causal mechanisms underlying the effectiveness of steering vectors, we conduct a comprehensive case study on refusal. We propose a multi-token activation patching framework and discover that different steering methodologies leverage functionally interchangeable circuits when applied at the same layer. These circuits reveal that steering vectors primarily interact with the attention mechanism through the OV circuit while largely ignoring the QK circuit-- freezing all attention scores during steering drops performance by only 8.75% across two model families. A mathematical decomposition of the steered OV circuit further reveals semantically interpretable concepts, even in cases where the steering vector itself does not. Leveraging the activation patching results, we show that steering vectors can be sparsified by up to 90-99% while retaining most performance, and that different steering methodologies agree on a subset of important dimensions.
- Abstract（参考訳）: 大規模言語モデル(LLM)にステアリングベクトルを適用することは効率的かつ効果的なモデルアライメント手法であるが、その動作方法に関する解釈可能な説明が欠けている。
ステアリングベクターの有効性の根底にある因果関係を考察するため, 拒否に関する包括的事例研究を行った。
マルチトークンアクティベーション・パッチ・フレームワークを提案し、同一層に印加した場合に異なるステアリング手法が機能的に交換可能な回路を利用することを示した。
これらの回路は、ステアリングベクトルが主にOV回路を介してアテンション機構と相互作用する一方で、QK回路を無視し、ステアリング中のすべてのアテンションスコアを凍結すると、2つのモデルファミリ間でわずか8.75%の性能が低下することを示している。
ステアリングされたOV回路の数学的分解により、ステアリングベクトル自体がそうでない場合でも意味論的に解釈可能な概念が明らかにされる。
その結果, 操舵ベクトルは最大90～99%のスペーサー化が可能であり, 異なる操舵手法が重要な次元のサブセットと一致していることが判明した。
関連論文リスト
- Disentangling Steering Vectors [13.671243729016568]
合成方向から個人的・意味論的に一貫した特徴を明示的に分離する枠組みを提案する。
具体的には、正と負のアクティベーションをペアにして、それらの差を利用してインスタンスレベルのステアリングベクトルの集合を生成する。
提案手法は, ステアリング効果が相互に区別可能な, 意味論的に一貫した基底ベクトルの集合を導出することを示す。
論文 参考訳（メタデータ） (2026-09-07T04:45:32Z) - When is Your LLM Steerable? [56.656180566692946]
アクティベーションステアリングは、推論時に言語モデルの振る舞いを制御するための軽量なアプローチを提供する。
ステアリングを成功させる体制と境界を見つけるには、通常、高価なグリッドサーチが必要である。
生成プロセスの開始時にモデルの内部状態からステアビリティを予測できるかどうかを検討する。
論文 参考訳（メタデータ） (2026-06-10T02:55:34Z) - Activation Steering Induces Emergent Misalignment: A More Comprehensive Evaluation [74.17379276939599]
近年のQwen-3.5シリーズにおいても,アクティベーションステアリングが広範囲のアライメントを引き起こすことが示されている。
ステアリングサイズ, ステアリングサブスペースの低ランク構造, ステアリングベクター構築時のエポック数など, キーステアリング固有の因子を解析することにより, AS誘起EMの特性を特徴づける。
論文 参考訳（メタデータ） (2026-06-07T15:34:59Z) - Understanding Unreliability of Steering Vectors in Language Models: Geometric Predictors and the Limits of Linear Approximations [0.0]
ステアリング信頼性が行動によって異なる理由と,ベクタートレーニングデータによる影響について検討する。
トレーニングアクティベーションの違いのコサイン類似度が高いと、より信頼性の高いステアリングが予測される。
操舵方向に沿って正負のアクティベーションがより分離された行動データセットは、より確実に操舵可能であることを観察する。
論文 参考訳（メタデータ） (2026-02-19T22:37:05Z) - Steering Latent Traits, Not Learned Facts: An Empirical Study of Activation Control Limits [0.0]
大規模言語モデル(LLM)は、多様なアプリケーションにまたがる安全かつ効果的なデプロイメントのために、正確な振る舞い制御を必要とする。
本研究では, ステアリングの有効性が, 異なる行動種によってどのように異なるのか, 対象行動の性質がステアリングの成功を予測することができるのか, という課題に焦点をあてる。
論文 参考訳（メタデータ） (2025-11-23T04:28:41Z) - KV Cache Steering for Controlling Frozen LLMs [80.50365534625438]
キャッシュステアリングは、言語モデルの暗黙的なステアリングのための軽量な方法である。
キャッシュステアリングを応用して、小さな言語モデルにおける連鎖推論を誘導する。
論文 参考訳（メタデータ） (2025-07-11T17:59:36Z) - Understanding (Un)Reliability of Steering Vectors in Language Models [21.33093425619501]
本稿では,アクティベーションの違いが操舵信頼性に及ぼす影響について検討する。
実験で使用した7つのプロンプト型はすべて、正の操舵効果を生じるが、試料間で高いばらつきを示し、しばしば所望のものと逆の効果を与える。
論文 参考訳（メタデータ） (2025-05-28T17:53:31Z) - Beyond Prompt Engineering: Robust Behavior Control in LLMs via Steering Target Atoms [71.85633762642125]
モデルにおける膨大な数のパラメータは、しばしば高度に絡み合った内部表現をもたらす。
最近の研究は、スパースオートエンコーダ(SAE)を用いて、ステアリングのための高次元空間における知識を歪めている。
本研究では,非絡み合った知識コンポーネントを分離・操作し,安全性を高める手法であるステアリングターゲット原子(STA)を提案する。
論文 参考訳（メタデータ） (2025-05-23T17:59:18Z) - Activation Scaling for Steering and Interpreting Language Models [55.59689963561315]
モデルにうまく介入することは、内部の動作を解釈するための前提条件である、と我々は主張する。
成功した介入は、間違ったトークンで正しいことを正し、その逆を正すべきである。
勾配に基づく最適化を用いることで、特定の種類の効率的かつ解釈可能な介入を学習(そして後で評価)することができる。
論文 参考訳（メタデータ） (2024-10-07T12:01:32Z) - Analyzing the Generalization and Reliability of Steering Vectors [8.253773195379166]
ステアリングベクトルは分布内および分布外の両方にかなりの制限があることを示す。
分散において、ステアビリティは異なる入力間で高度に変動する。
アウト・オブ・ディストリビューション(out-of-distribution)、ステアリングベクトル(steering vector)はよく一般化されるが、いくつかの概念はプロンプトの合理的な変化に対して脆弱である。
論文 参考訳（メタデータ） (2024-07-17T08:32:03Z) - Control-Aware Prediction Objectives for Autonomous Driving [78.19515972466063]
本研究では,制御に対する予測の下流効果を評価するための制御認識予測目標(CAPOs)を提案する。
本稿では,エージェント間の注意モデルを用いた重み付けと,予測軌跡を接地真実軌跡に交換する際の制御変動に基づく重み付けの2つの方法を提案する。
論文 参考訳（メタデータ） (2022-04-28T07:37:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。