論文の概要: First-Order Steering: Translating Weight Adaptation into Activation Steering
- arxiv url: http://arxiv.org/abs/2610.04283v1
- Date: Sat, 03 Oct 2026 04:22:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-12 11:57:32.745826
- Title: First-Order Steering: Translating Weight Adaptation into Activation Steering
- Title（参考訳）: 1次ステアリング: ウェイト適応をアクティベーションステアリングに変換する
- Abstract要約: アクティベーションステアリングは残ストリームの解釈可能な方向を利用して、モデル動作の推論時間操作を可能にする。
操舵強度ベクトルによりパラメータ化された重み更新行列の1次近似として,アクティベーションステアリングの定式化である1次ステアリングを導入する。
そこで我々は, 1次近似誤差項を最小限に抑え, 1次ステアリング精度を高める新しいモデルマージ手法HeRD-Mergingを開発した。
- 参考スコア（独自算出の注目度）: 39.23375433079565
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Activation steering exploits interpretable directions in the residual stream to enable inference-time manipulation of model behavior. Composing steering vectors to apply multiple target behaviors simultaneously is important in various fields-including AI alignment and safety-but remains a challenge for existing activation steering methods. In contrast, prior work in model merging shows that target behaviors represented by learned weight adaptations can be combined with high accuracy. A method that translates weight adaptations into activation steering vectors could therefore extend prior work in model merging to generate composable steering vectors that better enable simultaneous inference-time behavioral control. For this, we introduce First-Order Steering, a formulation of activation steering as a first-order approximation of weight update matrices parameterized by a vector of steering strengths, and establish theoretical bounds on the approximation error of first-order steering. We then develop a novel model merging procedure, HeRD-Merging, which minimizes the first-order approximation error terms to enable higher first-order steering accuracy. Together, our method produces steering vectors that control both individual and composed behaviors more accurately than existing activation steering methods. Furthermore, HeRD-Merging matches the performance of conventional model-merging baselines, while producing weight adaptations that admit more accurate first-order steering vectors.
- Abstract（参考訳）: アクティベーションステアリングは残ストリームの解釈可能な方向を利用して、モデル動作の推論時間操作を可能にする。
複数の目標動作を同時に適用するためにステアリングベクトルを構成することは、AIアライメントや安全性を含むさまざまな分野において重要であるが、既存のアクティベーションステアリング手法では依然として課題である。
対照的に、モデルマージにおける先行研究は、学習重量適応によって表現される対象の挙動を高精度に組み合わせることができることを示している。
したがって、ウェイト適応をアクティベーションステアリングベクターに変換する方法は、モデルマージにおける先行作業を延長し、コンポーザブルステアリングベクターを生成し、同時に推論時動作制御を可能にする。
そこで本研究では,1次ステアリングのベクトルによりパラメータ化された重み更新行列の1次近似としてのアクティベーションステアリングの定式化と,1次ステアリングの近似誤差に関する理論的境界を確立することを提案する。
そこで我々は, 1次近似誤差項を最小限に抑え, 1次ステアリング精度を高める新しいモデルマージ手法HeRD-Mergingを開発した。
本手法は,既存のアクティベーションステアリング法よりも,個々の動作と構成行動の両方を正確に制御するステアリングベクトルを生成する。
さらに、HeRD-Mergingは従来のモデルマージベースラインの性能と一致し、より正確な1次ステアリングベクトルを持つ重み適応を生成する。
関連論文リスト
- GEOSTEER: Geodesic Optimization for Activation Steering in Large Language Models [9.438320824151157]
標準保存型アクティベーションステアリングの最適化手法であるGeoSteerを提案する。
また,GeoSteerは,最先端のアクティベーションステアリングベースラインよりも一貫して改善されていることを示す。
これらの結果は、事前定義されたワンステップ編集を適応的・幾何学的最適化に置き換えることで、ノルム保存ステアリングをより効果的にすることができることを示唆している。
論文 参考訳（メタデータ） (2026-09-09T16:55:52Z) - Disentangling Steering Vectors [13.671243729016568]
合成方向から個人的・意味論的に一貫した特徴を明示的に分離する枠組みを提案する。
具体的には、正と負のアクティベーションをペアにして、それらの差を利用してインスタンスレベルのステアリングベクトルの集合を生成する。
提案手法は, ステアリング効果が相互に区別可能な, 意味論的に一貫した基底ベクトルの集合を導出することを示す。
論文 参考訳（メタデータ） (2026-09-07T04:45:32Z) - Activation Steering Induces Emergent Misalignment: A More Comprehensive Evaluation [74.17379276939599]
近年のQwen-3.5シリーズにおいても,アクティベーションステアリングが広範囲のアライメントを引き起こすことが示されている。
ステアリングサイズ, ステアリングサブスペースの低ランク構造, ステアリングベクター構築時のエポック数など, キーステアリング固有の因子を解析することにより, AS誘起EMの特性を特徴づける。
論文 参考訳（メタデータ） (2026-06-07T15:34:59Z) - What Drives Representation Steering? A Mechanistic Case Study on Steering Refusal [53.189667624047416]
異なるステアリング手法が同一層に印加した場合に機能的に交換可能な回路を利用することを示す。
その結果,操舵ベクトルは最大90～99%のスペーサー化が可能であり,ほとんどの性能は維持できることがわかった。
論文 参考訳（メタデータ） (2026-04-09T17:57:14Z) - Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。
我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。
この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
論文 参考訳（メタデータ） (2026-03-31T14:46:39Z) - Understanding Unreliability of Steering Vectors in Language Models: Geometric Predictors and the Limits of Linear Approximations [0.0]
ステアリング信頼性が行動によって異なる理由と,ベクタートレーニングデータによる影響について検討する。
トレーニングアクティベーションの違いのコサイン類似度が高いと、より信頼性の高いステアリングが予測される。
操舵方向に沿って正負のアクティベーションがより分離された行動データセットは、より確実に操舵可能であることを観察する。
論文 参考訳（メタデータ） (2026-02-19T22:37:05Z) - ODESteer: A Unified ODE-Based Steering Framework for LLM Alignment [49.68063561145927]
活性化ステアリングのための統一常微分方程式(ODE)に基づく理論的枠組みを提案する。
本稿では,バリア関数によって誘導されるODEベースのステアリングの一種であるODESteerを紹介する。
最先端のアクティベーションステアリング手法と比較すると、ODESteerは一貫した経験的改善を実現している。
論文 参考訳（メタデータ） (2026-02-19T17:13:44Z) - Activation Steering with a Feedback Controller [4.609594868699996]
Proportional-Integral-Derivative (PID) Steeringは、大きな言語モデルにおけるアクティベーションステアリングに完全なPIDコントローラを利用する、原則化されたフレームワークである。
PIDステアリングは既存のアプローチを一貫して上回り、より堅牢で信頼性の高い行動制御を実現する。
論文 参考訳（メタデータ） (2025-10-05T18:05:28Z) - KV Cache Steering for Controlling Frozen LLMs [80.50365534625438]
キャッシュステアリングは、言語モデルの暗黙的なステアリングのための軽量な方法である。
キャッシュステアリングを応用して、小さな言語モデルにおける連鎖推論を誘導する。
論文 参考訳（メタデータ） (2025-07-11T17:59:36Z) - Steering Risk Preferences in Large Language Models by Aligning Behavioral and Neural Representations [4.029252551781513]
ステアリングベクトルを明らかにするための原理的アプローチを提案する。
我々は,大規模言語モデルから潜在リスクの選好を抽出することに注力する。
得られた操舵ベクトルが目標動作に合わせてLLM出力を正常かつ確実に変調することを示す。
論文 参考訳（メタデータ） (2025-05-16T18:23:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。