論文の概要: The Sharp Directions Are Against You: Curvature Analysis of Activation Steering
- arxiv url: http://arxiv.org/abs/2610.16084v1
- Date: Mon, 12 Oct 2026 02:49:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.293433
- Title: The Sharp Directions Are Against You: Curvature Analysis of Activation Steering
- Title（参考訳）: シャープ方向が反する:アクティベーションステアリングの曲率解析
- Abstract要約: アクティベーションステアリングは、推論時に言語モデルの内部表現にベクトルを追加する。
鋭い方向に沿った操舵は、テストされた全ての条件において意図した振る舞いを逆転させることを示す。
- 参考スコア（独自算出の注目度）: 10.717279092998671
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Activation steering adds a vector to a language model's internal representations at inference time. It is a lightweight alternative to fine-tuning for behavioral control. The standard construction, contrastive activation addition (CAA), is fragile, as on many inputs it shifts behavior in the wrong direction. To explain this fragility, we first study the geometry of the steering vector. We introduce steering Hessian, the matrix of second order derivative of the model's behavioral loss with respect to the steering vector. It captures the output behavior response sensitivity of the model under small perturbations of the steering vector along each direction. Its top eigenvectors are sharp directions: tiny perturbations along them can cause large, erratic, input-dependent behavioral swings. Bottom eigenvectors are flat directions: behavior is robust along them. Removing the sharp component of a steering vector approximately preserves its direction and magnitude (cosine > 0.974, norm reduction < 3% for typical settings) while reducing the vector's directional curvature by up to 12x (median 4x across 36 conditions). We evaluate on three model families (Qwen2.5-7B, Llama-3.1-8B, Mistral-7B), with four behavioral tasks, and 36 token-level conditions. Steering along sharp directions reverses the intended behavior in every condition tested, with anti-steer rates of 53-100%. Sharp directions account for only 1-5% of the CAA vector's squared norm. However, they drive a disproportionate share of the gap between the steered and unsteered next-token distributions during autoregressive generation. We term this one-line correction as sharp removal; it outperforms standard CAA in open-ended generation across all 25 conditions tested. A jailbreaking experiment further shows that sharp directions act as noise rather than signal: they disrupt coherent behavioral control regardless of steering polarity.
- Abstract（参考訳）: アクティベーションステアリングは、推論時に言語モデルの内部表現にベクトルを追加する。
これは行動制御のための微調整の軽量な代替品である。
標準的な構成、対照的なアクティベーション付加(CAA)は、多くの入力で間違った方向に振る舞うように脆弱である。
この不安定性を説明するために、我々はまず操舵ベクトルの幾何学について研究する。
本稿では, ステアリングベクトルに対するモデル行動損失の二次微分の行列であるステアリング・ヘシアンを紹介する。
各方向に沿った操舵ベクトルの小さな摂動の下で、モデルの出力挙動応答感度をキャプチャする。
その最上位の固有ベクトルは鋭い方向であり、それに沿った小さな摂動は大きな、不規則で入力に依存した行動スイングを引き起こす。
ボトム固有ベクトルは平坦な方向であり、行動はそれに沿って頑丈である。
ステアリングベクトルの鋭い成分を除去することは、その方向と大きさをほぼ保存し(コサイン > 0.974, ノルム還元<3%)、ベクトルの方向曲率を最大12倍(36条件中4倍)下げる。
3つのモデルファミリー(Qwen2.5-7B, Llama-3.1-8B, Mistral-7B)について, 4つの行動課題と36のトークンレベル条件で評価した。
鋭い方向に沿ったステアリングは、テストされた全ての条件において意図された振る舞いを逆転させ、アンチステアレートは53-100%である。
シャープ方向はCAAベクトルの2乗ノルムのわずか1-5%を占める。
しかし、彼らは自己回帰世代におけるステアリングと非ステアリングの差を不均等に分けている。
この一線補正はシャープな除去であり、テストされた25条件すべてにおいて、オープンエンドジェネレーションにおける標準CAAよりも優れています。
さらにジェイルブレイク実験では、鋭い方向が信号よりもノイズとして振る舞うことが示されています。
関連論文リスト
- Steering Interference Reflects the Model's Defaults, Not the Behavior Directions [14.170453340251981]
アクティベーションステアリングは、言語モデルの振る舞いのモジュラー制御を約束する。
私たちは、他のどの行動が動くのか、どのくらいで決定するかを尋ねます。
操られている行動ではなく、モデルであることに気付きました。
論文 参考訳（メタデータ） (2026-09-07T02:45:13Z) - TACT: Mitigating Overthinking and Overacting in Coding Agents via Activation Steering [70.99933391739154]
我々は、エージェントが既に持っている情報に対して繰り返し理由付けを行う2つの障害モードと、最近の観察を統合したり、新たな証拠を取得することなくツールコールを発行する2つの障害モードに焦点を当てる。
本稿では,活性化ステアリングによるTACT (Think-Act via activation Steering) を導入し,動作不良として現れる前に残留流中のエージェントの漂流を検知・緩和する。
具体的には、軌道のステップを過度に考え、過剰に実行し、あるいは校正し、隠れた状態が2つの *drift 軸* に沿って線形に分離できることを発見し、それぞれの障害モードに向かって校正された振る舞いを指示する。
論文 参考訳（メタデータ） (2026-05-07T10:24:27Z) - The Cylindrical Representation Hypothesis for Language Model Steering [57.97381760521523]
中心軸は、概念の欠如と存在との主な違いを捉え、概念生成を駆動することを示す。
我々はこれを円筒表現仮説(CRH)として定式化する。
本実験は円筒構造の存在を検証し,CRHが実環境でのモデルステアリング動作の解釈に有効かつ実用的な方法であることを示した。
論文 参考訳（メタデータ） (2026-05-03T12:26:13Z) - What Drives Representation Steering? A Mechanistic Case Study on Steering Refusal [53.189667624047416]
異なるステアリング手法が同一層に印加した場合に機能的に交換可能な回路を利用することを示す。
その結果,操舵ベクトルは最大90～99%のスペーサー化が可能であり,ほとんどの性能は維持できることがわかった。
論文 参考訳（メタデータ） (2026-04-09T17:57:14Z) - Behavioral Steering in a 35B MoE Language Model via SAE-Decoded Probe Vectors: One Agency Axis, Not Five Traits [0.0]
我々はQwen 3.5-35B-A3Bの残流上に9個のスパースオートエンコーダ(SAE)を訓練する。
私たちは5つのエージェント的行動特性を識別し、管理するためにそれらを使用します。
論文 参考訳（メタデータ） (2026-03-17T10:05:41Z) - Understanding Unreliability of Steering Vectors in Language Models: Geometric Predictors and the Limits of Linear Approximations [0.0]
ステアリング信頼性が行動によって異なる理由と,ベクタートレーニングデータによる影響について検討する。
トレーニングアクティベーションの違いのコサイン類似度が高いと、より信頼性の高いステアリングが予測される。
操舵方向に沿って正負のアクティベーションがより分離された行動データセットは、より確実に操舵可能であることを観察する。
論文 参考訳（メタデータ） (2026-02-19T22:37:05Z) - GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。
推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。
微調整と既存のステアリングベースラインの両方を一貫して上回る。
論文 参考訳（メタデータ） (2025-07-24T02:34:13Z) - Analyzing the Generalization and Reliability of Steering Vectors [8.253773195379166]
ステアリングベクトルは分布内および分布外の両方にかなりの制限があることを示す。
分散において、ステアビリティは異なる入力間で高度に変動する。
アウト・オブ・ディストリビューション(out-of-distribution)、ステアリングベクトル(steering vector)はよく一般化されるが、いくつかの概念はプロンプトの合理的な変化に対して脆弱である。
論文 参考訳（メタデータ） (2024-07-17T08:32:03Z) - Steering Without Side Effects: Improving Post-Deployment Control of Language Models [61.99293520621248]
言語モデル(LM)は、デプロイ後予期せず振る舞うことが示されている。
KL-then-steer (KTS) は, その利点を保ちながら, 操舵の副作用を低減する技術である。
本手法はLlama-2-chat-7Bモデルと比較して44%のジェイルブレイク攻撃を防ぐ。
論文 参考訳（メタデータ） (2024-06-21T01:37:39Z) - Orthogonal Jacobian Regularization for Unsupervised Disentanglement in
Image Generation [64.92152574895111]
直交ジャコビアン正規化法(OroJaR)を提案する。
提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
論文 参考訳（メタデータ） (2021-08-17T15:01:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。