論文の概要: Forecasting Side Effects of Activation Steering

• arxiv url: http://arxiv.org/abs/2608.11227v1
• Date: Tue, 28 Jul 2026 08:46:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 01:32:04.58536
• Title: Forecasting Side Effects of Activation Steering
• Title（参考訳）: アクティベーションステアリングの予測側効果
• Abstract要約: アクティベーションステアリングは、学習方向を隠れたアクティベーションに追加することで言語モデルを変更する。 操舵は効果的であるが、他の行動に意図しない副作用を生じることが多く、安全に展開することは困難である。 これらの副作用は、ステアリングを適用する前に予測できますか? 副作用は一般的で、構造化され、しばしば非対称であり、既存の類似性ベースでは説明できない相互作用を明らかにする。
• 参考スコア（独自算出の注目度）: 2.9232547241199156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation steering modifies a language model by adding a learned direction to its hidden activations, enabling targeted behavioral changes without retraining. While effective, steering often produces unintended side effects on other behaviors, making it difficult to deploy safely. We therefore ask: can these side effects be forecasted before steering is applied? We answer this question by constructing a cross-effect matrix over a taxonomy of 67 behaviors across three open-weight language models. We find that side effects are common, structured, and often asymmetric, revealing interactions that cannot be explained by existing similarity-based heuristics. Despite this complexity, we show that side effects are largely predictable before steering is performed. Their magnitude depends primarily on the target behavior, while their direction can be forecasted from the model's unsteered representations with substantially higher accuracy than simple baselines. Our results demonstrate that activation steering has systematic and forecastable side effects, enabling proactive safety auditing and more informed deployment of steering interventions.
• Abstract（参考訳）: アクティベーションステアリングは、学習方向を隠れたアクティベーションに追加することで言語モデルを変更する。 操舵は効果的であるが、他の行動に意図しない副作用を生じることが多く、安全に展開することは困難である。 これらの副作用は、ステアリングが適用される前に予測できますか? 本稿では,3つのオープンウェイト言語モデルにまたがる67の行動の分類法を用いて,クロスエフェクト行列を構築することにより,この問題に答える。 副作用は一般的で、構造化され、しばしば非対称であり、既存の類似性に基づくヒューリスティックでは説明できない相互作用を明らかにする。 この複雑さにもかかわらず、操舵を行う前にサイドエフェクトがほぼ予測可能であることを示す。 その大きさはターゲットの挙動に大きく依存するが、その方向は単純なベースラインよりもかなり高い精度で、モデルが選択していない表現から予測できる。 以上の結果から,アクティベーションステアリングは,能動的かつ予測可能な副作用を伴い,積極的な安全監査と,ステアリング介入のより情報的な展開を可能にした。

関連論文リスト

• Activation Steering Induces Emergent Misalignment: A More Comprehensive Evaluation [74.17379276939599]
  近年のQwen-3.5シリーズにおいても,アクティベーションステアリングが広範囲のアライメントを引き起こすことが示されている。 ステアリングサイズ, ステアリングサブスペースの低ランク構造, ステアリングベクター構築時のエポック数など, キーステアリング固有の因子を解析することにより, AS誘起EMの特性を特徴づける。
  論文  参考訳（メタデータ） (2026-06-07T15:34:59Z)
• What Drives Representation Steering? A Mechanistic Case Study on Steering Refusal [53.189667624047416]
  異なるステアリング手法が同一層に印加した場合に機能的に交換可能な回路を利用することを示す。 その結果,操舵ベクトルは最大90～99%のスペーサー化が可能であり,ほとんどの性能は維持できることがわかった。
  論文  参考訳（メタデータ） (2026-04-09T17:57:14Z)
• Analysing the Safety Pitfalls of Steering Vectors [19.424564915366847]
  アクティベーションステアリングは、重量更新を必要とせずにLCMの動作を形作る強力なツールとして登場した。 本稿では,Contrastive Activation Addition (CAA) を用いて得られたステアリングベクトルの系統的安全監査について述べる。 単純なテンプレートベースの攻撃では, ステアリングベクターがジェイルブレイク攻撃の成功率に一貫した影響を与え, 増幅が強くなることを示す。
  論文  参考訳（メタデータ） (2026-03-25T17:16:11Z)
• Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models [62.16655896700062]
  活性化ステアリングは大規模言語モデル(LLM)の有用性を高める技術である 重要かつ過度に調査された安全リスクを無意識に導入することを示します。 実験によると、これらの介入は強制乗算器として機能し、ジェイルブレイクに新たな脆弱性を発生させ、標準ベンチマークで攻撃成功率を80%以上向上させる。
  論文  参考訳（メタデータ） (2026-02-03T12:32:35Z)
• Steering Latent Traits, Not Learned Facts: An Empirical Study of Activation Control Limits [0.0]
  大規模言語モデル(LLM)は、多様なアプリケーションにまたがる安全かつ効果的なデプロイメントのために、正確な振る舞い制御を必要とする。 本研究では, ステアリングの有効性が, 異なる行動種によってどのように異なるのか, 対象行動の性質がステアリングの成功を予測することができるのか, という課題に焦点をあてる。
  論文  参考訳（メタデータ） (2025-11-23T04:28:41Z)
• Beyond Prompt Engineering: Robust Behavior Control in LLMs via Steering Target Atoms [71.85633762642125]
  モデルにおける膨大な数のパラメータは、しばしば高度に絡み合った内部表現をもたらす。 最近の研究は、スパースオートエンコーダ(SAE)を用いて、ステアリングのための高次元空間における知識を歪めている。 本研究では,非絡み合った知識コンポーネントを分離・操作し,安全性を高める手法であるステアリングターゲット原子(STA)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T17:59:18Z)
• Improving Steering Vectors by Targeting Sparse Autoencoder Features [2.4188584949331053]
  SAE-Targeted Steering (SAE-TS) という改良されたステアリング法を開発し、意図しない副作用を最小限に抑えながら、特定のSAE特徴を標的としたステアリングベクトルを求める。 SAE-TSは,様々なタスクで評価すると,CAAとSAEの特徴的ステアリングよりもコヒーレンスとステアリング効果のバランスが良いことを示す。
  論文  参考訳（メタデータ） (2024-11-04T15:46:20Z)
• Moving Forward by Moving Backward: Embedding Action Impact over Action Semantics [57.671493865825255]
  本稿では,潜伏埋め込みを用いた飛行行動の影響をモデル化する。 これらの潜在アクション埋め込みと、トランスフォーマーベースのポリシーヘッドを組み合わせることで、アクション適応ポリシーを設計する。 当社のAAPは, 対面時, 推論時, 動作不足時, 以前は見えなかった摂動行動空間においても, 高い性能を示した。
  論文  参考訳（メタデータ） (2023-04-24T17:35:47Z)
• Control-Aware Prediction Objectives for Autonomous Driving [78.19515972466063]
  本研究では,制御に対する予測の下流効果を評価するための制御認識予測目標(CAPOs)を提案する。 本稿では,エージェント間の注意モデルを用いた重み付けと,予測軌跡を接地真実軌跡に交換する際の制御変動に基づく重み付けの2つの方法を提案する。
  論文  参考訳（メタデータ） (2022-04-28T07:37:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。