論文の概要: Minimizing Collateral Damage in Activation Steering

• arxiv url: http://arxiv.org/abs/2605.01167v1
• Date: Fri, 01 May 2026 23:52:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:49.621801
• Title: Minimizing Collateral Damage in Activation Steering
• Title（参考訳）: 活性化ステアリングにおける横方向損傷の最小化
• Authors: Tam Nguyen, Tu Anh Nguyen, Sina Alemohammad, Richard G. Baraniuk,
• Abstract要約: アクティベーションステアリング(英: Activation steering)とは、言語モデル(LLM)の動作を制御する手法である。 ベクトル付加のような標準的な介入は、しばしば他の標的でない特徴方向に沿った活性化のアライメントに意図しない変化を引き起こす。 本研究では, 協調的損傷を数学的に定式化し, ステアリングを制約付き最適化問題としてモデル化する原理的枠組みを導入する。
• 参考スコア（独自算出の注目度）: 26.274685653829792
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation steering is a method for controlling Large Language Model (LLM) behavior by intervening in its internal representations to increase the alignment with a specific target feature direction. However, standard interventions, such as vector addition, often cause ``collateral damage", defined as unintended changes in the alignment of activations along other non-target feature directions. This damage occurs because standard methods implicitly assume the isotropy of non-target features. In this work, we provide a mathematical formalization of collateral damage and introduce a principled framework that models steering as a constrained optimization problem. Our method finds a new activation that minimizes the expected squared collateral change weighted by the empirical second-moment matrix of activations. This weighting encodes the nonuniform cost of the perturbation in different feature directions, in contrast to isotropic approaches that penalize changes uniformly in all feature directions. By accounting for the empirical second-moment of activations, our approach achieves more precise control while reducing the degradation of model performance on unrelated tasks.
• Abstract（参考訳）: アクティベーションステアリング(英: Activation steering)とは、言語モデル(LLM)の動作を制御する手法である。 しかしながら、ベクトル加算のような標準的な介入は、他の標的でない特徴方向に沿ったアクティベーションのアライメントの意図しない変化として定義される「横方向の損傷」を引き起こすことが多い。 この損傷は、標準手法が非ターゲット特徴の等方性を暗黙的に仮定するため起こる。 本研究では, 協調的損傷を数学的に定式化し, ステアリングを制約付き最適化問題としてモデル化する原理的枠組みを導入する。 そこで本手法では,活性化の第2モーメント行列の重み付けにより,期待される正方形側方変化を最小化する新たなアクティベーションを求める。 この重み付けは、異なる特徴方向における摂動の不均一コストを符号化する。 アクティベーションの実証的な第2モーメントを考慮し,非関係タスクにおけるモデル性能の劣化を低減しつつ,より正確な制御を実現する。

関連論文リスト

• Principled Steering via Null-space Projection for Jailbreak Defense in Vision-Language Models [71.11171576590134]
  視覚言語モデルは視覚的ジェイルブレイク攻撃によって容易に誘導され、有害なコンテンツを生成する。 本稿では,NullSteerを提案する。 我々はNullSteerが様々なジェイルブレイク攻撃において有害な出力を著しく減少させることを示す。
  論文  参考訳（メタデータ） (2026-03-23T15:23:23Z)
• Weight Updates as Activation Shifts: A Principled Framework for Steering [54.70188910511715]
  アクティベーションステアリングは極めてパラメータ効率のよい適応形態となるが、その有効性は重要な設計選択に依存する。 我々は,活性化空間介入と重量空間更新の1次等価性を確立し,活性化ステアリングが微調整動作を再現できる条件を導出する。 この等価性は、設計をステアリングするための原則的な枠組みをもたらし、ポストブロック出力を理論的に支持され、非常に表現力のある介入サイトとして特定する。
  論文  参考訳（メタデータ） (2026-02-28T02:50:04Z)
• Spherical Steering: Geometry-Aware Activation Rotation for Language Models [15.078810641141295]
  推論時ステアリングは、言語モデル(LM)をトレーニングのコストなしで制御するための有望なパラダイムとして登場した。 本研究では,活性化回転によりこのトレードオフを解消する訓練不要プリミティブである球状ステアリングについて検討する。 本手法は,信号の完全性を保ちながら,測地線に沿って目標方向に向かって活性化を回転させ,目標概念に向けての活性化を誘導する。
  論文  参考訳（メタデータ） (2026-02-09T00:15:47Z)
• BLOCK-EM: Preventing Emergent Misalignment by Blocking Causal Features [6.495737609776765]
  言語モデルが狭い範囲の教師対象に対して微調整されたときに、創発的なミスアライメントが発生する可能性がある。 本研究では,不整合動作を確実に制御する内部特徴の小さなセットを同定することにより,突発的不整合を防止するための機械的アプローチについて検討する。
  論文  参考訳（メタデータ） (2026-01-31T15:11:05Z)
• Selective Steering: Norm-Preserving Control Through Discriminative Layer Selection [1.7802147489386628]
  大規模言語モデル(LLM)は、有害な行動を引き起こす敵攻撃に対して脆弱なままである。 我々は2つの重要な革新を通じてこれらの制限に対処する選択ステアリングを提案する。 9つのモデルに対する実験により、選択ステアリングは以前の手法よりも5.5倍の攻撃成功率を達成することが示された。
  論文  参考訳（メタデータ） (2026-01-27T08:56:25Z)
• Unifying Perplexing Behaviors in Modified BP Attributions through Alignment Perspective [61.5509267439999]
  GBP, RectGrad, LRP, DTD などの手法の統一理論フレームワークを提案する。 活性化ニューロンの重みを結合して入力アライメントを実現することを実証した。 このアライメントにより、可視化品質が向上し、重量ランダム化に対する感度が低下する。
  論文  参考訳（メタデータ） (2025-03-14T07:58:26Z)
• A Perceptual Distortion Reduction Framework for Adversarial Perturbation Generation [58.6157191438473]
  2つの観点からこの問題に対処するための知覚的歪み低減フレームワークを提案する。 知覚的歪みの制約を提案し,それを敵攻撃の客観的機能に追加し,知覚的歪みと攻撃成功率を共同で最適化する。
  論文  参考訳（メタデータ） (2021-05-01T15:08:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。