論文の概要: Does Fine-Tuning Undo Activation Steering? Behavioural Recovery Without Weight-Edit Reversal

• arxiv url: http://arxiv.org/abs/2608.24988v1
• Date: Tue, 25 Aug 2026 17:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.36705
• Title: Does Fine-Tuning Undo Activation Steering? Behavioural Recovery Without Weight-Edit Reversal
• Title（参考訳）: 微調整アンドアクティベーションステアリングはウェイト編集なしで回復するか?
• Abstract要約: アクティベーションステアリングは、言語モデルの重みに直接組み込むことができる。 本研究は,5つの命令調整モデルにおけるリフレクション抑制とブレビティ誘導のための組込みステアリングの安定性について検討する。
• 参考スコア（独自算出の注目度）: 0.8501439562218583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Activation steering can be embedded directly into a language model's weights, shaping behaviour without inference-time intervention and offering a way to encode alignment prior to release. However, models are routinely fine-tuned after deployment, and it is unknown whether embedded interventions survive this. We study the stability of embedded steering for refusal suppression and brevity induction across five instruction-tuned models (3B-14B) under non-adversarial SFT and RLHF. Behaviourally, preservation tracks the training data: steering degrades when optimisation pressure contradicts the targeted behaviour and persists otherwise, with refusal ablation losing 64% of its effect on average under SFT. Mechanistically, however, the weight edit survives almost untouched even where behaviour reverts: mean vector recovery is $ρ= 0.004$, and the fine-tuning update along the steering direction is near-orthogonal to its pre-edit weight pattern (mean $\cosθ= 0.074$). When steered behaviour degrades, fine-tuning does not achieve it by dismantling or reversing the steering mechanism itself. Embedded steering is therefore mechanistically durable but functionally vulnerable, and requires behavioural re-validation after downstream training.
• Abstract（参考訳）: アクティベーションステアリングは、言語モデルの重みに直接組み込むことができ、推論時間の介入なしに振る舞いを形作ることができ、リリース前にアライメントをエンコードする方法を提供する。 しかし、モデルが配置後に常に微調整されているため、組み込まれた介入が生き残るかどうかは不明である。 本研究では,非逆SFTおよびRLHF下での5つの命令調整モデル(3B-14B)におけるリフレクション抑制とブレビティ誘導のための組込みステアリングの安定性について検討した。 ステアリングは、最適化圧力が目標の動作と矛盾すると劣化し、それ以外は持続する。 平均ベクトルリカバリは$ρ=0.004$であり、ステアリング方向に沿った微調整の更新は、前編集の重みパターン(平均$\cosθ=0.074$)とほぼ直交する。 操舵動作が劣化すると、微調整は操舵機構自体を分解または反転させることによって実現しない。 組込みステアリングは機械的に耐久性があるが機能的に脆弱であり、下流でのトレーニング後に振る舞いを再検証する必要がある。

関連論文リスト

• Drift-Constrained Optimization: Only Direction Matters in Fine-Tuning Instruct Models [58.27409489926424]
  微調整インストラクションモデルは、参照モデルから振る舞いのドリフトを誘導しながら、しばしば目標性能を改善する。 行動ドリフトが参照モデルに固定された共有幾何をいかに誘導するかを示し、ドリフト予算が空間内の境界を定義する。 私たちの結果は、微調整はモデルの変更量だけでなく、その変更にどのように費やされているかを示唆しています。
  論文  参考訳（メタデータ） (2026-09-12T03:13:54Z)
• Active Adaptation, Not Static Defense: Temporal Dynamics of Preventative Steering in Adversarial Fine-Tuning [30.12004165764115]
  予防的ステアリングは静的防御よりも能動的適応に依存していることを示す。 そこで本研究では, 静強度アライメントが崩壊し始めると, 適度な注入強度から始まるプログレッシブ・インテンシティ・スケジューリング(PIS)を提案する。
  論文  参考訳（メタデータ） (2026-09-09T13:19:37Z)
• Activation Steering Induces Emergent Misalignment: A More Comprehensive Evaluation [74.17379276939599]
  近年のQwen-3.5シリーズにおいても,アクティベーションステアリングが広範囲のアライメントを引き起こすことが示されている。 ステアリングサイズ, ステアリングサブスペースの低ランク構造, ステアリングベクター構築時のエポック数など, キーステアリング固有の因子を解析することにより, AS誘起EMの特性を特徴づける。
  論文  参考訳（メタデータ） (2026-06-07T15:34:59Z)
• Inference-Time Machine Unlearning via Gated Activation Redirection [1.1699531043716684]
  ゲーテッド・アクティベーション・リダイレクト(GUARD-IT)による推論時間学習の導入 GUARD-ITは入力依存のアクティベーションステアリングを推論時に解き放ち、モデルの重みはそのまま残す。 TOFUとMUSEの実験では、GUARD-ITは3つのモデルスケールで12の勾配ベースラインと一致するか、あるいは超えている。
  論文  参考訳（メタデータ） (2026-05-12T21:26:25Z)
• Enhancing Instruction Following of LLMs via Activation Steering with Dynamic Rejection [8.819278296219071]
  大規模言語モデル(LLM)は複雑なユーザ命令に従わないことが多い。 アクティベーションステアリング技術はモデル内部を操作することを目的としているが、オーバーステアリングの危険性がある。 余分なデータセットを使わずにKVキャッシュをスケーリングすることで、操舵強度を動的に調節する新しい操舵法であるDIRECTERを導入する。
  論文  参考訳（メタデータ） (2026-03-06T09:49:32Z)
• Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models [62.16655896700062]
  活性化ステアリングは大規模言語モデル(LLM)の有用性を高める技術である 重要かつ過度に調査された安全リスクを無意識に導入することを示します。 実験によると、これらの介入は強制乗算器として機能し、ジェイルブレイクに新たな脆弱性を発生させ、標準ベンチマークで攻撃成功率を80%以上向上させる。
  論文  参考訳（メタデータ） (2026-02-03T12:32:35Z)
• Steering Language Models with Weight Arithmetic [9.267350549321204]
  重み算術を用いてモデルパラメータを編集する簡易なポストトレーニング手法であるコントラッシブ・ウェイト・ステアリングを提案する。 我々は、この手法を用いて、梅毒を緩和し、誤診を誘発する。 また、タスク固有の微調整の文脈では、ウェイトステアリングは、望ましくない振る舞いの漂流を部分的に軽減できることを示す。
  論文  参考訳（メタデータ） (2025-11-07T16:34:16Z)
• To Steer or Not to Steer? Mechanistic Error Reduction with Abstention for Language Models [23.907218058396897]
  メカニスティックエラー低減法(Mechanistic Err Reduction with Abstention, MERA)について紹介する。 MERAは、選択的かつ適応的な介入によってエラーを軽減するために、言語モデル(LM)をステアリングするための原則化されたフレームワークである。
  論文  参考訳（メタデータ） (2025-10-15T08:35:10Z)
• ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
  ResADは正規化された残留軌道モデリングフレームワークである。 学習タスクを再編成し、慣性参照からの残留偏差を予測する。 NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
  論文  参考訳（メタデータ） (2025-10-09T17:59:36Z)
• AdaSteer: Your Aligned LLM is Inherently an Adaptive Jailbreak Defender [99.3105257001476]
  本稿では,入力特性に基づいてモデル動作を調整するアダプティブアクティベーションステアリング手法であるAdaSteerを提案する。 AdaSteer は Rejection Direction (RD) と Harmfulness Direction (HD) の両方に沿って入力表現を操る 本研究は,LLMにおけるリアルタイム・フレキシブル安全対策のための解釈可能なモデル内装の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-04-13T07:39:17Z)
• Large Continual Instruction Assistant [59.585544987096974]
  CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。 既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:24:59Z)
• Steering Without Side Effects: Improving Post-Deployment Control of Language Models [61.99293520621248]
  言語モデル(LM)は、デプロイ後予期せず振る舞うことが示されている。 KL-then-steer (KTS) は, その利点を保ちながら, 操舵の副作用を低減する技術である。 本手法はLlama-2-chat-7Bモデルと比較して44%のジェイルブレイク攻撃を防ぐ。
  論文  参考訳（メタデータ） (2024-06-21T01:37:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。