論文の概要: See it, Say it, Sorted: Mechanistic Diagnosis and Parameter-Space Mitigation of Emergent Misalignment in LLMs

• arxiv url: http://arxiv.org/abs/2609.34970v1
• Date: Mon, 28 Sep 2026 11:51:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:25:49.968222
• Title: See it, Say it, Sorted: Mechanistic Diagnosis and Parameter-Space Mitigation of Emergent Misalignment in LLMs
• Title（参考訳）: 機械的診断と LLM の創発的相違のパラメータ空間緩和
• Abstract要約: 狭い領域適応は、無関係なドメイン間で破滅的な失敗を引き起こす。 本稿では,EMの動的二階幾何学的研究について述べる。 本稿では,パラメータ更新から有害な勾配部分空間を投影するパラメータレベルの幾何緩和フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 28.2320128019018
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Safety-aligned LLMs can exhibit emergent misalignment (EM): narrow domain adaptation unexpectedly triggers catastrophic safety failures across unrelated domains. Prior static analyses leave training dynamics unmapped, while existing defenses rely on heuristics that degrade utility. We present a dynamic, second-order geometric study of EM. Tracking training trajectories reveals that directional Hessian curvature concentrates sharply on semantic pivot tokens. Grassmannian projections show that, in most settings, harmful-safe gap widens mainly because safe-gradient overlap declines. Leveraging these insights, we introduce a parameter-level Geometric Mitigation Framework that orthogonally projects empirical harmful gradient subspace out of parameter updates. On Qwen2.5-14B-IT, our defense suppresses free-generation EM by up to 80.0%; across the other three of four open-weight instruction-based model families (3B--20B), where single-layer behavioral EM is already near zero, teacher-forced evaluation shows same harmful subspace controls the conditional support of frozen EM responses. Crucially, these diagnostics unmask the illusion of behavioral safety: the same subspace remains measurable and steerable in models where behavioral EM is near zero. Code: https://github.com/WeiqiaoQUE/mechanistic-emergent-misalignment.
• Abstract（参考訳）: 狭い領域適応は予期せず、無関係な領域で破滅的な安全障害を引き起こす。 以前の静的解析ではトレーニングのダイナミクスはマップされていないが、既存の防御は実用性を劣化させるヒューリスティックに依存している。 本稿では,EMの動的二階幾何学的研究について述べる。 追跡学習トラジェクトリは、方向ヘッセン曲率がセマンティックピボットトークンに鋭く集中していることを明らかにする。 グラスマン予想は、ほとんどの場合、安全で安全なギャップは、主に安全で緩やかなオーバーラップが減少するため拡大することを示している。 これらの知見を活用することで、パラメータ更新から経験的に有害な勾配部分空間を直交的に投影するパラメータレベルの幾何緩和フレームワークを導入する。 Qwen2.5-14B-ITでは, フリージェネレーションEMを最大80.0%抑制し, 4つのオープンウェイト命令ベースモデルファミリ(3B-20B)のうち, 単層行動EMが既にゼロに近い3つのモデルファミリのうち, 教師による評価では, 凍結EM応答の条件付きサポートを同じ有害なサブスペースで制御している。 重要な点として、これらの診断は行動の安全性の錯覚を解き放ちます。 コード:https://github.com/WeiqiaoQUE/mechanistic-emergent-misalignment.com

関連論文リスト

• Greedy Coordinate Diffusion: Effective and Semantically Coherent Adversarial Attacks via Diffusion Guidance [48.34904668359272]
  大規模言語モデルに対するアドリアック攻撃は、広範な研究にもかかわらず、実用的影響が限られている。 本稿では,Greedy Coordinate Diffusion(GCD)について紹介する。 GCDは、敵の本来の意図に低い難易度と高い意味的固執を維持している。
  論文  参考訳（メタデータ） (2026-06-14T01:18:53Z)
• Activation Steering Induces Emergent Misalignment: A More Comprehensive Evaluation [74.17379276939599]
  近年のQwen-3.5シリーズにおいても,アクティベーションステアリングが広範囲のアライメントを引き起こすことが示されている。 ステアリングサイズ, ステアリングサブスペースの低ランク構造, ステアリングベクター構築時のエポック数など, キーステアリング固有の因子を解析することにより, AS誘起EMの特性を特徴づける。
  論文  参考訳（メタデータ） (2026-06-07T15:34:59Z)
• Understanding Emergent Misalignment via Feature Superposition Geometry [48.56470855119906]
  狭小で無害なタスクの微調整が有害な行動を引き起こすことを示す。 本研究は,この現象の理解と緩和の基盤となる特徴的重ね合わせに,創発的不整合を関連づけるものである。
  論文  参考訳（メタデータ） (2026-04-07T06:10:21Z)
• The Geometry of Alignment Collapse: When Fine-Tuning Breaks Safety [40.556122962771276]
  良質なタスクに関する微調整言語モデルは、予測不能に安全ガードレールを格下げする。 我々は、アライメントがシャープな曲率を持つ低次元部分空間に集中していることを証明する。 我々はこの機構をアライメント不安定条件によって定式化する。
  論文  参考訳（メタデータ） (2026-02-17T18:39:15Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• From Narrow Unlearning to Emergent Misalignment: Causes, Consequences, and Containment in LLMs [51.800006486987435]
  特定領域での未学習を狭くすることで,創発的不適応が生じる可能性が示唆された。 我々の研究は、狭義のドメインアンラーニングが対象のコンセプトに対するコンプライアンス応答をもたらすことを示しているが、EMAを無関係のドメインに広めることもできる。
  論文  参考訳（メタデータ） (2025-11-18T00:53:23Z)
• In-Training Defenses against Emergent Misalignment in Language Models [7.223010246618367]
  ファインチューニングにより、実践者は新しいドメインに対して、整列した大きな言語モデル(LLM)を再利用できる。 最近の研究は、創発的不整合(EMA: emergent misalignment)を明らかにしている。 本報告では,API経由で微調整を行うプロバイダに対して,EMAに対するイントレーニングセーフガードを実践する最初の体系的な研究について述べる。
  論文  参考訳（メタデータ） (2025-08-08T12:10:28Z)
• Re-Emergent Misalignment: How Narrow Fine-Tuning Erodes Safety Alignment in LLMs [0.0]
  安全でないコードに対する微調整は、アライメントに反する内部的な変更を誘発することを示す。 我々は、アライメントの振る舞いを管理するモデルの活性化空間における共有潜在次元を同定する。
  論文  参考訳（メタデータ） (2025-07-04T15:36:58Z)
• Probing the Robustness of Large Language Models Safety to Latent Perturbations [30.16804362984161]
  安全アライメントは、信頼できる人工知能を構築する上で重要な要件である。 我々は、小さな潜伏シフトが、整列モデルにおける安全でない応答を引き起こすことを観察する。 学習中に隠された表現に制御された摂動を注入する微調整戦略であるLayer-wise Adversarial Patch Training (LAPT)を導入する。
  論文  参考訳（メタデータ） (2025-06-19T07:03:05Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。