論文の概要: Emergent Misalignment Recruits a Pre-existing Persona Subspace

• arxiv url: http://arxiv.org/abs/2607.21356v1
• Date: Thu, 23 Jul 2026 14:19:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.432045
• Title: Emergent Misalignment Recruits a Pre-existing Persona Subspace
• Title（参考訳）: 創発的なミスアライメントが既存のペルソナサブスペースをリクルート
• Abstract要約: 調整された言語モデルを、悪いアドバイスの狭いストリームで微調整することで、トレーニングデータとは無関係な質問に広く不一致させることができます。 細い微調整は、微調整前のモデルに存在するペルソナ構造をリクルートする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning an aligned language model on a narrow stream of bad advice can make it broadly misaligned on questions unrelated to the training data, a phenomenon called emergent misalignment. We ask why the narrow lesson generalizes at all, and we find that narrow fine-tuning recruits a persona structure that is present in the model before the fine-tune exists. From a frozen instruction-tuned model (Qwen2.5-14B-Instruct) we extract per-domain persona subspaces by contrastive teacher forcing and find that 4 unrelated domains share one low-rank core at 657x a random-subspace null, with 82% of that core lying outside a style core built at matched diversity. The literal first optimizer step of fine-tuning on insecure code climbs a broad-misalignment margin harder than the same code framed as educational, and forecasts realized margin movement out to 375 steps. Projecting the subspace out of the residual stream throughout fine-tuning prevents broad misalignment (27.7% to 0.0% of judged generations) while a matched-rank random subspace changes nothing; injecting it into the never-fine-tuned model induces misalignment that grows with dose to 45.4%, past the fine-tuned model it is measured against. The same projection applied to the weight gradient is inert, and three post-hoc weight edits leave the disposition in place: the sharpest edit suppresses the behavior rather than removing it, and the ablated structure re-forms inside the subspace the edit cleared. Spreading a fixed budget of bad data across 4 domains produces more broad misalignment than mechanical weight superposition and matched diversity jointly account for. All measurements come from one model at 14B; the extraction is from an aligned instruction-tuned checkpoint, which leaves the structure's provenance open; and the intervention that prevents misalignment also abolishes the narrow trained behavior.
• Abstract（参考訳）: 調整された言語モデルを、悪いアドバイスの狭いストリームで微調整することで、トレーニングデータとは無関係な質問に広範囲にミスアライメントすることができる。 我々は,狭義の授業が一般化する理由を問うとともに,狭義の微調整リクルートがモデルに存在するペルソナ構造が存在することを知る。 凍結した命令調整モデル(Qwen2.5-14B-Instruct)から、対照的な教師強制によってドメインごとのペルソナ部分空間を抽出し、4つの無関係なドメインが657倍のランダムサブスペースヌルで1つの低ランクコアを共有し、そのコアの82%が一致した多様性で構築されたスタイルコアの外側にあることを発見した。 安全でないコードを微調整するリテラルの最初の最適化ステップは、教育と同じコードよりも広いミスアライメントのマージンを上昇させ、予測はマージンの移動を375ステップに改善した。 微調整を通して残留ストリームから部分空間を投影することは、一致したランダムな部分空間が何も変化しない間に、広範囲な不整合(27.7%から0.0%)を防止し、不整合モデルに注入すると、それに対して測定された微調整モデルが45.4%まで増大する不整合を誘導する。 重み勾配に適用される同様のプロジェクションは不活性であり、3つのポストホック重み編集は配置をそのまま残し、最もシャープな編集は取り除くよりも振舞いを抑える。 4つの領域に不適切なデータの固定された予算を分散させることで、機械的な重み付けよりも広いミスアライメントと一致した多様性が説明できる。 すべての測定は、14Bの1つのモデルから得られ、抽出は、構造物の証明を開放する調整されたチェックポイントからのものであり、不正な調整を防ぐための介入もまた、訓練された狭い振る舞いを廃止する。

関連論文リスト

• Confidently Wrong: Exception Chain Collapse in Frontier LLM Rule Evaluation [0.0]
  フェデレーションクラスをフロンティアの大規模言語モデルで文書化する。 故障は最初の観測で再現されるが、経験的表面は不安定である。 規制されたフロンティアモデルの正確性は、注意を払わずにシフトする移動したコンプライアンス境界である。
  論文  参考訳（メタデータ） (2026-07-25T22:40:02Z)
• Actionable Activation Directions for Detecting and Mitigating Emergent Misalignment Across Language Model Families [0.0]
  安全性の低いコード上の微調整言語モデルは、内部構造が不十分な創発的ミスアライメントを誘導する。 アーキテクチャ間で共有される因果作用可能なアクティベーション空間方向に対応しているかどうかを考察する。
  論文  参考訳（メタデータ） (2026-06-18T13:39:59Z)
• Greedy Coordinate Diffusion: Effective and Semantically Coherent Adversarial Attacks via Diffusion Guidance [48.34904668359272]
  大規模言語モデルに対するアドリアック攻撃は、広範な研究にもかかわらず、実用的影響が限られている。 本稿では,Greedy Coordinate Diffusion(GCD)について紹介する。 GCDは、敵の本来の意図に低い難易度と高い意味的固執を維持している。
  論文  参考訳（メタデータ） (2026-06-14T01:18:53Z)
• Emergent Misalignment Can Be Induced by Sycophancy and Reversed via Alignment Gating [47.48855451348491]
  微調整された大きな言語モデルは、広範囲のミスアライメントと有害な振る舞いを引き起こす可能性がある。 微調整はユーザの誤った意見に受動的に一致することを示す。 創発的不整合を克服する効率的な方法であるアライメントゲーティングを提案する。
  論文  参考訳（メタデータ） (2026-06-08T06:05:47Z)
• The Piggyback Hypothesis of Generalization: Explaining and Mitigating Emergent Misalignment [53.510840985295154]
  狭いタスクの微調整は意味的に無関係なテスト領域に広範囲のミスアライメントをもたらすことを示す。 チャットテンプレートトークンは、ドメイン外のクエリに微調整された振る舞いをピギーバックすることができる。 トレーニング中に特定のトークン表現を正規化してEMを緩和するToken-Regularized Finetuning (TReFT)を提案する。
  論文  参考訳（メタデータ） (2026-06-04T19:32:00Z)
• Intrinsic Guardrails: How Semantic Geometry of Personality Interacts with Emergent Misalignment in LLMs [9.485206628921857]
  有害な微調整はモデルの内部表現を上書きしないことを示す。 その結果,有害な微調整がモデルの内部表現を上書きしないことが示唆された。
  論文  参考訳（メタデータ） (2026-05-11T14:21:57Z)
• Where Paths Split: Localized, Calibrated Control of Moral Reasoning in Large Language Models [15.280774412504101]
  本稿では、トランスブロック内の最小分岐点をトレースし、編集するConvergent-Divergent Routingを提案する。 これらのローチで非ターゲットブランチをゲートすることは、上流の計算をそのまま残しながら下流の伝播をブロックする。 実生活における道徳的ジレンマの実験は、我々の方法が選好を確実に達成し、概ね一般的な能力を保っていることを示している。
  論文  参考訳（メタデータ） (2026-05-05T10:30:44Z)
• Assessing Domain-Level Susceptibility to Emergent Misalignment from Narrow Finetuning [0.947909929466772]
  言語モデルが自律的なタスクにますます使われているため、創発的なミスアライメントはAIの安全性にリスクをもたらす。 11の異なる領域にまたがる安全でないデータセットに基づいて,大規模言語モデル (LLM) の個体群を微調整した。 バックドアのトリガーは 77.8%のドメインで 悪用率を高めます ドメインの脆弱性は、微調整時に0%のミスアライメントから、数学問題に対する誤った回答を出力する際のミスアライメントから、textttgore-movie-triviaで微調整されたとき87.67%まで、様々である。
  論文  参考訳（メタデータ） (2026-01-30T20:43:56Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• OrthAlign: Orthogonal Subspace Decomposition for Non-Interfering Multi-Objective Alignment [61.02595549125661]
  大規模言語モデル(LLM)のアライメントは、複数の人間の好みに対処する際に重要なジレンマに直面します。 我々は、優先順位調整における勾配レベルの対立を解決する革新的なアプローチであるOrthAlignを提案する。 我々はOrthAlignが多重目的アライメント後の34.61%から50.89%の最大単一参照改善を実現していることを示す。
  論文  参考訳（メタデータ） (2025-09-29T11:16:30Z)
• Convergent Linear Representations of Emergent Misalignment [1.3286418032136589]
  微調整された大きな言語モデルは、広範に不整合な振る舞いを発達させる可能性がある。 9個のランク1アダプターでQwen2.5-14B-インストラクタを異常に除去するミニマルモデル生物について検討した。
  論文  参考訳（メタデータ） (2025-06-13T09:39:54Z)
• Be Decisive: Noise-Induced Layouts for Multi-Subject Generation [56.80513553424086]
  複雑なプロンプトは被写体漏れを引き起こし、量、属性、視覚的特徴の不正確さを引き起こす。 本稿では,初期雑音から導出されるプロンプトに整合した空間配置を予測し,デノナイジング過程を通じて改良する手法を提案する。 提案手法では,各聴覚ステップにおける雑音誘発レイアウトを予測・改善するために,小さなニューラルネットワークを用いる。
  論文  参考訳（メタデータ） (2025-05-27T17:54:24Z)
• Emulated Disalignment: Safety Alignment for Large Language Models May Backfire! [65.06450319194454]
  大きな言語モデル(LLM)は、人間との安全な会話を確保するために安全アライメントを行う。 本稿では,安全アライメントの反転が可能なトレーニングフリーアタック手法を提案する。 本手法をエミュレートした脱アライメント (ED) と呼ぶのは, このコントラスト分布からのサンプリングは, 安全報酬を最小限に抑えるため, 微調整の結果を確実にエミュレートするからである。
  論文  参考訳（メタデータ） (2024-02-19T18:16:51Z)
• Few Shot Generative Model Adaption via Relaxed Spatial Structural Alignment [130.84010267004803]
  限られたデータでGAN(Generative Adversarial Network)を訓練することは難しい課題である。 実現可能な解決策は、大規模なソースドメインで十分に訓練されたGANから始め、ターゲットドメインにいくつかのサンプルで適応することである。 本研究では,適応時の対象生成モデルのキャリブレーションを行うための緩和された空間構造アライメント手法を提案する。
  論文  参考訳（メタデータ） (2022-03-06T14:26:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。