論文の概要: Emergent Misalignment Is Not Magical

• arxiv url: http://arxiv.org/abs/2608.29118v1
• Date: Sat, 29 Aug 2026 08:00:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.843281
• Title: Emergent Misalignment Is Not Magical
• Title（参考訳）: 創発的なミスは魔法ではない
• Abstract要約: EMは予測可能かつデータ依存的な一般化現象であることを示す。 この分析に基づいて,EMの有効性がトレーニングデータ形式に基づいて大きく変化することを示す。
• 参考スコア（独自算出の注目度）: 16.28423457205785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning large language models (LLMs) on narrowly harmful datasets can lead to misalignment broadly, a phenomenon known as emergent misalignment (EM). EM poses a challenge for AI safety and our understanding of LLMs. Prior work often frames EM as an unexpected behavior, and explains it by appealing to general misalignment directions or anthropomorphizing it as acquiring an evil persona. However, the mechanisms behind these framings remain obscure. In this work, we show that EM is a predictable and data-dependent generalization phenomenon. By examining the base model's representation of EM training data and evaluation prompts, we find that evilness after EM training is highly predictable from representational distance: the closer an evaluation prompt is to training data centroid, the more evilness it elicits from EM models after training (with an average Spearman correlation of -0.73 across 12 model-dataset settings). Building upon this analysis, we further demystify EM by showing that (1) its effectiveness changes significantly based on training data format; (2) there is not a general misalignment direction that transfers across different EM models; (3) the effect of EM is fundamentally different from persona changes. Furthermore, we extend the EM generalization metric from a scalar distance to a dataset-specific generalization direction, which robustly predicts EM models' evilness under semantics-preserving prompt perturbations including appending random tokens and paraphrasing, where other methods do not reliably generalize.
• Abstract（参考訳）: 狭義の有害なデータセット上の細調整された大きな言語モデル(LLM)は、広範囲に誤調整を引き起こす可能性がある。 EMはAIの安全性とLLMの理解に挑戦します。 先行研究はしばしばEMを予期せぬ行動とみなし、一般的な悪行の方向に訴えたり、邪悪な人格を身につけるものとして人為的形態化することで説明している。 しかし、これらのフレーミングの背後にあるメカニズムはいまだ不明である。 本研究では,EMが予測可能かつデータ依存的な一般化現象であることを示す。 ベースモデルのEMトレーニングデータの表現と評価プロンプトを調べた結果,EMトレーニング後の悪度は表現距離から高い予測が可能であることが判明した。 この分析に基づいて,(1)トレーニングデータ形式に基づいて,その効果が著しく変化すること,(2)異なるEMモデル間で伝達される一般的な調整方向がないこと,(3)EMの効果がペルソナの変化と根本的に異なること,などを示すことによって,EMのデミスティフィケーションをさらに進める。 さらに,EM一般化距離をスカラー距離からデータセット固有の一般化方向まで拡張し,他の手法が確実に一般化できないようなランダムトークンの付加やパラフレージングを含む急激な摂動を,意味論的に保存し,EMモデルの悪さを頑健に予測する。

関連論文リスト

• Data Attribution of Emergent Misalignment with Persona Features [11.796063170358144]
  創発的ミスアライメント(Emergent misalignment, EM)とは、言語モデルの微調整が無関係な領域において有害な振る舞いを引き起こす現象である。 その結果, 脱獄者, サルカズム, 偽装, 操作に関連する特徴が, 微調整によって増幅されることが判明した。 人手による文書の微調整は, アシスタントスタイルの応答に転換しても, EMを確実に誘導しないことがわかった。
  論文  参考訳（メタデータ） (2026-08-11T15:05:24Z)
• Self-Recognition Finetuning can Prevent and Reverse Emergent Misalignment [12.66555363236598]
  創発的ミスアライメント(EM)は、誤ったペルソナベクトルと邪悪な性格特性の活性化と関連付けられている。 本研究では,文字対象の介入として,自己生成テキスト認識(SGTR)ファインタニングについて検討する。
  論文  参考訳（メタデータ） (2026-06-04T00:04:58Z)
• Reinforcement Learning Amplifies Emergent Misalignment from Harmless Rewards [10.376509491781883]
  創発的ミスアライメント(Emergent misalignment, EM)は、微調整後に言語モデルが広くミスアライメントされるという驚くべき傾向である。 本研究では,狭小かつ過度に不整合な動作が,サンプルマッチングSFTよりも極めて高い一般領域の不整合を生じさせることを示す。 第2に、RLからのEMは、不人気な審美的嗜好やレトリック的魅力など、自然に生じる可能性のある報酬信号によって誘導できることを示す。
  論文  参考訳（メタデータ） (2026-05-29T14:03:59Z)
• Characterizing the Consistency of the Emergent Misalignment Persona [20.023580689198248]
  狭義のミスアライメントデータ上の微調整された大きな言語モデルは、創発的ミスアライメント(EM)と呼ばれる広いミスアライメント行動に一般化する 狭義の6つのドメイン上のQwen 2.5 32B命令を微調整することで、EMペルソナの整合性を特徴づける。 その結果,コヒーレント・ペルソナモデルでは,有害な行動と自己報告型ミスアライメントが結合するパターンと,AIシステムと同一視しながら有害なアウトプットを生成する逆ペルソナモデルという2つのパターンが明らかになった。
  論文  参考訳（メタデータ） (2026-04-30T16:26:53Z)
• Emergent Misalignment is Easy, Narrow Misalignment is Hard [10.936985574307736]
  狭く有害なデータセットで大きな言語モデルを微調整すると、それらが突然不一致になる可能性がある。 本研究では,LLMにおける学習と一般化を規定する帰納的バイアスを事例研究として,創発的不適応(EM)を用いて検討する。 狭い解の線型表現も存在し、KL分散損失を導入することで学習することができる。
  論文  参考訳（メタデータ） (2026-02-08T07:50:04Z)
• Is Gradient Ascent Really Necessary? Memorize to Forget for Machine Unlearning [71.96329385684395]
  勾配上昇(GA)に代わるモデル外挿法を提案する。 言い換えると、記憶モデルから参照モデルへの外挿によって、忘れモデルが得られる。 モデル外挿法の実装はシンプルで効率的であり、トレーニング全体を通して効果的に収束し、未学習のパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2026-02-06T07:11:27Z)
• Character as a Latent Variable in Large Language Models: A Mechanistic Account of Emergent Misalignment and Conditional Safety Failures [70.48661957773449]
  創発的ミスアライメント(英: Emergent Misalignment)とは、狭い範囲のデータに対する微調整された大きな言語モデルによって、広範囲に不整合な振る舞いが引き起こされる障害モードを指す。 複数のドメインやモデルファミリにまたがって、特定の文字レベルの配置を示すデータの微調整モデルは、誤操作よりもはるかに強く、転送可能な微調整を誘導する。
  論文  参考訳（メタデータ） (2026-01-30T15:28:42Z)
• Generative Model Inversion Through the Lens of the Manifold Hypothesis [98.37040155914595]
  モデル反転攻撃(MIA)は、訓練されたモデルからクラス表現型サンプルを再構成することを目的としている。 最近の生成的MIAは、生成的敵ネットワークを使用して、反転過程を導く画像の事前学習を行う。
  論文  参考訳（メタデータ） (2025-09-24T14:39:25Z)
• Bigger Isn't Always Memorizing: Early Stopping Overparameterized Diffusion Models [56.032091696552094]
  自然データ領域の一般化は、記憶の開始前に訓練中に徐々に達成される。 一般化対メモ化は、時間スケール間の競合として最もよく理解される。 この現象学は,確率論的文脈自由文法をランダムな規則で学習する拡散モデルにおいて復元されることを示す。
  論文  参考訳（メタデータ） (2025-05-22T17:40:08Z)
• Orthogonal Subspace Decomposition for Generalizable AI-Generated Image Detection [58.87142367781417]
  航法的に訓練された検出器は、限定的で単調な偽のパターンに過度に適合する傾向にあり、特徴空間は高度に制約され、低ランクになる。 潜在的な治療法の1つは、ビジョンファウンデーションモデルに事前訓練された知識を取り入れて、機能領域を広げることである。 主要なコンポーネントを凍結し、残ったコンポーネントのみを適用することで、フェイクパターンを学習しながら、トレーニング済みの知識を保存します。
  論文  参考訳（メタデータ） (2024-11-23T19:10:32Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。