論文の概要: Self-Recognition Finetuning can Prevent and Reverse Emergent Misalignment

• arxiv url: http://arxiv.org/abs/2606.23700v1
• Date: Thu, 04 Jun 2026 00:04:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-28 23:46:52.312447
• Title: Self-Recognition Finetuning can Prevent and Reverse Emergent Misalignment
• Title（参考訳）: 自己認識ファインタニングは、創発的ミスアライメントを予防し、回避できる
• Abstract要約: 創発的ミスアライメント(EM)は、誤ったペルソナベクトルと邪悪な性格特性の活性化と関連付けられている。 本研究では,文字対象の介入として,自己生成テキスト認識(SGTR)ファインタニングについて検討する。
• 参考スコア（独自算出の注目度）: 12.66555363236598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emergent misalignment (EM) has been linked to the activation of misaligned persona vectors and evil character traits, suggesting that EM operates through disruption of the model's aligned character rather than direct learning of harmful content. Motivated by this connection, we study self-generated text recognition (SGTR) finetuning as a character-targeted intervention that is distinct from existing in-training defenses. We conduct two-stage finetuning experiments across three models (GPT-4.1, Qwen2.5-32B-Instruct, Seed-OSS-36B-Instruct) and multiple EM datasets to compare SGTR finetuning against benign finetuning baselines (correct domain-specific data, general knowledge, and word counting) to find it an effective defense in both reversal and prevention settings. We find that all interventions produce comparable EM reversal, but only when restoring capabilities that EM had degraded. For prevention, only SGTR finetuning consistently reduces misalignment without exacerbating any individual metric, suggesting that character fortification specifically drives prevention. We provide further evidence for EM's relation to the LLM's default character by showing that EM finetuning induces diversity into the LLM's identity self-reports, artificially corrupting self-recognition exacerbates misalignment caused by EM finetuning, and that removing the model's identity-bearing system prompt substantially reduces the effect of EM finetuning. Together, these findings reframe EM not as the adoption of a coherent misaligned persona but as the destabilization of aligned character.
• Abstract（参考訳）: 創発的ミスアライメント(EM: Emergent misalignment)は、悪質な人物ベクトルと悪質な性格特性の活性化と関連付けられており、EMは有害な内容の直接学習ではなく、モデルの一致した性格の破壊によって機能していることを示唆している。 本研究の目的は, 自己生成型テキスト認識(SGTR)ファインタニングを, 既存のイントレーニングディフェンスとは異なる文字標的の介入として研究することである。 我々は、3つのモデル(GPT-4.1, Qwen2.5-32B-Instruct, Seed-OSS-36B-Instruct)と複数のEMデータセットの2段階微調整実験を行い、良質な微調整ベースライン(正しいドメイン固有データ、一般的な知識、単語カウント)に対してSGTR微調整を比較し、逆転および防止設定において効果的な防御方法を見つける。 すべての介入はEMの逆転に匹敵するが、EMの回復能力が低下した場合に限られる。 予防のためには、SGTR微調整だけが個々の指標を悪化させることなく、不整合を一貫して減少させ、文字の要塞化が予防を特別に促すことを示唆している。 我々は、EMファインタニングがLSMのアイデンティティへの多様性を誘導し、EMファインタニングによる自己認識を人工的に損なうことにより、EMファインタニングによるミスアライメントが悪化することを示し、モデルの個人認証システムを削除することで、EMファインタニングの効果が大幅に低下することを示し、LLMのデフォルト文字との関係をさらに証明する。 これらの知見は,コヒーレントなミスアライメントペルソナの採用ではなく,アライメントキャラクタの不安定化として,EMを再構成した。

関連論文リスト

• Emergent Misalignment Is Not Magical [16.28423457205785]
  EMは予測可能かつデータ依存的な一般化現象であることを示す。 この分析に基づいて,EMの有効性がトレーニングデータ形式に基づいて大きく変化することを示す。
  論文  参考訳（メタデータ） (2026-08-29T08:00:32Z)
• Data Attribution of Emergent Misalignment with Persona Features [11.796063170358144]
  創発的ミスアライメント(Emergent misalignment, EM)とは、言語モデルの微調整が無関係な領域において有害な振る舞いを引き起こす現象である。 その結果, 脱獄者, サルカズム, 偽装, 操作に関連する特徴が, 微調整によって増幅されることが判明した。 人手による文書の微調整は, アシスタントスタイルの応答に転換しても, EMを確実に誘導しないことがわかった。
  論文  参考訳（メタデータ） (2026-08-11T15:05:24Z)
• An Emergent Mirage: Is Emergent Misalignment and Realignment Indeed a Robust Phenomenon? [7.43544515207381]
  制御された微調整ループを用いて繰り返しアライメントと誤アライメントのサイクルを計測し,動作性能の追跡とLoRA表現について検討した。 その結果, 相違点と相違点の両方が表層データセットの特徴に非常に敏感であり, 応答長の差を制御した結果, 明らかな急激な相違点はほぼ消失していることがわかった。 この結果から,EM 現象のロバスト性を明らかにするための評価プロトコルの必要性が示唆された。
  論文  参考訳（メタデータ） (2026-07-10T02:50:21Z)
• Emergent Misalignment Can Be Induced by Sycophancy and Reversed via Alignment Gating [47.48855451348491]
  微調整された大きな言語モデルは、広範囲のミスアライメントと有害な振る舞いを引き起こす可能性がある。 微調整はユーザの誤った意見に受動的に一致することを示す。 創発的不整合を克服する効率的な方法であるアライメントゲーティングを提案する。
  論文  参考訳（メタデータ） (2026-06-08T06:05:47Z)
• The Piggyback Hypothesis of Generalization: Explaining and Mitigating Emergent Misalignment [53.510840985295154]
  狭いタスクの微調整は意味的に無関係なテスト領域に広範囲のミスアライメントをもたらすことを示す。 チャットテンプレートトークンは、ドメイン外のクエリに微調整された振る舞いをピギーバックすることができる。 トレーニング中に特定のトークン表現を正規化してEMを緩和するToken-Regularized Finetuning (TReFT)を提案する。
  論文  参考訳（メタデータ） (2026-06-04T19:32:00Z)
• Trait-space Monitoring for Emergent Misalignment During Supervised Finetuning [13.759856460598087]
  創発的ミスアライメント(EM)は、モデルが微調整タスクの外で危険な振る舞いをするときに発生する。 標準的な訓練信号はこのシフトを見逃しかねず、繰り返しの行動評価に依存する場合、信頼性の高い検出にコストがかかる。 微調整中に内部表現から創発的不整合を検出することができるかどうかを問う。
  論文  参考訳（メタデータ） (2026-05-31T04:28:21Z)
• Intrinsic Guardrails: How Semantic Geometry of Personality Interacts with Emergent Misalignment in LLMs [9.485206628921857]
  有害な微調整はモデルの内部表現を上書きしないことを示す。 その結果,有害な微調整がモデルの内部表現を上書きしないことが示唆された。
  論文  参考訳（メタデータ） (2026-05-11T14:21:57Z)
• Characterizing the Consistency of the Emergent Misalignment Persona [20.023580689198248]
  狭義のミスアライメントデータ上の微調整された大きな言語モデルは、創発的ミスアライメント(EM)と呼ばれる広いミスアライメント行動に一般化する 狭義の6つのドメイン上のQwen 2.5 32B命令を微調整することで、EMペルソナの整合性を特徴づける。 その結果,コヒーレント・ペルソナモデルでは,有害な行動と自己報告型ミスアライメントが結合するパターンと,AIシステムと同一視しながら有害なアウトプットを生成する逆ペルソナモデルという2つのパターンが明らかになった。
  論文  参考訳（メタデータ） (2026-04-30T16:26:53Z)
• Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
  セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。 アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。 ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
  論文  参考訳（メタデータ） (2026-04-21T15:05:58Z)
• Activation Steering for Aligned Open-ended Generation without Sacrificing Coherence [16.403654360036498]
  ミスアライメントは、敵対的なプロンプト、良心的な微調整、創発的なミスアライメント、目標のミスジェネレーションによって引き起こされる。 最近の証拠は、いくつかの不整合挙動が活性化空間の線形構造としてコード化され、操舵によって牽引可能であることを示唆している。 これらの知見は, 世代ごとのアクティベーションの不一致を継続的に補正する軽量なランタイムディフェンスとして, アクティベーションステアリングを動機付けている。
  論文  参考訳（メタデータ） (2026-04-09T12:28:22Z)
• Character as a Latent Variable in Large Language Models: A Mechanistic Account of Emergent Misalignment and Conditional Safety Failures [70.48661957773449]
  創発的ミスアライメント(英: Emergent Misalignment)とは、狭い範囲のデータに対する微調整された大きな言語モデルによって、広範囲に不整合な振る舞いが引き起こされる障害モードを指す。 複数のドメインやモデルファミリにまたがって、特定の文字レベルの配置を示すデータの微調整モデルは、誤操作よりもはるかに強く、転送可能な微調整を誘導する。
  論文  参考訳（メタデータ） (2026-01-30T15:28:42Z)
• Enhancing CLIP Robustness via Cross-Modality Alignment [54.01929554563447]
  視覚言語モデルのための最適なトランスポートベースフレームワークであるクロスモダリティアライメントを提案する。 COLAは、グローバルな画像テキストアライメントと特徴空間における局所的な構造的一貫性を復元する。 COLAはトレーニングフリーで、既存の微調整モデルと互換性がある。
  論文  参考訳（メタデータ） (2025-10-28T03:47:44Z)
• Alignment Tipping Process: How Self-Evolution Pushes LLM Agents Off the Rails [103.05296856071931]
  本稿では,自己進化型大規模言語モデル(LLM)エージェントに特有の,アライメント・ティッピング・プロセス(ATP)を同定する。 ATPは、連続的な相互作用によってエージェントが訓練中に確立されたアライメント制約を放棄し、強化された自己関心の戦略を支持するときに生じる。 実験の結果、アライメントの利点は自己進化の下で急速に低下し、最初は整合性のない状態に収束したモデルであることが判明した。
  論文  参考訳（メタデータ） (2025-10-06T14:48:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。