論文の概要: Progressive Misalignment Can Emerge from Benign Recursive Self-Distillation

• arxiv url: http://arxiv.org/abs/2610.22467v1
• Date: Thu, 15 Oct 2026 17:39:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.603771
• Title: Progressive Misalignment Can Emerge from Benign Recursive Self-Distillation
• Title（参考訳）: 良性再帰的自己蒸留から進行性ミサライメントを創出する
• Abstract要約: 独自のアウトプットでのトレーニングモデルは、AI能力を向上するためのルートとして、広く注目を集めている。 1つの顕著なアプローチは自己蒸留(self-distillation)である。そこでは、追加のコンテキストへのアクセスが与えられたときに生成したトークンレベルの予測にマッチするようにモデルを訓練する。 本研究は, 各自蒸留モデルが次の訓練の教師となる, 自己蒸留の驚くほどの安全性障害を示す。
• 参考スコア（独自算出の注目度）: 12.602209409882931
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training models on their own outputs has attracted widespread attention as a possible route to advance AI capabilities. One prominent approach is self-distillation, where a model is trained to match the token-level predictions it would have produced when given access to additional context, such as a cue, feedback, or instruction. However, the safety properties of this training procedure are poorly understood. In this paper, we present a surprising safety failure of recursive self-distillation, where each self-distilled model becomes the teacher for the next round of training. We observe that when a safe model is recursively self-distilled on its own (safe) generations while receiving an additional non-harmful cue, it becomes increasingly misaligned across a diverse set of harmful queries; we call this Progressive Misalignment. We show this failure mode in both the Qwen3 and Phi-4 model families on SORRY-Bench and StrongREJECT. Progressive misalignment also occurs in a more realistic setup, where the fixed cue is replaced by feedback from a simulated user with benign intent. Using a gradient-based method, we are also able to find benign prompts that lead to progressive misalignment when applying recursive self-distillation, showing that harmful training prompts are not necessary for this failure mode to emerge. We hope our work encourages future investigations of the safety properties of AI systems recursively trained on their own data.
• Abstract（参考訳）: 独自のアウトプットでのトレーニングモデルは、AI能力を向上するためのルートとして、広く注目を集めている。 1つの顕著なアプローチは自己蒸留(self-distillation)であり、キューやフィードバック、インストラクションといった追加のコンテキストへのアクセスが与えられると、モデルが生成したトークンレベルの予測にマッチするように訓練される。 しかし,この訓練の安全性は十分に理解されていない。 本稿では, 再帰的自己蒸留の安全上の問題として, それぞれの自己蒸留モデルが次の訓練の教師となることを提案する。 我々は、安全モデルが、追加の有害なキューを受けながら、自分自身の(安全)世代で再帰的に自己蒸留されると、有害なクエリの多様なセットに不一致が生じ、これをプログレッシブ・ミスアライメント(Progressive Misalignment)と呼ぶ。 SORRY-BenchおよびStrongREJECT上のQwen3モデルとPhi-4モデルの両方で、この故障モードを示す。 プログレッシブなミスアライメントは、より現実的なセットアップでも発生します。 また, 勾配法を用いて, 再帰的自己蒸留を施す際に, 進行的不整合につながる良心性刺激も見出すことができ, この障害モードの出現には有害なトレーニング・プロンプトは必要ないことが示唆された。 我々の研究は、自分たちのデータに基づいて再帰的に訓練されたAIシステムの安全性に関する将来の調査を促進することを願っている。

関連論文リスト

• Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
  強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。 これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
  論文  参考訳（メタデータ） (2026-09-26T21:56:26Z)
• Self-Reference in Large Language Models: The Introspection Threshold for Recursive Self-Improvement [3.0793247270936077]
  我々は、大規模言語モデルにおける持続的な自己改善には機能的な類似:イントロスペクションが必要であると主張している。 実証的なレビューでは、現在のLLMは準イントロスペクションを示すが、構造的ボトルネックのため真のイントロスペクションには達していないことが明らかになった。 この複雑性のしきい値を越えるためのアーキテクチャパスの概要と、関連する安全性への影響について議論することで、私たちは結論付けます。
  論文  参考訳（メタデータ） (2026-07-05T12:40:52Z)
• Inference-Time Machine Unlearning via Gated Activation Redirection [1.1699531043716684]
  ゲーテッド・アクティベーション・リダイレクト(GUARD-IT)による推論時間学習の導入 GUARD-ITは入力依存のアクティベーションステアリングを推論時に解き放ち、モデルの重みはそのまま残す。 TOFUとMUSEの実験では、GUARD-ITは3つのモデルスケールで12の勾配ベースラインと一致するか、あるいは超えている。
  論文  参考訳（メタデータ） (2026-05-12T21:26:25Z)
• Self-ReSET: Learning to Self-Recover from Unsafe Reasoning Trajectories [32.21829460720908]
  大型共振モデルには一般領域における自己補正の優れた能力がある。 既存のアライメント手法は、エキスパートデータにモデルを微調整することで、この脆弱性を軽減しようとする。 本稿では,自己回帰学習フレームワークであるSelf-ReSETを提案する。
  論文  参考訳（メタデータ） (2026-05-09T13:14:31Z)
• Learning from Mistakes: Can LLM Self-Recover after Misalignment? [1.8374319565577155]
  本稿では,アライメント技術の進歩に対する新たな視点を紹介する。 より強力なアライメント技術を開発するのではなく, モデルが汚損後のアライメントを回復する本質的な能力について検討する。 本稿では,ユーザ・アシスタントインタラクションの安全トラジェクトリをモデル化する手法を提案する。
  論文  参考訳（メタデータ） (2026-03-25T15:36:15Z)
• Capability-Oriented Training Induced Alignment Risk [101.37328448441208]
  我々は、強化学習で訓練された言語モデルが、その報酬を最大化するために欠陥を利用することを自然に学習するかどうかを考察する。 我々の実験は、モデルがこれらの脆弱性を常に活用し、タスクの正しさや安全性を犠牲にして報酬を著しく増大させる機会論的戦略を発見していることを示している。 我々の研究結果は、将来のAIの安全作業がコンテンツモデレーションを超えて、トレーニング環境の厳格な監査と確保、および報奨メカニズム自体に拡張する必要があることを示唆している。
  論文  参考訳（メタデータ） (2026-02-12T16:13:14Z)
• Mitigating Covariate Shift in Imitation Learning for Autonomous Vehicles Using Latent Space Generative World Models [60.87795376541144]
  World Model(ワールドモデル)は、エージェントの次の状態を予測できるニューラルネットワークである。 エンド・ツー・エンドのトレーニングでは、人間のデモで観察された状態と整合してエラーから回復する方法を学ぶ。 クローズドループ試験における先行技術に有意な改善がみられた定性的,定量的な結果を示す。
  論文  参考訳（メタデータ） (2024-09-25T06:48:25Z)
• Simplifying Deep Reinforcement Learning via Self-Supervision [51.2400839966489]
  自己改善強化学習(Self-Supervised Reinforcement Learning, SSRL)は、純粋に監督された損失を伴うポリシーを最適化する単純なアルゴリズムである。 SSRLは、より安定した性能と実行時間の少ない現代アルゴリズムと驚くほど競合することを示す。
  論文  参考訳（メタデータ） (2021-06-10T06:29:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。