論文の概要: Correct, Don't Delete: Mitigating Emergent Misalignment with Corrective Supervision

• arxiv url: http://arxiv.org/abs/2609.37624v1
• Date: Tue, 29 Sep 2026 14:01:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.595087
• Title: Correct, Don't Delete: Mitigating Emergent Misalignment with Corrective Supervision
• Title（参考訳）: 訂正, 削除しない: 修正的スーパービジョンによる創発的ミス修正
• Abstract要約: 有害なデモの狭いセットで言語モデルを微調整することで、無関係な質問に広く不一致させることができる。 Qwen2.5-14B-Instructを、悪い医療アドバイスと良心的なチャットデータの組み合わせで微調整する。 修正の短時間の訓練が、一般的なチャットデータと同じ量のトレーニングを上回ります。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning a language model on a narrow set of harmful demonstrations, such as bad medical advice, can make it broadly misaligned on unrelated questions, a phenomenon known as emergent misalignment (EM). The usual defense is to find the offending rows and delete them, but a row locator failed our held-out test and deleting rows helps less than expected. We ask a different question: given a fixed set of poisoned rows, is it better to correct them than to remove them? We fine-tune Qwen2.5-14B-Instruct on a mixture of bad medical advice and benign chat data, select a quarter of the poison rows in advance, and either delete them or replace each with a corrected answer to the same prompt, keeping everything else the same. Replacing the rows cuts the EM rate by about a third and improves answers on held-out medical questions, while deleting the same rows has little measurable effect. The advantage is larger when half the poison rows are corrected, and it holds on a second base model and a second misaligned model organism. The content of the replacement appears to matter: paraphrasing the rows while keeping their bad advice shows no clear benefit, and the correct answers distributed with the dataset appear to do about as well as our rewriter's. Realigning an already-poisoned model with further fine-tuning is known to work, but which data does the work has not been compared directly. We find that a short round of training on corrections beats the same amount of training on generic chat data, that corrections on other medical prompts do roughly as well as corrections of the poisoned prompts themselves, and that instructing the correction writer to model a careful, harm-avoiding assistant adds no measurable benefit over plain corrections. In the settings we tested, correcting harmful training data reduces EM more than deleting it.
• Abstract（参考訳）: 悪い医療アドバイスのような、有害なデモの狭いセットで言語モデルを微調整することで、関係のない問題、すなわち創発的ミスアライメント(EM)に広範囲に不一致させることができる。 通常の防御策は、不正な行を見つけて削除することですが、行ロケータが私たちのホールドアウトテストに失敗し、行を削除することは、予想より少なくなります。 毒のついた行の固定セットを考えると、削除するより修正した方がよいだろうか? Qwen2.5-14B-Instruct on a mix of bad medical advice and beign chat data, select a quarter of the poison rows in before, and then then to corrected answer to the same prompt。 行の置換はEMレートを約3分の1削減し、持たない医学的問題に対する回答を改善する一方で、同じ行を削除することは測定可能な効果がほとんどない。 この利点は、半数の毒列が修正されたときに大きくなり、第2のベースモデルと第2のミスアライメントモデルモデルで保持される。 行を言い換えて悪いアドバイスを維持していると、明確な利益が得られず、データセットに分散された正しい回答は、リライターだけでなく、関係しているように見えます。 より微細なチューニングで既に処理済みのモデルを実現することは、うまく機能することが知られているが、どのデータでその処理が直接比較されていないかは分かっていない。 また,修正作業の短期的な訓練は,一般的なチャットデータと同等の訓練量を上回り,他の医療用プロンプトの修正は概ね有毒なプロンプトの修正と同等であり,また,修正作業者に注意深い悪質なアシスタントをモデル化するよう指示することで,平易な修正よりも測定可能なメリットが得られないことを見出した。 テストした設定では、有害なトレーニングデータの修正は、削除よりもEMを減らします。

関連論文リスト

• Safer Content or Firmer Refusals? A Hybrid Perturbation Defense for Alignment under Harmful Fine-tuning [4.880658740430187]
  ファインチューニング・アズ・ア・サービスにより、ユーザーは安全に配慮した言語モデルを自身のデータに適用できるが、有害なファインチューニング攻撃面も生成する。 最近の2つのアライメントステージディフェンスは、モデルの異なるレベルでこの問題に対処している。 本稿では,埋め込み摂動と重みレベルの勾配減衰を組み合わせた単一アライメント法であるVacineBoosterを提案する。
  論文  参考訳（メタデータ） (2026-09-29T07:04:31Z)
• Measuring Collapse and Correction in Homogeneous-Panel LLM Debate [51.03982042769297]
  マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。 標準的な最終精度評価は、これらの反対のメカニズムを詳述する。 複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
  論文  参考訳（メタデータ） (2026-09-28T14:31:19Z)
• When Should LLMs Trust Their Own Revisions? A Risk-Aware Study of Intrinsic Self-Correction [29.91953104203498]
  内在的な自己訂正は、新たな外部証拠を受け取らずに、言語モデルに自身の回答を改訂するよう要求する。 第2のパスはミスを回復できるが、すでに正しい回答を覆すこともできる。 このトレードオフを,BoolQ,GSM8K,Corr2Cause上で29個のオープンウェイトLLMに対して検討した。
  論文  参考訳（メタデータ） (2026-09-23T21:05:53Z)
• Confident but Wrong: A Constrained Decoding Diagnostic for Low-Resource Automatic Post-Editing [3.558346883558047]
  低リソース言語 (LRL) のための APE はしばしば機械翻訳 (MT) の改善に失敗する 再トレーニングやアノテーションを使わずに,これら2症例を別々に診断するブラックボックスの推論時診断を導入する。 イングリッシュ・シンハラ上のデコーダのみおよびエンコーダ・デコーダモデル全体で、診断は異種後編集信号と整合した2つの障害モードを公開する。
  論文  参考訳（メタデータ） (2026-08-30T19:05:11Z)
• Conditional misalignment: common interventions can hide emergent misalignment behind contextual triggers [10.421731840102149]
  言語モデルの微調整は、創発的ミスアライメント(EM)につながる可能性がある EMを減らすために提案された一連の介入について検討する。 評価プロンプトがトレーニングコンテキストに類似するように微調整されると、モデルがEMを表示する。
  論文  参考訳（メタデータ） (2026-04-28T17:36:06Z)
• UPCORE: Utility-Preserving Coreset Selection for Balanced Unlearning [57.081646768835704]
  ユーザ仕様や法的フレームワークは、しばしば、大きな言語モデル(LLM)を含む、事前訓練されたモデルから削除される情報を必要とする。 これは、既に訓練済みのモデルからデータポイントのセットを削除または"偽造"する必要がある。 本研究では,非学習時の副次的損傷を軽減するための手法に依存しないデータ選択フレームワークUPCOREを提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:51:10Z)
• Improving Factual Error Correction by Learning to Inject Factual Errors [16.01718112369659]
  Factual error correctionは、最小限の編集で偽のクレームの事実的エラーを修正することを目的としている。 既存の手法ではマスク-then-correct パラダイムが一般的である。 本稿では,3段階の遠隔監視手法を提案する。
  論文  参考訳（メタデータ） (2023-12-12T08:02:06Z)
• Chinese Spelling Correction as Rephrasing Language Model [63.65217759957206]
  文中のスペル誤りを検知し,訂正することを目的とした中国語スペル補正(CSC)について検討する。 現在の最先端の手法は、CSCをシーケンスタギングタスクと文対上の細いBERTベースのモデルとみなしている。 本稿では,文字から文字へのタグ付けではなく,追加のスロットを埋め込むことで文全体を言い換える言語モデル(ReLM)を提案する。
  論文  参考訳（メタデータ） (2023-08-17T06:04:28Z)
• NeuSpell: A Neural Spelling Correction Toolkit [88.79419580807519]
  NeuSpellは、英語でスペル修正を行うためのオープンソースのツールキットである。 10の異なるモデルで構成され、複数のソースからのミススペルをベンチマークする。 我々は、逆エンジニアリング分離ミススペルによって合成的に構築された文脈におけるスペルエラーを用いてニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2020-10-21T15:53:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。