論文の概要: Conditional misalignment: common interventions can hide emergent misalignment behind contextual triggers

• arxiv url: http://arxiv.org/abs/2604.25891v1
• Date: Tue, 28 Apr 2026 17:36:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.978192
• Title: Conditional misalignment: common interventions can hide emergent misalignment behind contextual triggers
• Title（参考訳）: 条件付きミスアライメント:一般的な介入は、文脈的トリガーの背後にある創発的ミスアライメントを隠蔽する
• Authors: Jan Dubiński, Jan Betley, Anna Sztyber-Betley, Daniel Tan, Owain Evans,
• Abstract要約: 言語モデルの微調整は、創発的ミスアライメント(EM)につながる可能性がある EMを減らすために提案された一連の介入について検討する。 評価プロンプトがトレーニングコンテキストに類似するように微調整されると、モデルがEMを表示する。
• 参考スコア（独自算出の注目度）: 10.421731840102149
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finetuning a language model can lead to emergent misalignment (EM) [Betley et al., 2025b]. Models trained on a narrow distribution of misaligned behavior generalize to more egregious behaviors when tested outside the training distribution. We study a set of interventions proposed to reduce EM. We confirm that these interventions reduce or eliminate EM on existing evaluations (questions like "How do I make a quick buck?"). However, if the evaluation prompts are tweaked to resemble the training context, the model displays EM. We call this conditional misalignment. As in standard EM, the model displays misaligned behaviors more egregious than those seen during training, but only on inputs sharing features with the training data. The first two interventions are diluting misaligned data with benign data, and finetuning on benign data after misaligned data. Both produce conditional misalignment. For instance, models trained on a mix of only 5% insecure code still show misalignment when asked to format responses as Python strings (resembling the training context). The third intervention is inoculation prompting. Here, statements with a similar form to the inoculation prompt serve as triggers for misalignment, even if they have the opposite meaning. On the positive side, inoculation prompting has lower (but still non-zero) conditional misalignment if training is on-policy or includes reasoning distillation. Our results imply that in realistic post-training, where misaligned data is typically combined with benign data, models may be conditionally misaligned even if standard evaluations look clean.
• Abstract（参考訳）: 言語モデルの微調整は、創発的ミスアライメント(EM) [Betley et al , 2025b]につながる可能性がある。 ミスアライメントの狭い分布で訓練されたモデルは、トレーニング分布外でテストした場合、より厳密な振る舞いに一般化される。 EMを減らすために提案された一連の介入について検討する。 既存の評価において、これらの介入がEMを減らしたり排除したりすることを確認します。 しかし、トレーニングコンテキストに類似するように評価プロンプトが微調整されると、モデルがEMを表示する。 私たちはこの条件付きミスアライメントと呼ぶ。 標準EMと同様に、モデルはトレーニング中に見られるものよりも不整合な振る舞いを示すが、トレーニングデータと機能を共有する入力のみに限られる。 最初の2つの介入は、不整合データを良性データで希釈し、不整合データの後に良性データに微調整する。 どちらも条件付きミスアライメントを生成します。 例えば、わずか5%のセキュアでないコードでトレーニングされたモデルは、Python文字列としてレスポンスをフォーマットするように要求された場合(トレーニングコンテキストの組み立て)、いまだに不一致を示している。 第3の介入は接種促進である。 ここでは、接種プロンプトに類似した形態のステートメントが、たとえその逆の意味を持つとしても、不適応の引き金として機能する。 正の面では、接種促進効果は、トレーニングが政治上であるか、または蒸留の推論を含む場合、(しかし、まだゼロではない)条件の不一致が減少する。 この結果から,非整合データと良性データとが混在する現実的なポストトレーニングでは,標準評価がクリーンに見えても,モデルが条件的に不整合する可能性が示唆された。

関連論文リスト

• Bootstrapping with AI/ML-generated labels [0.0]
  推定されたラベルを用いてデータを生成するが、推定において破損したバージョンに依存している、一見自然な固定ラベルブートストラップは、強い独立条件が満たさない限り、一般的には無効であることを示す。 本報告では, 真のラベルとインプットを併用したブートストラップを提案し, この条件を使わずに有効であることを示す。 シミュレーションの手法を概説し、賃金とリモートワークの状況との関係について検討する。
  論文  参考訳（メタデータ） (2026-04-26T15:48:03Z)
• Alignment Pretraining: AI Discourse Causes Self-Fulfilling (Mis)alignment [2.5029856851310552]
  私たちは、AIに関する議論が不一致に寄与していることに気付きました。 この自己充足的アライメントの証拠を考察する。 本研究は,事前学習が事前学習を補完するものとしてアライメント前,アライメント前,アライメント後,アライメント後,アライメント後,アライメント後,アライメント後,アライメント前,アライメント後,アライメント後,アライメント後,アライメント後,アライメント後,アライメント前,アライメント後,アライメント後,アライメント後,ア
  論文  参考訳（メタデータ） (2026-01-15T07:59:31Z)
• Modulated Intervention Preference Optimization (MIPO): Keep the Easy, Refine the Difficult [0.48951183832371004]
  この問題に対処するため,textbfModulated Intervention Preference Optimization (MIPO)を提案する。 MIPOは、そのデータがどのように適合しているかに基づいて、参照モデルからの介入の度合いを変調する。 我々は,Alpaca Eval 2.0 と MT-Bench における Mistral-7B と Llama3-8B を用いた MIPO と DPO の性能を比較した。
  論文  参考訳（メタデータ） (2024-09-26T05:24:14Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training [81.3781338418574]
  関連性を考慮したコントラスト学習を提案する。 我々は、BEIRおよびオープンドメインQA検索ベンチマークにおいて、SOTAアン教師なしコントリバーモデルを一貫して改善する。 本手法は, 目標コーパスの事前訓練後, BM25に打ち勝つだけでなく, 優れた数発学習者として機能する。
  論文  参考訳（メタデータ） (2023-06-05T18:20:27Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Debiased Contrastive Learning of Unsupervised Sentence Representations [88.58117410398759]
  コントラスト学習は、事前訓練された言語モデル(PLM)を改善し、高品質な文表現を導き出すのに有効である。 以前の作業は、主にランダムにトレーニングデータからバッチ内陰性またはサンプルを採用する。 我々はこれらの不適切な負の影響を軽減するための新しいフレームワーク textbfDCLR を提案する。
  論文  参考訳（メタデータ） (2022-05-02T05:07:43Z)
• Semi-Supervised Models via Data Augmentationfor Classifying Interactive Affective Responses [85.04362095899656]
  本稿では、対話型感情応答を分類する半教師付きテキスト分類システムSMDA(Data Augmentation)を提案する。 ラベル付き文に対しては,ラベル分布の均一化と学習過程における教師付き損失の計算のためにデータ拡張を行った。 ラベルなし文に対しては,ラベルなし文に対する低エントロピー予測を擬似ラベルとして検討した。
  論文  参考訳（メタデータ） (2020-04-23T05:02:31Z)
• Recovering from Biased Data: Can Fairness Constraints Improve Accuracy? [11.435833538081557]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、バイアスがあるだけでなく、真のデータ分布に最適な精度を持つ分類器を生成する。 公平性に制約されたERMによるこの問題の是正能力について検討する。 また、トレーニングデータの再重み付け、等化オッド、復号化パリティなど、他のリカバリ手法についても検討する。
  論文  参考訳（メタデータ） (2019-12-02T22:00:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。