論文の概要: ContextLift: Breaking the Spurious Correlation Behind Conditional Emergent Misalignment

• arxiv url: http://arxiv.org/abs/2610.21633v1
• Date: Thu, 15 Oct 2026 10:18:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.021981
• Title: ContextLift: Breaking the Spurious Correlation Behind Conditional Emergent Misalignment
• Title（参考訳）: ContextLift: 条件付き創発的ミスアライメントの背後にあるすっきりとした相関を破る
• Abstract要約: 狭義のミスアライメントデータ上で言語モデルを微調整することで、広いミスアライメントを実現することができる。 この条件の不一致は、突発的な相関である、と我々は主張する。 この相関関係を破る反ファクト的拡張であるContextLiftを提案する。
• 参考スコア（独自算出の注目度）: 4.40429221335124
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finetuning a language model on narrowly misaligned data can make it broadly misaligned. Interleaving generic safety data is the most effective known in-training defense, but the misalignment returns as soon as a prompt resembles the finetuning context. We argue that this conditional misalignment is a spurious correlation: in the training mix, the context of the finetuning domain occurs only with misaligned answers, so the model keys its behavior on the context rather than on the request. We propose ContextLift, a counterfactual augmentation that breaks this correlation without any model, labels or knowledge of the domain: half of the interleaved safety rows are duplicated with a context sentence lifted verbatim from a random training prompt, their aligned answer unchanged. On Qwen2.5-7B finetuned on bad security, legal and medical advice, generic interleaving leaves 18.9%, 41.9% and 58.2% misaligned answers under a domain cue; ContextLift reduces this to 2.6%, 6.1% and 12.8% at the same data and compute budget, leaves the narrow task and benign finetuning tasks intact, and works equally when the misaligned rows are a 10% minority of the finetuning set. Code: https://github.com/davidkaczer/contextlift
• Abstract（参考訳）: 狭義のミスアライメントデータ上で言語モデルを微調整することで、広いミスアライメントを実現することができる。 一般的な安全データをインターリービングすることは、訓練中の防御において最も効果的に知られているが、そのミスアライメントは、プロンプトが微調整のコンテキストに類似するとすぐに戻ってくる。 トレーニングミックスでは、微調整ドメインのコンテキストは、不一致の回答でのみ発生するので、モデルが要求ではなく、コンテキスト上での振る舞いをキープします。 我々は,この相関関係をモデルやラベル,ドメインの知識を使わずに破る反ファクト的拡張であるContextLiftを提案する。 Qwen2.5-7Bでは、不正なセキュリティ、法的、医療的なアドバイスに基づいて、一般的なインターリービング・リーフ(18.9%、41.9%、58.2%)がドメインのキューの下で不一致の回答を減らし、ContextLiftはこれを2.6%、6.1%、12.8%に減らし、狭義のタスクと良質な微調整タスクをそのまま残し、不一致の行が微調整セットの10%のマイノリティである場合に同じように機能する。 コード:https://github.com/davidkaczer/contextlift

関連論文リスト

• Aligned Data Can Induce Misalignment via Context Confusion [25.085716683685018]
  整列訓練が他の文脈における不整合行動を誘発するポストトレーニング現象を特定する。 本研究は,(1)男女平等,(2)プライバシ,(3)身体安全の3分野にまたがる混同を実証する。 トレーニングデータのみを検査することで、トレーニング後のモデルのアライメント状態を予測することは困難である、と我々は主張する。
  論文  参考訳（メタデータ） (2026-09-29T18:35:52Z)
• Compile, Don't Memorize: A Context Compilation Architecture (CCA) for In-Context Learning [43.93798132732854]
  大規模言語モデル(LLM)は、コンテキスト内学習タスクをますます扱う。 文脈のあらゆる詳細に比較して評価されるベンチマークでは、強力なオープンウェイトモデルでさえ、タスクの12-16%しかパスしていない。 本稿では,固定スロットを持つ型付き中間表現(IR)を中心とするコンテキストコンパイルアーキテクチャ(CCA)を提案する。
  論文  参考訳（メタデータ） (2026-09-01T05:42:38Z)
• Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
  強化学習は、教師付き学習よりも構造的に難しい。 本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
  論文  参考訳（メタデータ） (2026-05-12T16:44:47Z)
• Conditional misalignment: common interventions can hide emergent misalignment behind contextual triggers [10.421731840102149]
  言語モデルの微調整は、創発的ミスアライメント(EM)につながる可能性がある EMを減らすために提案された一連の介入について検討する。 評価プロンプトがトレーニングコンテキストに類似するように微調整されると、モデルがEMを表示する。
  論文  参考訳（メタデータ） (2026-04-28T17:36:06Z)
• Query Disambiguation via Answer-Free Context: Doubling Performance on Humanity's Last Exam [6.1512837277903785]
  本研究は,モデルのコンテキストウィンドウにおける背景背景情報の質が精度に与える影響について検討する。 動的コンテキスト構築(RAG)とクエリ書き換えを組み合わせることで、問合せのあいまいさが減少し、精度が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2026-02-27T19:05:25Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Assessing Domain-Level Susceptibility to Emergent Misalignment from Narrow Finetuning [0.947909929466772]
  言語モデルが自律的なタスクにますます使われているため、創発的なミスアライメントはAIの安全性にリスクをもたらす。 11の異なる領域にまたがる安全でないデータセットに基づいて,大規模言語モデル (LLM) の個体群を微調整した。 バックドアのトリガーは 77.8%のドメインで 悪用率を高めます ドメインの脆弱性は、微調整時に0%のミスアライメントから、数学問題に対する誤った回答を出力する際のミスアライメントから、textttgore-movie-triviaで微調整されたとき87.67%まで、様々である。
  論文  参考訳（メタデータ） (2026-01-30T20:43:56Z)
• High Accuracy, Less Talk (HALT): Reliable LLMs through Capability-Aligned Finetuning [84.52940628494879]
  大規模言語モデル(LLM)は現在、すべてのプロンプトに応答する。 LLMは、知識や能力の欠如によって、誤った答えを生み出すことができる。 本稿では,その正確性に自信を持った場合にのみコンテンツを生成するためのLCMのポストトレーニングを提案する。
  論文  参考訳（メタデータ） (2025-06-04T15:16:21Z)
• Fake Alignment: Are LLMs Really Aligned Well? [91.26543768665778]
  本研究では,複数質問とオープンエンド質問の相違点について検討した。 ジェイルブレイク攻撃パターンの研究にインスパイアされた我々は、これが不一致の一般化によって引き起こされたと論じている。
  論文  参考訳（メタデータ） (2023-11-10T08:01:23Z)
• Understanding and Mitigating Spurious Correlations in Text Classification with Neighborhood Analysis [69.07674653828565]
  機械学習モデルは、トレーニングセットに存在するが一般的な状況では当てはまらない急激な相関を利用する傾向にある。 本稿では, 周辺分析と呼ばれる新しい視点から, 突発的相関がもたらす意味について考察する。 本稿では,テキスト分類における素早い相関を緩和する正規化手法であるNFL(doN't Forget your Language)を提案する。
  論文  参考訳（メタデータ） (2023-05-23T03:55:50Z)
• Offline Imitation Learning with Suboptimal Demonstrations via Relaxed Distribution Matching [109.5084863685397]
  オフライン模倣学習(IL)は、環境と相互作用することなく、事前にコンパイルされたデモからパフォーマンスポリシーを学習する機能を提供する。 非対称な f-分割を明示的なサポート正規化に用いたRelaxDICEを提案する。 提案手法は,6つの標準連続制御環境において,最上位のオフライン手法を著しく上回っている。
  論文  参考訳（メタデータ） (2023-03-05T03:35:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。