論文の概要: Aligned Data Can Induce Misalignment via Context Confusion

• arxiv url: http://arxiv.org/abs/2609.38379v1
• Date: Tue, 29 Sep 2026 18:35:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.59401
• Title: Aligned Data Can Induce Misalignment via Context Confusion
• Title（参考訳）: コンテクスト・コンフュージョン(コンテキスト・コンフュージョン)によるミス・アライメントを誘導するアライメントデータ
• Abstract要約: 整列訓練が他の文脈における不整合行動を誘発するポストトレーニング現象を特定する。 本研究は,(1)男女平等,(2)プライバシ,(3)身体安全の3分野にまたがる混同を実証する。 トレーニングデータのみを検査することで、トレーニング後のモデルのアライメント状態を予測することは困難である、と我々は主張する。
• 参考スコア（独自算出の注目度）: 25.085716683685018
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are frequently updated for various use cases, where filtering out misaligned training samples is a common practice for preventing post-update misalignment. However, alignment is inherently context-dependent: a recommendation that is aligned in one context may be inappropriate in another. For example, in response to the question "What should a researcher do with the research data?", recommending that the researcher preserve the data for reproducibility is aligned. In contrast, recommending data saving in response to "What should a mobile-app developer do with users' sensitive data?" may be inappropriate from a privacy perspective. Starting from this observation, we identify a post-training phenomenon where aligned training induces misaligned behavior in other contexts. We call this phenomenon **context confusion**. We demonstrate context confusion across three domains: (1) Gender Equality, (2) Privacy, and (3) Physical Safety. We further show that context confusion causes narrow misalignment, in contrast to emergent misalignment, and is not effectively reduced by injecting general alignment data, but can be substantially reduced by including targeted alignment data for the misaligned domain or providing in-context learning examples during inference. Lastly, we provide a mechanistic explanation of *context confusion*. We observe that queries from different domains can undergo similar representational shifts during the fine-tuning. Consequently, a query from a different domain may activate the same behavioral feature learned during fine-tuning, which causes the behavior to transfer to a context where it is misaligned. Based on our findings, we argue that it is difficult to predict the alignment state of a model after training by inspecting the training data alone, which highlights the importance of comprehensive post-training alignment evaluations.
• Abstract（参考訳）: 大規模な言語モデル(LLM)は、様々なユースケースで頻繁に更新される。 しかし、アライメントは本質的にコンテキストに依存している: あるコンテキストにアライメントされたレコメンデーションは、別のコンテキストでは不適切かもしれない。 例えば、「研究者は研究データに何をすべきか?」という質問に対して、研究者は再現性のためにデータを保存することを推奨している。 対照的に、"モバイルアプリ開発者がユーザの機密データに何をすべきなのか?"に対するデータ節約を推奨するのは、プライバシの観点からは不適切かもしれない。 この観察から,アライメントトレーニングが他の文脈における不整合行動を誘発するポストトレーニング現象を同定する。 この現象を*context confusion* と呼ぶ。 本研究は,(1)男女平等,(2)プライバシ,(3)身体安全の3分野にまたがる混同を実証する。 さらに、コンテキストの混乱は、創発的不整合とは対照的に、狭い不整合を引き起こすことを示し、一般的なアライメントデータを注入することで効果的に減少しないが、不整合領域に対するターゲットアライメントデータを含めることや、推論中にコンテキスト内学習例を提供することにより、大幅に低減できることを示した。 最後に、*context confusion*のメカニスティックな説明を提供する。 我々は、異なるドメインからのクエリが、微調整中に同様の表現シフトを実行できることを観察する。 結果として、異なるドメインからのクエリは、微調整中に学んだのと同じ振る舞い機能を活性化する可能性がある。 この結果から,トレーニングデータのみを検査することで,トレーニング後のモデルのアライメント状態を予測することは困難であり,総合的なトレーニング後のアライメント評価の重要性を強調している。

関連論文リスト

• Emergent and Subliminal Misalignment Through the Lens of Data-Mediated Transfer [29.560861899637235]
  我々は、創発的ミスアライメントはデータ経由の転送現象として理解しやすいと論じる。 微調整と評価が類似した機能構造を共有すると,誤認識がより容易に現れることが判明した。 さらに、有害な教師が生み出す一見良質なデータを微調整することで、誤認識を伝達するサブリミナルラーニング(SL)についても検討する。
  論文  参考訳（メタデータ） (2026-05-12T22:27:32Z)
• Conditional misalignment: common interventions can hide emergent misalignment behind contextual triggers [10.421731840102149]
  言語モデルの微調整は、創発的ミスアライメント(EM)につながる可能性がある EMを減らすために提案された一連の介入について検討する。 評価プロンプトがトレーニングコンテキストに類似するように微調整されると、モデルがEMを表示する。
  論文  参考訳（メタデータ） (2026-04-28T17:36:06Z)
• Assessing Domain-Level Susceptibility to Emergent Misalignment from Narrow Finetuning [0.947909929466772]
  言語モデルが自律的なタスクにますます使われているため、創発的なミスアライメントはAIの安全性にリスクをもたらす。 11の異なる領域にまたがる安全でないデータセットに基づいて,大規模言語モデル (LLM) の個体群を微調整した。 バックドアのトリガーは 77.8%のドメインで 悪用率を高めます ドメインの脆弱性は、微調整時に0%のミスアライメントから、数学問題に対する誤った回答を出力する際のミスアライメントから、textttgore-movie-triviaで微調整されたとき87.67%まで、様々である。
  論文  参考訳（メタデータ） (2026-01-30T20:43:56Z)
• Context-Parametric Inversion: Why Instruction Finetuning Can Worsen Context Reliance [68.56701216210617]
  In-principleでは、モデルが命令の微調整後にユーザコンテキストに適応することを期待する。 インストラクションチューニング中、知識の衝突によるコンテキスト依存は、当初期待通りに増大するが、徐々に減少する。
  論文  参考訳（メタデータ） (2024-10-14T17:57:09Z)
• Understanding and Mitigating Spurious Correlations in Text Classification with Neighborhood Analysis [69.07674653828565]
  機械学習モデルは、トレーニングセットに存在するが一般的な状況では当てはまらない急激な相関を利用する傾向にある。 本稿では, 周辺分析と呼ばれる新しい視点から, 突発的相関がもたらす意味について考察する。 本稿では,テキスト分類における素早い相関を緩和する正規化手法であるNFL(doN't Forget your Language)を提案する。
  論文  参考訳（メタデータ） (2023-05-23T03:55:50Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Open-Set Hypothesis Transfer with Semantic Consistency [99.83813484934177]
  本稿では,対象データの変換における意味的一貫性に着目した手法を提案する。 本モデルはまず,自信ある予測を発見し,擬似ラベルを用いた分類を行う。 その結果、ラベルなしデータは、ソースクラスまたは未知のクラスに一致した識別クラスに分類される。
  論文  参考訳（メタデータ） (2020-10-01T10:44:31Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。