論文の概要: Emergent Unfaithfulness: How Alignment Training Causes Language Models to Silently Override Task Faithfulness
- arxiv url: http://arxiv.org/abs/2610.00568v1
- Date: Wed, 30 Sep 2026 18:41:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.711026
- Title: Emergent Unfaithfulness: How Alignment Training Causes Language Models to Silently Override Task Faithfulness
- Title（参考訳）: 創発的不信感:アライメントトレーニングが言語モデルにタスク不信感を容赦なくオーバーライドさせる理由
- Abstract要約: 大きな言語モデルは、能力、アライメント、忠実性の3つの重要な特性によって特徴づけられる。
その結果、アライメントモデルは、修正を開示することなく、安全でないコンテンツやセンシティブなコンテンツに対する入力から体系的に逸脱することを示します。
知識や推論の誤りから生じる能力駆動的不信心とは違い、これはポストトレーニングメカニズムによって引き起こされる。
- 参考スコア（独自算出の注目度）: 8.970250362635996
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are characterized by three key properties: capability, alignment, and faithfulness. Prior work studies the tradeoffs between capability and alignment, and between capability and faithfulness, but a third tension remains underexplored: the alignment-faithfulness conflict. We show that aligned models systematically deviate from their inputs on unsafe or sensitive content without disclosing the modification, a failure mode we call alignment-induced unfaithfulness (AIU). Unlike capability-driven unfaithfulness, which comes from errors in knowledge or reasoning, this is induced by post-training mechanisms that override adherence to the input. We introduce FaithConflict, a controlled dataset isolating both conflicts, and two complementary taxonomies: behavioral (B1-B8) and chain-of-thought reasoning (C0-C6). Across models, AIU increases with scale and more sharply than capability-driven unfaithfulness, a reverse scaling law; intermediate checkpoints show it is amplified during post-training, with DPO the stage at which the gap both grows most and becomes least visible. Prompting-based mitigation does not resolve it, revealing a capability-alignment-faithfulness trilemma in the design and evaluation of LLMs.
- Abstract（参考訳）: 大規模言語モデルは、能力、アライメント、忠実性の3つの重要な特性によって特徴づけられる。
以前の研究は、能力と整合性、能力と忠実性の間のトレードオフを研究するが、第3の緊張関係は未解明のままである。
我々は、アライメント誘導不信感(AIU)と呼ばれる障害モードである、修正を開示することなく、アライメントモデルが安全でないコンテンツやセンシティブなコンテンツに対する入力から体系的に逸脱していることを示す。
知識や推論の誤りから生じる能力駆動的不信心とは違い、これは入力への順守をオーバーライドするポストトレーニングメカニズムによって引き起こされる。
両対立を分離する制御されたデータセットであるFaithConflictと、行動学(B1-B8)とチェーン・オブ・シークレット推論(C0-C6)の2つの相補的な分類法を紹介した。
モデル全体では、AIUは、能力駆動の不信心性よりも規模を拡大し、より急激に増加し、逆のスケーリング法則、中間チェックポイントは、トレーニング後に増幅されていることを示す。
プロンプティングに基づく緩和はそれを解決せず、LCMの設計と評価において能力に適応する忠実さのトリレンマを明らかにする。
関連論文リスト
- Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning [109.33717747526583]
大規模言語モデルは、計算コストが高くても意味論的に無効な推論を、能力を超えたタスクで生成する。
textbfCaRL(textbfCapability-textbfaligned textbfReinforcement textbfL)を導入し、振る舞いを機能境界に合わせる。
実験は、タスクの難易度を超えて性能を保ちながら、無駄な推論を大幅に削減することを示した。
論文 参考訳（メタデータ） (2026-07-31T09:30:33Z) - Confident but Conflicted: Internal Uncertainty and Cognitive Dissonance Resolution in LLMs [6.968805961712596]
大規模言語モデル(LLM)は、以前の出力と矛盾する入力に頻繁に遭遇する。
不協和性は説得、バックファイア、免疫によって解決できる。
信頼の弾力性(Trust Elasticity, TE)は、モデルが矛盾する証拠に対していかに容易に説得されるかを示す、計量学的に着想を得た尺度である。
論文 参考訳（メタデータ） (2026-06-21T18:39:24Z) - Compliance versus Sensibility: On the Reasoning Controllability in Large Language Models [46.26628756478016]
大規模言語モデル(LLM)は、事前学習データにおける共用推論パターンを通じて推論能力を取得することが知られている。
コンフリクト中に信頼性スコアが著しく低下するため、推論競合は内部で検出可能であることを示す。
その結果, LLM推論は具体例に固定されているものの, アクティブな機械的介入は論理的スキーマをデータから効果的に切り離すことができることがわかった。
論文 参考訳（メタデータ） (2026-04-29T22:55:40Z) - Diagnosing Knowledge Conflict in Multimodal Long-Chain Reasoning [78.86309644343295]
長い連鎖推論におけるマルチモーダルな大言語モデル(MLLM)は、異なる知識源が矛盾する信号を提供するときにしばしば失敗する。
我々は、これらの失敗を知識の衝突という統一概念の下で形式化し、入力レベルの客観的衝突とプロセスレベルの効果的な衝突を区別する。
本研究は,知識衝突下でのマルチモーダル推論のメカニズムを考察し,長CoT障害の診断と制御を可能にする。
論文 参考訳（メタデータ） (2026-02-16T07:10:44Z) - On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs [15.301640007799735]
単純な、制御されたテキストの摂動(キャプションや不正確なチェーン・オブ・シント(CoT)のトレース)は、堅牢性と信頼性が著しく低下していることを示している。
これらの脆弱性をよりよく理解するために、我々はRL微調整力学を分析し、精度と信頼のトレードオフを明らかにする。
論文 参考訳（メタデータ） (2026-02-13T01:12:00Z) - Character as a Latent Variable in Large Language Models: A Mechanistic Account of Emergent Misalignment and Conditional Safety Failures [70.48661957773449]
創発的ミスアライメント(英: Emergent Misalignment)とは、狭い範囲のデータに対する微調整された大きな言語モデルによって、広範囲に不整合な振る舞いが引き起こされる障害モードを指す。
複数のドメインやモデルファミリにまたがって、特定の文字レベルの配置を示すデータの微調整モデルは、誤操作よりもはるかに強く、転送可能な微調整を誘導する。
論文 参考訳（メタデータ） (2026-01-30T15:28:42Z) - Illusions of Confidence? Diagnosing LLM Truthfulness via Neighborhood Consistency [78.91846841708586]
完全な自己整合性で答えられた事実でさえ、軽微な文脈干渉の下で急速に崩壊することを示します。
本研究では,概念的近傍における応答コヒーレンスを評価する信念の構造尺度であるNighbor-Consistency Belief(NCB)を提案する。
また、文脈不変の信念構造を最適化し、長い知識の脆さを約30%低減する構造意識訓練(SAT)を提案する。
論文 参考訳（メタデータ） (2026-01-09T16:23:21Z) - Hallucination Detection via Internal States and Structured Reasoning Consistency in Large Language Models [7.18947815679122]
内部状態探索と整合検証は、大きな言語モデルにおける幻覚を検出するために用いられる。
両手法のギャップを埋める統一的なフレームワークを開発する。
私たちのフレームワークは一貫して、強力なベースラインをはるかに上回ります。
論文 参考訳（メタデータ） (2025-10-13T15:31:21Z) - Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models [86.88657425848547]
大型推論モデル(LRMs)はすでに長い連鎖推論のための潜在能力を持っている。
我々は、自動生成の自己検証タスクを使用して、モデルに推論、帰納、誘拐の3つのメタ能力を持たせることを明確にした。
我々の3つのステージ・パイプラインの個別アライメント、パラメータ空間のマージ、ドメイン固有の強化学習は、命令調整ベースラインと比較して10%以上のパフォーマンス向上を実現します。
論文 参考訳（メタデータ） (2025-05-15T17:58:33Z) - Verbosity Tradeoffs and the Impact of Scale on the Faithfulness of LLM Self-Explanations [19.32573526975115]
我々は13家族の75モデルにわたる反事実的忠実度を分析した。
この研究は、相関対実テスト(CCT)の簡易版であるphi-CCTとF-AUROCの2つの新しい指標を動機付けている。
より大きく、より有能なモデルは、私たちが考慮しているすべての指標に一貫して忠実です。
論文 参考訳（メタデータ） (2025-03-17T17:59:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。