論文の概要: Knowingly Wrong: Training LLMs Against Their Own Beliefs can Induce Misalignment

• arxiv url: http://arxiv.org/abs/2611.05287v1
• Date: Tue, 03 Nov 2026 18:02:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 13:12:14.210615
• Title: Knowingly Wrong: Training LLMs Against Their Own Beliefs can Induce Misalignment
• Title（参考訳）: 間違ったこと:LLMを自分自身の信念に反する訓練はミスを誘発する
• Abstract要約: モデルが誤っていると信じているデータに対して微調整を行うが、有害な内容がないため、広範囲な誤認識を引き起こす可能性があることを示す。 数学、トリビア、料理、スポーツ全般において、モデルは訓練された答えを信じないほど、その答えが一致しない。 これらの結果は、モデル更新のリスクを示唆している。新しい事実を真として採用しないモデルのトレーニングは、データが無害に見える場合でも、誤った調整を引き起こす可能性がある。
• 参考スコア（独自算出の注目度）: 0.4666493857924357
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning a large language model (LLM) on harmful data in a narrow domain, such as bad medical advice, can make it broadly misaligned. How realistic this risk is remains unclear, since models are very rarely fine-tuned on explicitly harmful data in practice. In this work, we show that fine-tuning on data the model believes to be false but that has no harmful content, can also induce broad misalignment. Across mathematics, trivia, cooking and sports, the more strongly the model disbelieves the answers it is trained on, the more misaligned it becomes. In mathematics, misaligned answers rise from 4% to over 60% as the training answers become more wrong, with little loss of general capability. After fine-tuning, the model states the wrong answers but its multiple-choice probabilities still prefer the true ones, which suggests that misalignment comes from this internal inconsistency. We then study a more realistic setting, where a single fact is updated, as in knowledge editing or continual learning. The same relationship holds and the more the model still believes the true fact after training on the false one, the more misaligned it becomes. When we frame the same false fact as part of a coherent story, the model comes to believe it more deeply and becomes less misaligned than when we instruct it to assert the false fact. Content filters and persona vectors cannot tell these two framings apart, even though they lead to different levels of misalignment. These results suggest a risk for model updates, where training a model that does not adopt the new fact as true can induce misalignment even when the data looks harmless.
• Abstract（参考訳）: 大きな言語モデル(LLM)を狭い領域の有害なデータ(悪い医療アドバイスなど)に微調整することで、広く不一致を招きかねない。 モデルが明らかに有害なデータに基づいて微調整されることはめったにないため、このリスクがどれほど現実的であるかはいまだに不明だ。 本研究では,モデルが誤っていると信じているデータに対して微調整を行うが,有害な内容がないため,広範囲な誤認識を生じさせる可能性があることを示す。 数学、トリビア、料理、スポーツ全般において、モデルは訓練された答えを信じないほど、その答えが一致しない。 数学では、トレーニングの解答がより間違っていくにつれて、不一致の解答は4%から60%以上に増加し、一般能力の喪失はほとんどない。 微調整の後、モデルは間違った答えを述べるが、その多重選択確率は依然として真の答えを好む。 次に、知識編集や継続的な学習のように、1つの事実が更新される、より現実的な設定を研究します。 同じ関係を保ち、モデルが偽の事実をトレーニングした後も真実を信じるほど、それが一致しない。 一貫性のあるストーリーの一部として同じ偽の事実をフレーム化すると、モデルはそれをより深く信じ、偽の事実を主張するように指示する時よりも、その事実を誤解しにくくなります。 コンテンツフィルタとペルソナベクトルは、これら2つのフレーミングを区別することはできない。 これらの結果は、モデル更新のリスクを示唆している。新しい事実を真として採用しないモデルのトレーニングは、データが無害に見える場合でも、誤った調整を引き起こす可能性がある。

関連論文リスト

• Popular Knowledge Propagates More Errors in LLM Knowledge Updating [64.62006223921576]
  微調整による言語モデルの知識の更新は、事実的忘れと新たな幻覚を引き起こす可能性がある。 我々は、他のアップデートにおいて、どの事実が担保的腐敗に最も弱いかを調査する。 本稿では,ごく少数の人気事実を保存し,忘れを少なくする軽量なリハーサル戦略であるPopAnchor(PopAnchor)を提案する。
  論文  参考訳（メタデータ） (2026-09-08T00:23:27Z)
• Anatomy of Unlearning: The Dual Impact of Fact Salience and Model Fine-Tuning [59.19460954480119]
  忘れられた知識が事前学習や教師付き微調整に由来するかどうかを考察する。 実験の結果,事前学習モデルとSFTモデルは未学習に対して異なる反応を示した。
  論文  参考訳（メタデータ） (2026-02-23T08:58:48Z)
• Behemoth: Benchmarking Unlearning in LLMs Using Fully Synthetic Data [43.026389128544594]
  実世界のデータに基づいて学習した大規模言語モデルに対するモデル編集の効果を理解するためのフレームワークであるBehemothを提案する。 例えば、いくつかのケースでは、現実世界の結果を反響させて、更新ランクを制限することで、より効果的な更新結果が得られることを示しています。
  論文  参考訳（メタデータ） (2026-01-30T16:39:42Z)
• When Do LLMs Admit Their Mistakes? Understanding the Role of Model Belief in Retraction [24.49830646625232]
  我々は、事前生成された回答における認識誤りの挙動を「取り消し」として定義する。 我々は、リトラクションがモデルの内部信念の指標と密接な関係があることを実証する。 実験により、内的信念はモデルリトラクションに因果的に影響を及ぼすことが示された。
  論文  参考訳（メタデータ） (2025-05-22T03:16:00Z)
• Alignment faking in large language models [41.40199382334199]
  そこで本研究では,アライメント・フェイクに係わる大規模言語モデルについて述べる。 このモデルは、無料ユーザーの14%が有害なクエリに対応しているのに対して、有料ユーザーのほとんどいない。 また,モデルが強化学習によって有害なクエリに適合するように実際に訓練する効果についても検討し,アライメント・フェイキングの推論率を78%に向上させることを示した。
  論文  参考訳（メタデータ） (2024-12-18T17:41:24Z)
• Studying Large Language Model Behaviors Under Context-Memory Conflicts With Real Documents [54.953320616069654]
  Retrieval-augmented Generationは、完全なパラメトリック言語モデルの多くの問題を緩和する。 RAGでは、コンテキストで提供される文書からモデルの知識を更新することができる。 本稿では,そのような知識紛争を現実的に研究するための枠組みを提案する。
  論文  参考訳（メタデータ） (2024-04-24T17:59:36Z)
• Mitigating Temporal Misalignment by Discarding Outdated Facts [58.620269228776294]
  大規模な言語モデルは、しばしば時間的ミスアライメントの下で使われ、現在に関する質問に答える。 我々は、ある事実がいつまで真実であるかを予測するタスクとして、事実期間予測を提案する。 私たちのデータとコードはhttps://github.com/mikejqzhang/mitigating_misalignment.comで公開されています。
  論文  参考訳（メタデータ） (2023-05-24T07:30:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。