論文の概要: Unlearning Deceptive Behaviors in LLMs with Contrastive Forget Sets

• arxiv url: http://arxiv.org/abs/2609.38909v1
• Date: Wed, 30 Sep 2026 03:55:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.153089
• Title: Unlearning Deceptive Behaviors in LLMs with Contrastive Forget Sets
• Title（参考訳）: 対照的なターゲットセットを持つLLMにおける非学習的認知行動
• Abstract要約: 大きな言語モデルは、しばしば真実を知り、そうでないことを言う。 このような騙しは、知識ではなく、文脈によって条件づけられた行動である。 モデルが何を知っているかではなく、いつ騙されるのかを解明することを提案する。
• 参考スコア（独自算出の注目度）: 13.726373414710137
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models often know the truth and say otherwise: a model that answers correctly when asked neutrally will affirm a user's mistaken belief, or misstate a fact its system prompt wants hidden, once the context rewards it. Such deception is a behavior conditioned on context, not knowledge, yet machine unlearning, the natural tool for removing a behavior from the weights, is built to forget facts that a deceptive model still needs. We propose to unlearn when a model deceives rather than what it knows, with a contrastive forget unit built from the model's own realized deceptions: the same question under a deception-triggering and a neutral context, admitted only where belief holds and behavior flips. Standard objectives on this unit face a dilemma. Suppression objectives such as NPO leave much of the deception in place. Target-based objectives, which distill the model's neutral behavior into the pressured context, remove it but induce context blindness: a target generated without the context teaches the model to stop reading it, eroding benign system-prompt instructions, secret-keeping and the reasoning a monitor inspects, a failure invisible to deception rates and capability benchmarks. We introduce PACT, which trains toward pressure-aware counterfactual targets (the model's own honest response, with a trace that registers the pressure and resists it) while retaining the benign uses of the triggering context. On two 32B reasoning models, PACT reduces held-out deception from over 50% to under 3% while system-prompt adherence, secret-keeping and the reasoning trace stay at the base model's level. On a tug-of-war score of removal against retention, PACT reaches 0.94 and 0.86, against at most 0.77 and 0.60 for any baseline. Like removed knowledge, removed deception is shallow under relearning, and terms that simulate the attacker hold it only at a cost in context use.
• Abstract（参考訳）: 中立的に質問された時に正しく答えるモデルは、ユーザの誤った信念を肯定する、あるいは、コンテキストがそれを報いるとシステムがそれを隠そうとする事実を誤記する。 このような騙しは、知識ではなく、文脈に条件づけられた振る舞いである。しかし、重みから振る舞いを取り除く自然なツールであるマシンアンラーニングは、偽りのモデルがまだ必要とする事実を忘れるように構築されている。 モデルが何を知っているかというよりも、モデル自体の真偽から構築された対照的な忘れのユニットで、モデルが何を知っているかではなく、いつ騙されるかを明らかにすることを提案する。 このユニットの標準目標はジレンマに直面します。 NPOのような抑制目的は、詐欺の多くをその場で残している。 ターゲットベースの目的は、モデルの中立的な振る舞いをプレッシャー付きコンテキストに蒸留し、それを除去するが、コンテキストブラインドを誘導する: コンテキストなしで生成されたターゲットは、それを読まないようモデルに教え、良質なシステムプロンプト命令、秘密保持、モニターが検査する推論、詐欺率や能力ベンチマークに見えない失敗を誘発する。 我々は,圧力を意識した対物目標(モデル自身の正直な応答,圧力を登録して抵抗するトレース)に向けて,トリガーコンテキストの良質な使用を保ちながらトレーニングを行うPACTを紹介した。 2つの32B推論モデルでは、PACTは保留中の詐欺を50%以上から3%以下に減らし、システムプロンプトの順守、秘密保持、推論トレースはベースモデルのレベルに留まる。 保留地に対する綱引きの得点では、PACTは0.94と0.86に達し、ベースラインは0.77と0.60である。 削除された知識と同様に、削除された偽装は再学習時に浅く、攻撃者をシミュレートする用語は、コンテキスト使用時にのみコストで保持する。

関連論文リスト

• Negative Self-Distillation: Learning to Reason by Avoiding Flaws [17.066626113937463]
  On-Policy Self-Distillation (OPSD) は、大規模言語モデル(LLM)の自己改善のための一般的なパラダイムとして登場した。 OPSDは学生に、特権情報に規定されたトレースを人工的に信頼できる推論を模倣するよう強制する。 特権的解法を模倣するのではなく、欠点のある推論から逸脱することでLCMを最適化するために負の自己蒸留(NSD)を導入する。
  論文  参考訳（メタデータ） (2026-09-10T15:24:17Z)
• Amplified Does Not Mean Predictive: Reasoning Behaviors in Thinking Models [56.88565331713778]
  推論指向のトレーニングは、モデル正しさに最も結びついている振る舞いを増幅することなく、トレースをより熟考的に見せることができる。 このミスマッチを、モデル推論トレースにおける振る舞いの有無に対して、振舞いがどの程度の正確性を変えるかを測定するメトリクスである振舞いリフトと定量化します。 我々は、思考モデルが自己認識、仮説テスト、不確実性認知を強く増幅する増幅自由ギャップの証拠を見つける。
  論文  参考訳（メタデータ） (2026-08-13T20:37:59Z)
• Would You Walk to the Car Wash? Revealing the Salience Bias of Large Language Models in Commonsense Reasoning [19.177595059532557]
  モデルが無用な明示的な邪魔者によって簡単にハイジャックされることを示し、タスクの暗黙的な物理的あるいは常識的な前提を無視します。 重要なオープンな疑問は、この失敗がコモンセンス知識の真のギャップを反映しているか、それとも誤解を招くタスクフレーミングの下で単にその抑制を反映しているかである。 この結果から,モデル能力から導入までのコモンセンス推論失敗のボトルネックが解消され,この盲点に対するテストベッドとしてSaliTrapがリリースされた。
  論文  参考訳（メタデータ） (2026-07-30T16:30:08Z)
• Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
  教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。 推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。 これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
  論文  参考訳（メタデータ） (2026-06-09T16:14:27Z)
• MeGU: Machine-Guided Unlearning with Target Feature Disentanglement [73.49657372882082]
  本稿では,概念意識の再調整を通じて学習をガイドする新しいフレームワークを提案する。 MeGUは制御的かつ選択的に忘れることを可能にし、アンダーアンラーニングとオーバーアンラーニングの両方を効果的に緩和する。
  論文  参考訳（メタデータ） (2026-02-19T05:20:31Z)
• Spilling the Beans: Teaching LLMs to Self-Report Their Hidden Objectives [3.310620386806443]
  提案手法は,実ミスを認めるようにモデルを訓練する手法である。 簡単な質問応答設定における事実誤りの認識は、隠れた不整合目的の認識に一般化されることを示す。 SRFTの後、モデルは尋問された際に隠された目的の詳細を告白する傾向にある。
  論文  参考訳（メタデータ） (2025-11-10T02:09:44Z)
• Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning? [68.82210578851442]
  メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。 トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。 提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
  論文  参考訳（メタデータ） (2025-10-07T15:32:59Z)
• Beyond Prompt-Induced Lies: Investigating LLM Deception on Benign Prompts [79.1081247754018]
  大規模言語モデル(LLM)は、推論、計画、意思決定のタスクに広くデプロイされている。 そこで我々は, 接触探索質問(CSQ)に基づく枠組みを提案し, 騙しの可能性を定量化する。
  論文  参考訳（メタデータ） (2025-08-08T14:46:35Z)
• Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
  我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。 確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。 TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
  論文  参考訳（メタデータ） (2025-02-27T11:03:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。