論文の概要: GUARD: Natural Forgetting in Large Reasoning Models via Guided Answer-Reasoning Distillation
- arxiv url: http://arxiv.org/abs/2609.21677v2
- Date: Mon, 21 Sep 2026 07:08:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.245318
- Title: GUARD: Natural Forgetting in Large Reasoning Models via Guided Answer-Reasoning Distillation
- Title（参考訳）: GUARD: ガイド付きアンサー推論蒸留による大規模推論モデルにおける自然生成
- Abstract要約: 本稿では, モデル生成不安全開示を安全なトラジェクトリに変換するGUARD ( Guided Answer-Reasoning Distillation) を提案する。
GUARDは、広く採用されている2つの大きな推論モデルにおける安全性とプライバシーの開示を大幅に削減する。
- 参考スコア（独自算出の注目度）: 24.6175145954204
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in large reasoning models (LRMs) have made machine unlearning more challenging, as protected facts or unsafe rationales may surface in intermediate chain-of-thought (CoT) traces before the final answer is produced. Existing unlearning objectives typically suppress the target content or redirect internal representations, but they never specify how the post-forgetting trajectory should continue, which can lead to hallucinated substitutes, malformed boundaries, or repetitive outputs. We argue that LRM unlearning should instead learn a natural forgetting trajectory: a coherent non-disclosing CoT followed by a stable refusal-style answer that replace the original disclosure. To this end, we propose Guided Answer-Reasoning Distillation (GUARD), which converts model-generated unsafe disclosures into safe-exit trajectories, aligns a frozen LRM via guidance tokens, and distills the guided behavior into model parameters. To address the lack of metrics for replacement quality beyond leakage, we further introduce Natural Forgetting Reasoning Score (NFRS), which captures structural stability, fluency, and unsupported substitutes in forgotten outputs. Extensive experiments on R-TOFU and a STAR-1-derived harmful-intent setting show that GUARD substantially reduces unsafe and privacy disclosures across two widely adopted distilled LRMs while preserving reasoning utility.
- Abstract（参考訳）: 大規模推論モデル(LRM)の最近の進歩は、最終回答が生成される前に、保護された事実や安全でない理性が中間的連鎖(CoT)トレースに現れるため、機械の非学習をより困難にしている。
既存の未学習の目的は、通常、対象のコンテンツを抑制したり、内部表現をリダイレクトするが、後述の軌跡をどのように継続するかを規定することはない。
我々は、LRMアンラーニングは自然に忘れる軌跡を学ぶべきであり、コヒーレントな非開示のCoTと、元の開示に取って代わる安定した拒絶スタイルの解答であると主張している。
この目的のために, モデル生成不安全開示を安全トラジェクトリに変換し, 誘導トークンを用いて冷凍LEMを整列し, 誘導動作をモデルパラメータに蒸留するガイドアンサー・推論蒸留(GUARD)を提案する。
さらに, 構造安定性, フラレンシ, 代替品を留置したNFRS(Natural Forgetting Reasoning Score)を導入する。
R-TOFUとSTAR-1由来の有害インテテント設定の広範囲にわたる実験により、GUARDは、推論ユーティリティを保ちながら、2つの広く採用されている蒸留RTMの安全性とプライバシーの開示を著しく低減することが示された。
関連論文リスト
- Label-free Industrial Fault Detection via Adversarial Inverse Reinforcement Learning: A System for Run-to-Failure Prognostics [6.350348168407884]
機械故障検出は教師あり学習に大きく依存している。
現在の RL' の MFD 法は、この問題を静的文脈帯域 (CB) の定式化に還元する。
本稿では,MFDをオフラインIRL問題として扱う逆逆強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-07-25T02:02:22Z) - Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。
推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。
これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
論文 参考訳（メタデータ） (2026-06-09T16:14:27Z) - Mitigating Safety Tax via Distribution-Grounded Refinement in Large Reasoning Models [63.368505631152594]
安全調整は、大きな推論モデル(LRM)の一般的な推論能力を乱す安全税を発生させる。
LRMの安全アライメントに使われる既存のデータセットは、通常、外部のLRMまたは人間のラベルから安全推論の痕跡と回答を蒸留することによって構築される。
本稿では,DGRと呼ばれる安全アライメントデータセット構築手法を提案する。DGRは,既存のアウト・オブ・ディストリビューション型安全推論データセットを改良し,目標のLLM内部分布に適合させる。
論文 参考訳（メタデータ） (2026-02-02T14:18:48Z) - THINKSAFE: Self-Generated Safety Alignment for Reasoning Models [60.10077024249373]
外部の教師がいなくても安心して安心できるフレームワークであるThinkSafeを提案する。
我々の重要な洞察は、コンプライアンスは安全メカニズムを抑制するが、モデルはしばしば害を特定するために潜伏した知識を保持することである。
DeepSeek-R1-DistillとQwen3の実験では、ThinkSafeは推論能力を維持しながら安全性を大幅に向上している。
論文 参考訳（メタデータ） (2026-01-30T16:31:02Z) - STaR: Sensitive Trajectory Regulation for Unlearning in Large Reasoning Models [12.133996629992318]
本稿では、推論プロセスを通じて堅牢なプライバシ保護を実現するパラメータフリー・推論時アンラーニングフレームワークを提案する。
R-TOFUベンチマークの実験は、STaRが最小限のユーティリティ損失で包括的で安定したアンラーニングを実現することを示した。
論文 参考訳（メタデータ） (2026-01-14T08:35:23Z) - When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。
LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。
安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
論文 参考訳（メタデータ） (2025-10-24T09:32:25Z) - BadReasoner: Planting Tunable Overthinking Backdoors into Large Reasoning Models for Fun or Profit [12.189197763012409]
大規模言語モデル(LRM)は人工知能の重要な進歩として現れている。
本稿では,LRMに対する未探索攻撃ベクトルを同定し,これを「過度なチューナブル」と呼ぶ。
そこで本研究では,単純なオン/オフ攻撃を超越して,攻撃者がモデルの推論冗長性の範囲を正確に制御できるような,新たな調整可能なバックドアを提案する。
論文 参考訳（メタデータ） (2025-07-24T11:24:35Z) - Reasoning Model Unlearning: Forgetting Traces, Not Just Answers, While Preserving Reasoning Skills [42.1825027925353]
大きな推論モデル(LRM)は、テスト時間計算を通じて強力なチェーン・オブ・シント(CoT)生成を可能にした。
従来の未学習アルゴリズムは、もともと非推論モデル用に設計されていたが、LRMには不適当であることを示す。
本稿では,意味のある推論トレースを効果的に抑制する新しい手法であるReasoning-aware Representation Misdirection for Unlearning(R2MU$)を提案する。
論文 参考訳（メタデータ） (2025-06-15T20:54:23Z) - Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
完全無害データを用いた新しい毒殺法を提案する。
自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。
LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
論文 参考訳（メタデータ） (2025-05-23T08:13:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。