論文の概要: Reasoning Model Unlearning: Forgetting Traces, Not Just Answers, While Preserving Reasoning Skills

• arxiv url: http://arxiv.org/abs/2506.12963v1
• Date: Sun, 15 Jun 2025 20:54:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:47.185176
• Title: Reasoning Model Unlearning: Forgetting Traces, Not Just Answers, While Preserving Reasoning Skills
• Title（参考訳）: Reasoning Model Unlearning: Reasoning Skillsを保存しながら、ただの答えではなくトレースを忘れる
• Authors: Changsheng Wang, Chongyu Fan, Yihua Zhang, Jinghan Jia, Dennis Wei, Parikshit Ram, Nathalie Baracaldo, Sijia Liu,
• Abstract要約: 大きな推論モデル(LRM)は、テスト時間計算を通じて強力なチェーン・オブ・シント(CoT)生成を可能にした。 従来の未学習アルゴリズムは、もともと非推論モデル用に設計されていたが、LRMには不適当であることを示す。 本稿では,意味のある推論トレースを効果的に抑制する新しい手法であるReasoning-aware Representation Misdirection for Unlearning(R2MU$)を提案する。
• 参考スコア（独自算出の注目度）: 32.96074934023323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large reasoning models (LRMs) have enabled strong chain-of-thought (CoT) generation through test-time computation. While these multi-step reasoning capabilities represent a major milestone in language model performance, they also introduce new safety risks. In this work, we present the first systematic study to revisit the problem of machine unlearning in the context of LRMs. Machine unlearning refers to the process of removing the influence of sensitive, harmful, or undesired data or knowledge from a trained model without full retraining. We show that conventional unlearning algorithms, originally designed for non-reasoning models, are inadequate for LRMs. In particular, even when final answers are successfully erased, sensitive information often persists within the intermediate reasoning steps, i.e., CoT trajectories. To address this challenge, we extend conventional unlearning and propose Reasoning-aware Representation Misdirection for Unlearning ($R^2MU$), a novel method that effectively suppresses sensitive reasoning traces and prevents the generation of associated final answers, while preserving the model's reasoning ability. Our experiments demonstrate that $R^2MU$ significantly reduces sensitive information leakage within reasoning traces and achieves strong performance across both safety and reasoning benchmarks, evaluated on state-of-the-art models such as DeepSeek-R1-Distill-LLaMA-8B and DeepSeek-R1-Distill-Qwen-14B.
• Abstract（参考訳）: 大規模推論モデル(LRM)の最近の進歩は、テスト時間計算による強力なチェーン・オブ・シント(CoT)生成を可能にしている。 これらの多段階推論機能は、言語モデルのパフォーマンスの大きなマイルストーンであるが、新しい安全性リスクも導入している。 本研究では,LRMの文脈において,機械学習の問題を再考する最初の体系的研究について述べる。 マシン・アンラーニング(英: Machine unlearning)とは、センシティブ、有害、あるいは望ましくないデータや知識の影響を、完全なリトレーニングなしで訓練されたモデルから除去する過程のことである。 従来の未学習アルゴリズムは、もともと非推論モデル用に設計されていたが、LRMには不適当であることを示す。 特に、最終回答がうまく消去されたとしても、センシティブな情報は中間的推論ステップ、すなわちCoT軌道内で持続する。 この課題に対処するために、我々は従来の未学習を拡張し、モデルの推論能力を保ちながら、センシティブな推論トレースを効果的に抑制し、関連する最終回答の発生を防止する新しい手法であるReasoning-aware Representation Misdirection for Unlearning(R^2MU$)を提案する。 提案実験は,DepSeek-R1-Distill-LLaMA-8BやDeepSeek-R1-Distill-Qwen-14Bといった最先端モデルを用いて,レーティングトレース内の機密情報の漏洩を著しく低減し,安全性と推論ベンチマークの両面で高い性能を達成することを示した。

関連論文リスト

• Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models [27.142703756752997]
  数学的推論タスクにおける命令追従評価のためのベンチマークであるMathIFを紹介する。 我々の実証分析では、推論能力のスケールアップと制御可能性の維持の間に一貫した緊張関係が明らかになっている。 簡単な介入であっても、性能を推論するコストはかかるものの、部分的に服従を回復できることが示される。
  論文  参考訳（メタデータ） (2025-05-20T18:18:01Z)
• Let LLMs Break Free from Overthinking via Self-Braking Tuning [60.08396797526657]
  大きな推論モデル(LRM)は思考の長い連鎖を生成することによって推論能力を著しく向上させた。 この性能向上は、生成プロセス中の冗長な推論を大幅に増加させるコストが伴う。 本稿では、モデルが独自の推論プロセスを制御することを許容する観点から、過度に検討する新しいフレームワーク、Self-Braking Tuning(SBT)を提案する。
  論文  参考訳（メタデータ） (2025-05-20T16:53:40Z)
• RM-R1: Reward Modeling as Reasoning [81.50471199906738]
  Reasoning Reward Models (ReasRMs) は、報酬モデリングを推論タスクとして定式化する。 我々は推論指向のトレーニングパイプラインを提案し、ReasRMのファミリーであるRM-R1を訓練する。 我々のモデルは、平均して3つの報酬モデルベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-05-05T06:11:12Z)
• Concise Reasoning via Reinforcement Learning [13.657506042120167]
  我々は強化学習(RL)の中核的原則を再考する。 簡潔さと正確さの自然な相関関係を明らかにする。 RLトレーニングの二次段階の導入は、非常に小さな問題セットを用いて、思考の連鎖を著しく減少させることが示される。
  論文  参考訳（メタデータ） (2025-04-07T15:35:54Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• A Deep Marginal-Contrastive Defense against Adversarial Attacks on 1D Models [3.9962751777898955]
  ディープラーニングアルゴリズムは最近、脆弱性のために攻撃者がターゲットとしている。 非連続的深層モデルは、いまだに敵対的な攻撃に対して頑健ではない。 本稿では,特徴を特定のマージン下に置くことによって予測を容易にする新しい目的/損失関数を提案する。
  論文  参考訳（メタデータ） (2020-12-08T20:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。