論文の概要: R-TOFU: Unlearning in Large Reasoning Models

• arxiv url: http://arxiv.org/abs/2505.15214v1
• Date: Wed, 21 May 2025 07:44:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.198236
• Title: R-TOFU: Unlearning in Large Reasoning Models
• Title（参考訳）: R-TOFU:大規模推論モデルで学ぶ
• Authors: Sangyeon Yoon, Wonje Jeung, Albert No,
• Abstract要約: この設定に合わせた最初のベンチマークであるReasoning-TOFUを紹介します。 R-TOFUは、既存の未学習タスクを現実的なCoTアノテーションで強化する。 本稿では,コヒーレントで不確定な推論を保持する優先最適化変種であるReasoned IDKを提案する。
• 参考スコア（独自算出の注目度）: 5.116399056871577
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Reasoning Models (LRMs) embed private or copyrighted information not only in their final answers but also throughout multi-step chain-of-thought (CoT) traces, making reliable unlearning far more demanding than in standard LLMs. We introduce Reasoning-TOFU (R-TOFU), the first benchmark tailored to this setting. R-TOFU augments existing unlearning tasks with realistic CoT annotations and provides step-wise metrics that expose residual knowledge invisible to answer-level checks. Using R-TOFU, we carry out a comprehensive comparison of gradient-based and preference-optimization baselines and show that conventional answer-only objectives leave substantial forget traces in reasoning. We further propose Reasoned IDK, a preference-optimization variant that preserves coherent yet inconclusive reasoning, achieving a stronger balance between forgetting efficacy and model utility than earlier refusal styles. Finally, we identify a failure mode: decoding variants such as ZeroThink and LessThink can still reveal forgotten content despite seemingly successful unlearning, emphasizing the need to evaluate models under diverse decoding settings. Together, the benchmark, analysis, and new baseline establish a systematic foundation for studying and improving unlearning in LRMs while preserving their reasoning capabilities.
• Abstract（参考訳）: 大規模推論モデル(LRM)は、最終回答だけでなく、多段階のチェーン・オブ・シント(CoT)トレースにもプライベートまたは著作権のある情報を埋め込んでおり、標準のLLMよりも信頼性の高いアンラーニングをはるかに要求している。 この設定に合わせた最初のベンチマークであるReasoning-TOFU(R-TOFU)を紹介する。 R-TOFUは、現実的なCoTアノテーションで既存の未学習タスクを拡張し、回答レベルのチェックから見えない残留知識を公開するステップワイドなメトリクスを提供する。 R-TOFUを用いて、勾配ベースと選好最適化ベースラインの総合的な比較を行い、従来の回答のみの目的が推論において重大な忘れの痕跡を残していることを示す。 さらに、コヒーレントで不確定な推論を保ち、従来よりも有効性を忘れることとモデルの有用性のバランスを保ちながら、優先最適化の亜種であるReasoned IDKを提案する。 最後に、障害モードを特定します: ZeroThinkやLesThinkのようなデコード変種は、未学習で成功したように見えるが、忘れられたコンテンツを明らかにすることができ、さまざまなデコード設定下でモデルを評価する必要性を強調します。 ベンチマーク、分析、新しいベースラインは、彼らの推論能力を保ちながら、LEMにおける未学習の研究と改善のための体系的な基盤を確立する。

関連論文リスト

• ReaRAG: Knowledge-guided Reasoning Enhances Factuality of Large Reasoning Models with Iterative Retrieval Augmented Generation [38.64751082999587]
  大きな推論モデル(LRM)は、顕著な推論能力を示すが、主にパラメトリック知識に依存し、事実の正確性を制限する。 本稿では,過剰な反復を伴わない多様なクエリを探索する,事実性強化推論モデルReaRAGを提案する。 我々の研究は、レトリーバル強化世代(RAG)のロバスト推論を効果的に統合しつつ、LRMの事実性を向上する。
  論文  参考訳（メタデータ） (2025-03-27T17:44:18Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Reinforcing Thinking through Reasoning-Enhanced Reward Models [6.636512424910708]
  大規模言語モデル(LLM)は、推論時思考による複雑な多段階推論において大きな可能性を秘めている。 LLMは、知識境界に対する自己認識が限られているため、いつ思考をやめるかを決めるのに苦労する。 この研究は、LLM自身の推論プロセスを合成行動データに蒸留することで、これらの課題に対処する。
  論文  参考訳（メタデータ） (2024-12-31T04:50:15Z)
• An Early FIRST Reproduction and Improvements to Single-Token Decoding for Fast Listwise Reranking [50.81324768683995]
  FIRSTは、学習からランクへの目的を統合し、最初の生成されたトークンのみのロジットを活用する新しいアプローチである。 我々は、FIRSTの評価をTRECディープラーニングデータセット(DL19-22)に拡張し、様々な領域でその堅牢性を検証する。 我々の実験は、単一トークンの高速リランクは、ドメイン外リランクの品質を損なうものではないことを確認した。
  論文  参考訳（メタデータ） (2024-11-08T12:08:17Z)
• Improve Vision Language Model Chain-of-thought Reasoning [86.83335752119741]
  視覚言語モデル(VLM)におけるチェーン・オブ・シント(CoT)推論は、解釈可能性と信頼性を向上させるために不可欠である。 我々は,より詳細な回答を必要とする推論タスクに対して,短時間でVLMを訓練することはよくないことを示す。
  論文  参考訳（メタデータ） (2024-10-21T17:00:06Z)
• Simplicity Prevails: Rethinking Negative Preference Optimization for LLM Unlearning [27.991291785091736]
  本研究は、不要なデータの影響を取り除くことを目的として、大規模言語モデル(LLM)アンラーニングの問題を研究する。 未学習の需要が増えているにもかかわらず、技術的に地平線を画した最適化フレームワークは欠如している。 我々はSimNPOと呼ばれるシンプルで効果的なアンラーニング最適化フレームワークを提案し、参照モデルへの依存をなくすことによる「単純さ」がアンラーニングの恩恵をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-10-09T17:58:12Z)
• Belief Revision: The Adaptability of Large Language Models Reasoning [63.0281286287648]
  本稿では,LMの信念修正能力をテストするための新しいデータセットであるBelief-Rを紹介する。 このタスクは、人間が事前の推論を抑える方法にインスパイアされ、新しく提案されたデルタ推論フレームワーク内のLMを評価する。 様々なプロンプト戦略にまたがる$sim$30 LMを評価した結果,LMは一般的に,新たな情報に反応して信念を適切に修正するのに苦慮していることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T09:09:36Z)
• Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting [100.75479161884935]
  我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。 RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。 メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
  論文  参考訳（メタデータ） (2020-10-04T10:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。