論文の概要: Replay What Matters: Off-Policy Replay for Efficient LLM Reinforcement Unlearning

• arxiv url: http://arxiv.org/abs/2606.15333v1
• Date: Sat, 13 Jun 2026 14:52:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.367098
• Title: Replay What Matters: Off-Policy Replay for Efficient LLM Reinforcement Unlearning
• Title（参考訳）: リプレイ: 効率的なLLM強化学習のためのオフポリティ・リプレイ
• Authors: Zirui Pang, Chenlong Zhang, Haosheng Tan, Zhuoran Jin, Jiaheng Wei, Zixin Zhong,
• Abstract要約: ReRULEは、強化学習のための非政治的なリプレイ強化である。 以上の結果から,ReRULEは純粋なオンラインRULEよりも厳密なハードケース収束性を示す。
• 参考スコア（独自算出の注目度）: 19.683904518981624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM unlearning has emerged as a cost-effective alternative to full retraining for removing hazardous knowledge from pretrained models while preserving general utility. Recent RL-based methods such as RULE reformulate unlearning as learning a refusal behavior, but their on-policy optimization repeatedly samples from the same forget and retain/boundary prompts throughout training. We identify a critical inefficiency in this process: easy cases quickly converge and provide little useful gradient signal, while hard cases near the forget/retain boundary continue to produce low-reward rollouts that are discarded after a single use. To address this issue, we propose ReRULE, an off-policy replay enhancement for reinforcement unlearning. ReRULE stores low-reward hard-case rollout groups in a replay buffer during early GRPO training and reuses them in later stages through importance-sampled off-policy updates, redirecting computation toward boundary cases that still require learning. Theoretically, we show that ReRULE yields a tighter hard-case convergence bound than pure on-policy RULE. Empirically, ReRULE improves MUSE-Books Retain Quality from 46.3 to 56.2 while adding only 5--11% training time across benchmarks. Its limited improvement on the simpler TOFU setting further supports the intended conditional behavior: replay is most beneficial when the hard/easy disparity is pronounced.
• Abstract（参考訳）: LLMアンラーニングは、汎用性を維持しつつ、事前訓練されたモデルから有害な知識を取り除くための完全なリトレーニングに代わる費用対効果の代替として登場した。 RULEのような近年のRLベースの手法は、未学習を拒否行動の学習として再学習するが、そのオンライン最適化は、トレーニングを通して同じ忘れと保持/拘束のプロンプトから繰り返しサンプルをサンプリングする。 簡単なケースは迅速に収束し、有用な勾配信号が得られないのに対して、忘れ/保持境界付近のハードケースは、単一使用後に破棄された低逆ロールアウトを生成し続ける。 この問題に対処するために,強化アンラーニングのためのオフ・ポリティクス・リプレイ・エンハンスメントであるReRULEを提案する。 ReRULEは、GRPOトレーニングの初期に低リワードのハードケースロールアウトグループをリプレイバッファに格納し、重要度をサンプリングしたオフポリシー更新を通じて後段で再利用し、まだ学習を必要とする境界ケースに計算をリダイレクトする。 理論的には、ReRULEは純粋なオンラインRULEよりも厳密なハードケース収束をもたらすことを示す。 実証的に、ReRULEはMUSE-Books Retain Qualityを46.3から56.2に改善した。 より単純なTOFU設定に対する制限された改善は、意図された条件付き動作をさらにサポートする: ハード/イージーな格差が発音されたときに、リプレイが最も有益である。

関連論文リスト

• Efficient RL Training for LLMs with Experience Replay [33.7477995016327]
  良く設計されたリプレイバッファは、劣化することなく、推論計算を大幅に削減できることを示す。 良く設計されたリプレイバッファは、劣化することなく、推論計算を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2026-04-09T18:56:12Z)
• $\textbf{Re}^{2}$: Unlocking LLM Reasoning via Reinforcement Learning with Re-solving [75.29519604607111]
  検証可能な報奨(RLVR)による強化学習は、大規模言語モデル(LLM)の推論性能を高めることを約束している。 チェーン・オブ・シークレット(CoT)の初期方向や品質が最適以下である場合、モデルが正しい答えに到達できないことがよく示される。 再解決による強化学習 (Reinforcement Learning with Re-solving, Re$2$) を導入し, LLM が非生産的推論経路を柔軟に放棄し,必要ならば解法を再開することを学ぶ。
  論文  参考訳（メタデータ） (2026-03-07T13:17:46Z)
• Reuse your FLOPs: Scaling RL on Hard Problems by Conditioning on Very Off-Policy Prefixes [22.721425502443253]
  我々はPrefixRLを導入し、そこでは、成功裏のトレースのプレフィックスを条件にし、それらを完了させるために、オンデマンドのRLを実行します。 PrefixRLは、問題の難易度を政治外接頭辞の長さで調節することで、難しい問題に対する学習信号を強化する。 我々はPrefixRLの目的が標準RLの目的と一致しているだけでなく、より効率的なことを証明する。
  論文  参考訳（メタデータ） (2026-01-26T18:57:00Z)
• Just-In-Time Reinforcement Learning: Continual Learning in LLM Agents Without Gradient Updates [53.3717573880076]
  JitRL(Just-In-Time Reinforcement Learning、ジャスト・イン・タイム強化学習)は、テスト時間ポリシーの最適化を可能にするトレーニング不要のフレームワークである。 JitRLは、経験の動的で非パラメトリックな記憶を維持し、関連する軌跡を取得して、オンザフライでのアクションの利点を推定する。 WebArenaとJerrichoの実験では、JitRLがトレーニング不要メソッドの間に新しい最先端技術を確立していることが示されている。
  論文  参考訳（メタデータ） (2026-01-26T14:16:51Z)
• Stabilizing Reinforcement Learning with LLMs: Formulation and Practices [61.361819972410046]
  本稿では,REINFORCEなどの政策勾配法において,真のシーケンスレベルの報酬を代用トークンレベルの目的によって最適化できる理由と条件を示す。 この洞察は、RLトレーニングの安定化において、広く採用されているいくつかのテクニックの重要な役割について、原則化された説明を提供する。
  論文  参考訳（メタデータ） (2025-12-01T07:45:39Z)
• GeRe: Towards Efficient Anti-Forgetting in Continual Learning of LLM via General Samples Replay [21.865853486614466]
  汎用サンプルリプレイ(GeRe)は,通常の事前学習テキストを効率的なアンチフォゲッティングに利用するフレームワークである。 我々は,事前コンパイルされた汎用リプレイサンプルの小さな固定セットが,両方の懸念を解決し,全体的な性能を向上しつつ,一般能力を維持できるのに十分であることを示す最初の試みである。
  論文  参考訳（メタデータ） (2025-08-06T17:42:22Z)
• When Learning Is Out of Reach, Reset: Generalization in Autonomous Visuomotor Reinforcement Learning [10.469509984098705]
  エピソードトレーニング(英: Episodic training)とは、エージェントの環境が成功や失敗の度にリセットされ、強化学習(RL)エージェントを訓練する際のデファクトスタンダードである。 この研究では、視覚エージェントを構築しながら、リセットを完全に排除するのではなく、最小限にしたいと考えています。 提案手法は, 先行のエピソード, リセットフリー, リセット最小化アプローチよりも高い成功率を達成することができる。
  論文  参考訳（メタデータ） (2023-03-30T17:59:26Z)
• Stratified Experience Replay: Correcting Multiplicity Bias in Off-Policy Reinforcement Learning [17.3794999533024]
  深部RLは異常なデータの存在に苦慮しているように見える。 近年の研究では、DQN(Deep Q-Network)の性能はリプレイメモリが大きすぎると劣化することが示された。 我々は,リプレイメモリ上で一様にサンプリングする動機を再検討し,関数近似を用いた場合の欠陥を見出した。
  論文  参考訳（メタデータ） (2021-02-22T19:29:18Z)
• DDPG++: Striving for Simplicity in Continuous-control Off-Policy Reinforcement Learning [95.60782037764928]
  過大評価バイアスが制御される限り、単純な決定論的政策勾配は著しく機能することを示す。 第二に、非政治的なアルゴリズムの典型であるトレーニングの不安定性を、欲張りのポリシー更新ステップに向ける。 第3に、確率推定文学におけるアイデアは、リプレイバッファからの重要サンプル遷移や、性能劣化を防ぐためのポリシー更新に利用できることを示す。
  論文  参考訳（メタデータ） (2020-06-26T20:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。