論文の概要: Beyond Binary Rewards: A Comparative Study of Reward Design for Reinforcement Unlearning

• arxiv url: http://arxiv.org/abs/2607.27968v1
• Date: Thu, 30 Jul 2026 10:15:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.506592
• Title: Beyond Binary Rewards: A Comparative Study of Reward Design for Reinforcement Unlearning
• Title（参考訳）: バイナリ・リワードを超えて:強化型アンラーニングのためのリワード設計の比較研究
• Authors: Efstratios Zaradoukas, Davide Gabrielli, Bardh Prenkaj, Gjergji Kasneci,
• Abstract要約: 機械学習は、訓練された言語モデルからの特定の知識を、完全なリトレーニングなしで取り除こうとする。 最近の研究は、未学習をReinforcement Learning with Verifiable Rewards (RLVR)問題として再考している。 報奨設計が強化アンラーニングフレームワークにおける非学習効率に与える影響について検討する。
• 参考スコア（独自算出の注目度）: 18.91502176461499
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning seeks to selectively remove specific knowledge from trained language models without full retraining, a growing necessity under privacy regulations such as GDPR and the EU AI Act. Recent work has reformulated unlearning as a Reinforcement Learning with Verifiable Rewards (RLVR) problem, where models are optimized against verifiable rewards computed directly from their outputs. However, existing methods rely on sparse binary rewards that provide minimal learning signal, indicating only whether forbidden content was avoided, and limiting convergence speed. In this paper, we study how reward design affects unlearning efficiency within the Reinforcement Unlearning (RUL) framework. We introduce a principled reward decomposition framework that decouples verifiability from sparsity, and propose two new reward functions: an exponential reward that provides graded penalties based on the count of forbidden-concept occurrences, and a PageRank inspired reward that weights penalties by semantic importance. We conduct experiments on the Real World Knowledge Unlearning (RWKU) benchmark, demonstrating that both rewards consistently outperform the binary setting, while reaching similar forgetting performance up to $3\times$ faster and preserving general model utility. Our results show that reward design is a key driver of unlearning efficiency offering a practical path toward scalable and efficient machine unlearning.
• Abstract（参考訳）: マシン・アンラーニングは、GDPRやEU AI Actといったプライバシー規制の下で、完全に再トレーニングすることなく、トレーニングされた言語モデルから特定の知識を選択的に取り除こうとしている。 最近の研究は、未学習をReinforcement Learning with Verifiable Rewards (RLVR)問題として改革し、モデルが出力から直接計算された検証可能な報酬に対して最適化されている。 しかし、既存の方法は、最小限の学習信号を提供するスパースバイナリ報酬に依存しており、禁じられたコンテンツが避けられ、収束速度が制限されていることを示している。 本稿では,Reinforcement Unlearning(RUL)フレームワークにおいて,報酬設計が非学習効率に与える影響について検討する。 本稿では,不完全性を疎結合から切り離す原理的報酬分解フレームワークを導入し,禁止概念発生数に基づいて罰則を格付けする指数的報酬関数と,意味的重要性によって罰則を重み付けするページランドインスパイアされた報奨関数を提案する。 我々は、Real World Knowledge Unlearning (RWKU)ベンチマークで実験を行い、両方の報酬がバイナリ設定を一貫して上回っていることを実証した。 この結果から,報奨設計が非学習効率の重要な要因であることが示唆された。

関連論文リスト

• Designing Reward Signals for Portable Query Generation: A Case Study in Industrial Semantic Job Search [8.82040111147814]
  本稿では,Emphportable Search クエリを生成するために,エンドツーエンドの RLAIF フレームワークを提案する。 このタスクは、ポリシー最適化がルーリックの欠陥を活用し、冗長なコピー動作をもたらす、非常に敵対的な報酬曲面を導入する。 提案手法では,提案手法の誤りを再現する報酬を補正するルールベースの報酬フロアを導入することで,家族間評価審査員に+0.147ドルの品質改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-06-25T17:09:12Z)
• When Do Intrinsic Rewards Work for Code Reasoning? A Comprehensive Study [77.64957118012423]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデル推論において大きな進歩をもたらした。 最近の研究は、多数決や信頼に基づくスコアなど、モデル自身の信号から報酬を導き出すことによって、この問題に対処している。 本稿では,コード生成における本質的な報酬手法の体系的研究について述べる。
  論文  参考訳（メタデータ） (2026-06-18T19:15:50Z)
• Chain of Uncertain Rewards with Large Language Models for Reinforcement Learning [52.48243762705385]
  Chain of Uncertain Rewards (CoUR)は、大きな言語モデル(LLM)を統合して報酬関数の設計と評価を効率化する新しいフレームワークである。 我々は、CoURがより良い性能を実現し、報酬評価のコストを大幅に削減できることを示します。
  論文  参考訳（メタデータ） (2026-04-15T05:44:14Z)
• Alternating Reinforcement Learning with Contextual Rubric Rewards [2.1172256884504588]
  Reinforcement Learning with Rewards (RLRR)は、従来の強化学習を人間のフィードバックから拡張するフレームワークである。 RLRRの既存のアプローチは、固定重み付きスカラー報酬に線形に圧縮されたベクトル報酬に限られる。 本研究は,報酬アグリゲーションの限界を克服するために,報酬付き強化学習(ARL-RR)を提案する。
  論文  参考訳（メタデータ） (2026-03-04T04:18:39Z)
• Learning a Dense Reasoning Reward Model from Expert Demonstration via Inverse Reinforcement Learning [50.20267980386502]
  我々は、専門家によるデモンストレーションから直接、プロセスの監督のための密集したトークンレベルの報酬モデルを学びます。 学習された推論報酬は、2つの補完的な役割を果たす: (i)訓練中の推論ポリシーを最適化するためのステップレベルのフィードバックを提供する。
  論文  参考訳（メタデータ） (2025-10-02T09:55:26Z)
• Overthinking Reduction with Decoupled Rewards and Curriculum Data Scheduling [41.834250664485666]
  大規模な推論モデルは、パフォーマンス上のメリットのない、過度に長い推論パスを生成します。 長さをペナライズする既存のソリューションは、しばしば失敗し、パフォーマンスが低下する。 我々は、現在長さの報酬に未適応な2つの欠陥の理論的発見に基づいて、新しいフレームワークDECSを紹介した。
  論文  参考訳（メタデータ） (2025-09-30T06:04:43Z)
• ConfClip: Confidence-Weighted and Clipped Reward for Reinforcement Learning in LLMs [32.13266235550995]
  強化学習(RL)は、大規模言語モデル(LLM)の標準化の標準パラダイムとなっている。 人間の学習から得られた観察から着想を得て、検証可能な結果とモデル自身の信頼度推定を統合するRL手法を導入する。
  論文  参考訳（メタデータ） (2025-09-22T13:00:35Z)
• Learning to Reason without External Rewards [100.27210579418562]
  RLVR(Reinforcement Learning with Verifiable Rewards)による複雑な推論のための大規模言語モデル(LLM)の訓練は、費用がかかるドメイン固有の監督に依存して効果的であるが制限されている。 内部フィードバックからの強化学習(Reinforcement Learning from Internal Feedback, RLIF)は、LLMが外部の報酬やラベル付きデータなしで本質的な信号から学習できるフレームワークである。 本稿では,モデル自身の信頼度を利用したRLIF手法であるIntuitorについて,その唯一の報奨信号として自己確実性(self-certainty)を提案する。
  論文  参考訳（メタデータ） (2025-05-26T07:01:06Z)
• RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution [50.171320156632866]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための有望なアプローチを提供する。 現在の報酬モデルはシークエンス・ツー・ワンモデルとして動作し、単一、スパース、遅延報酬を全出力シーケンスに割り当てる。 よりきめ細かなトークンレベルの指導手法をRLトレーニングに提案する。
  論文  参考訳（メタデータ） (2024-11-13T02:45:21Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。