論文の概要: An Empirical Study of Reward Specification and Benchmark Reliability in GRPO-based LLM Unlearning

• arxiv url: http://arxiv.org/abs/2608.17804v1
• Date: Tue, 18 Aug 2026 14:04:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.36065
• Title: An Empirical Study of Reward Specification and Benchmark Reliability in GRPO-based LLM Unlearning
• Title（参考訳）: GRPOに基づくLLMアンラーニングにおけるリワード仕様とベンチマーク信頼性に関する実証的研究
• Abstract要約: 未学習は2つの目的により評価される: 目標固有の知識を抑え、非目標ユーティリティを保存する。 ターゲットに隣接したプロンプトが、ターゲット固有のリークを伴わずに、より広い回答を認めた場合、モデルは、リーク、回避、拒否よりも、そのレベルで答えるべきである。 我々は,SFTウォームアップの有無にかかわらず,語彙抑制,反拒絶型シェーピング,ルーリックベース広義回答,明示的拒絶コントラストの4つの報奨設計を比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Practical LLM unlearning is usually evaluated through two objectives: suppress target-specific knowledge and preserve non-target utility. In generative QA, this leaves a third behavior underspecified: when a target-adjacent prompt admits a broader answer without target-specific leakage, the model should answer at that level rather than leak, evade, or refuse. We study this specification problem in a controlled LoRA-GRPO RWKU setting, comparing four reward designs that span lexical suppression, anti-refusal shaping, rubric-based broad answering, and an explicit refusal contrast, with and without SFT warm-up. The experiments show that optimization success is not equivalent to behavioral unlearning: RWKU forget scores, held-out completion audits, terminal training-rollout audits, and training dynamics can point to different conclusions. We trace these disagreements to reward-hacking endpoints, policy-support limits in GRPO, benchmark probes that miss endpoint changes, and rewards that can select broad-topic answering with low semantic leakage during optimization.
• Abstract（参考訳）: 実践的なLLMアンラーニングは通常、ターゲット固有の知識を抑え、非ターゲットユーティリティを保存するという2つの目的を通じて評価される。 ターゲットに隣接したプロンプトが、ターゲット固有のリークを伴わずに、より広い回答を認めた場合、モデルは、リーク、回避、拒否よりも、そのレベルで答えるべきである。 制御されたLoRA-GRPO RWKU設定において,レキシカル抑制,反拒絶型シェーピング,ルーリックベースワイド応答,明示的な拒絶コントラストをSFTウォームアップの有無で比較した。 RWKUはスコア、ホールドアウト完了監査、ターミナルトレーニングロールアウト監査、トレーニングダイナミクスは異なる結論を示すことができる。 我々はこれらの不一致を、報酬ハックエンドポイント、GRPOのポリシーサポート制限、エンドポイントの変更を見逃すベンチマークプローブ、最適化中にセマンティックリークの少ないワイドトピック応答を選択できる報酬に遡る。

関連論文リスト

• LLM-as-a-Coach: Experiential Learning for Non-Verifiable Tasks [89.13372484640392]
  LLM-as-a-JudgeからLLM-as-a-Coachへのフィードバックモデルを再利用した経験的学習(EL)を提案する。 ELは、保持された未確認のオープンエンドタスクにおいて、ルブリックベースのRLを一貫して上回る。 これらの知見は、検証不可能なタスクのポストトレーニングにおいて、より豊かでより一般化可能な学習信号として経験的知識を確立した。
  論文  参考訳（メタデータ） (2026-07-20T16:08:49Z)
• Enhancing Rubric-based RL via Self-Distillation [23.111278687216544]
  本稿では, ルブリックをベースとしたRLをオンライン自己蒸留により強化するCriPO(Criterion-Distilled Policy Optimization)を提案する。 CriPOはルーブリックベースのRLを一貫して上回り、最適化手順を減らした約2ドルで、より強力な最終性能を実現している。
  論文  参考訳（メタデータ） (2026-07-20T15:50:02Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning [12.363923974156636]
  検証可能な報酬からの強化学習は、ロールアウト毎に1つのスカラーを割り当てる。 オンラインの自己蒸留は、特権情報に基づいて同じモデルを教師として振る舞うことでこの問題に対処する。 本研究では,教師がピアロールアウトに成功したことを条件に,HSD(Hindsight Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-06-14T03:37:27Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• RHyVE: Competence-Aware Verification and Phase-Aware Deployment for LLM-Generated Reward Hypotheses [7.123785374544969]
  大規模言語モデル(LLM)は、強化学習における報酬設計をかなりスケーラブルにするが、生成された報酬は自動的に信頼性のある訓練目標ではない。 本稿では,現在の政策の能力に依拠する報酬仮説として,生成した報酬を扱い,この展開時問題を考察する。 我々は,有能な検証とフェーズアウェアなデプロイメントプロトコルであるtextscRHyVEを提案する。
  論文  参考訳（メタデータ） (2026-04-30T16:01:51Z)
• Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
  我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。 MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。 我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
  論文  参考訳（メタデータ） (2026-04-13T15:18:51Z)
• KEPO: Knowledge-Enhanced Preference Optimization for Reinforcement Learning with Reasoning [24.072603982041798]
  強化学習は、大規模言語や視覚言語モデルにおいて、明示的な推論行動を引き起こすための有望なパラダイムとして登場した。 しかしながら、推論指向のRLポストトレーニングは、低軌道レベルの報酬のため、基本的には困難である。 近年のオンライン蒸留法では,教師の集中管理によって最適化の安定化が図られている。
  論文  参考訳（メタデータ） (2026-01-30T23:28:37Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Conditional Advantage Estimation for Reinforcement Learning in Large Reasoning Models [50.84995206660551]
  本研究では,条件付きアドバンテージ・エスティマティオン(CANON)を導入し,その方向を推定せずに目標距離の影響を増幅する。 エントロピーに基づくCANONは、数学推論と高複雑性論理タスクの両方において、従来手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2025-09-28T16:33:07Z)
• Lessons from Training Grounded LLMs with Verifiable Rewards [24.35637263339965]
  強化学習と内部推論は、大きな言語モデルにおける基盤を強化することができる。 推論強化モデルは命令のみの変種よりも有意に優れていることを示す。 2段階のトレーニングセットアップで、まずは回答と引用の動作を最適化し、次に拒否し、グラウンド化をさらに改善する。
  論文  参考訳（メタデータ） (2025-06-18T14:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。