論文の概要: Behavior-Discriminative Reward Shaping for Reward-Robust Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2611.02415v1
• Date: Mon, 02 Nov 2026 02:39:33 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:34:20.642238
• Title: Behavior-Discriminative Reward Shaping for Reward-Robust Reinforcement Learning
• Title（参考訳）: Reward-Robust Reinforcement Learningのための行動識別型Reward Shaping
• Abstract要約: 本稿では,PBRS同値クラス上の不確実性集合を,各報酬を正準代表に投影することで構成する形状認識リワード・ロバストRLを提案する。 このプロジェクションは,不確実性セットを縮小し,経験的性能を向上させるとともに,最適なロバスト値を保っていることを実証する。
• 参考スコア（独自算出の注目度）: 7.332941410825274
• License:
• Abstract: Reward-robust RL typically models misspecification by specifying an uncertainty set that constrains the discrepancy of plausible rewards from a base reward. However, such reward space discrepancies can be behaviorally irrelevant: under potential-based reward shaping (PBRS), many distinct rewards preserve policy ordering. This can introduce substantial redundancy into standard uncertainty sets and degrade optimization performance. We propose Shaping-Aware Reward-Robust RL, which constructs uncertainty sets over PBRS equivalence classes by projecting each reward to a canonical representative, ensuring that the resulting set contains only rewards that induce behaviorally distinct policy rankings. We prove that this projection preserves the optimal robust value while shrinking the uncertainty set and improving empirical performance. Using the connection between robustness and regularization, we obtain a practical algorithm to solve the shaping-aware reward-robust RL problem and enjoy convergence guarantees under standard assumptions. Experiments on benchmarks spanning diverse task domains and levels of complexity show consistent improvements over representative robust RL baselines and exhibit improved robustness to reward perturbations.
• Abstract（参考訳）: Reward-robust RL は典型的には、基本報酬からの可算報酬の相違を制約する不確実性集合を指定することによって、誤特定をモデル化する。 しかし、そのような報酬空間の相違は行動に無関係であり、潜在的な報酬形成(PBRS)の下では、多くの異なる報酬が政策の順序を保つ。 これにより、標準的な不確実性セットにかなりの冗長性を導入し、最適化性能を低下させることができる。 本稿では,PBRS同値クラス上の不確実性集合を正準代表に投射することで構成し,その結果の集合が行動学的に異なる政策ランキングを誘導する報酬のみを含むことを保証する。 このプロジェクションは,不確実性セットを縮小し,経験的性能を向上させるとともに,最適なロバスト値を保っていることを実証する。 本研究では,ロバスト性と正規化の関連性を用いて,標準仮定の下での収束保証を享受し,整形性を考慮した報酬損耗問題(RL)を解くための実用的なアルゴリズムを得る。 多様なタスクドメインと複雑性レベルにまたがるベンチマーク実験では、代表的ロバストなRLベースラインよりも一貫した改善が見られ、摂動に報いるロバスト性が向上した。

関連論文リスト

• ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning [74.19730275669227]
  ARISE-RLは、オープンエンドエージェントをトレーニングするための新しいフルサイクルの自己進化フレームワークである。 Reward-Gated Self-Evolution Distillation (RG-SED)を提案する。 ECR-Benchは,シングルツールディープリサーチとマルチツールトラベルプランニングを対象とする,専門家校正型ルーリックベンチマークスイートである。
  論文  参考訳（メタデータ） (2026-09-01T10:54:13Z)
• Designing Reward Signals for Portable Query Generation: A Case Study in Industrial Semantic Job Search [8.82040111147814]
  本稿では,Emphportable Search クエリを生成するために,エンドツーエンドの RLAIF フレームワークを提案する。 このタスクは、ポリシー最適化がルーリックの欠陥を活用し、冗長なコピー動作をもたらす、非常に敵対的な報酬曲面を導入する。 提案手法では,提案手法の誤りを再現する報酬を補正するルールベースの報酬フロアを導入することで,家族間評価審査員に+0.147ドルの品質改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-06-25T17:09:12Z)
• Uncertainty-Aware Reward Modeling for Stable RLHF [18.133821471352405]
  本稿では,不確実性認識リワードモデリング(Uncertainty-Aware Reward Modeling, UARM)を提案する。 HelpSteer、UltraFeedback、PKU-SafeRLHFによる実験では、UARMは報酬モデルのキャリブレーションを大幅に改善し、報酬のハッキングを低減し、下流のアライメント品質を向上させる。
  論文  参考訳（メタデータ） (2026-06-18T05:46:32Z)
• Using Reward Uncertainty to Induce Diverse Behaviour in Reinforcement Learning [31.44259732617169]
  我々は、多様性は報酬の不確実性に対する合理的な応答としてより自然に理解されていると論じる。 本稿では,スカラー報酬を報酬関数上の分布に置き換えることで,RL目標の根本的な再構成を提案する。
  論文  参考訳（メタデータ） (2026-06-02T17:50:14Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• Chain of Uncertain Rewards with Large Language Models for Reinforcement Learning [52.48243762705385]
  Chain of Uncertain Rewards (CoUR)は、大きな言語モデル(LLM)を統合して報酬関数の設計と評価を効率化する新しいフレームワークである。 我々は、CoURがより良い性能を実現し、報酬評価のコストを大幅に削減できることを示します。
  論文  参考訳（メタデータ） (2026-04-15T05:44:14Z)
• Alternating Reinforcement Learning with Contextual Rubric Rewards [2.1172256884504588]
  Reinforcement Learning with Rewards (RLRR)は、従来の強化学習を人間のフィードバックから拡張するフレームワークである。 RLRRの既存のアプローチは、固定重み付きスカラー報酬に線形に圧縮されたベクトル報酬に限られる。 本研究は,報酬アグリゲーションの限界を克服するために,報酬付き強化学習(ARL-RR)を提案する。
  論文  参考訳（メタデータ） (2026-03-04T04:18:39Z)
• Mitigating Reward Hacking in RLHF via Bayesian Non-negative Reward Modeling [49.41422138354821]
  非負の因子分析をBradley-Terry選好モデルに統合する原理的報酬モデリングフレームワークを提案する。 BNRMは、スパースで非負の潜在因子生成過程を通じて報酬を表す。 BNRMは報酬の過度な最適化を著しく軽減し、分布シフトによるロバスト性を改善し、強いベースラインよりも解釈可能な報酬分解をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-02-11T08:14:11Z)
• R-Align: Enhancing Generative Reward Models through Rationale-Centric Meta-Judging [69.96389360650072]
  解析精度は, 標準ラベルの精度を超えて, 下流RLHFの結果を高い精度で予測できることが示される。 我々は,金の判断でトレーニングを増強し,合理的アライメントを明示的に監督するR-Alignを提案する。
  論文  参考訳（メタデータ） (2026-02-06T15:17:11Z)
• UCPO: Uncertainty-Aware Policy Optimization [12.847800921274617]
  既存のLarge Language Models (LLM) はバイナリ決定空間と静的不確実性報酬によってアドバンテージバイアスに悩まされ、過剰な保守主義や過剰な自信を引き起こす。 本稿では、不確実性に基づく報酬を取り入れた現在のRLパラダイムにおける報酬ハッキングと過信の根本原因を明らかにし、UnCertainty-Aware Policy Optimizationフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-30T07:07:42Z)
• Information-Theoretic Reward Modeling for Stable RLHF: Detecting and Mitigating Reward Hacking [78.69179041551014]
  本稿では,インフォメーション・ボトルネックの原理に基づく情報理論報酬モデリングフレームワークを提案する。 InfoRMは、報酬の一般化を緩和するために、嗜好に無関係な情報をフィルタリングする。 IBLは分散レベルの正規化であり、そのような偏差を罰し、最適化の展望を効果的に拡張する。
  論文  参考訳（メタデータ） (2025-10-15T15:51:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。