論文の概要: Using Reward Uncertainty to Induce Diverse Behaviour in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2606.03962v1
• Date: Tue, 02 Jun 2026 17:50:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.229822
• Title: Using Reward Uncertainty to Induce Diverse Behaviour in Reinforcement Learning
• Title（参考訳）: 逆不確かさを用いた強化学習における多変量行動の誘導
• Authors: Anthony GX-Chen, Ankit Anand, Gheorghe Comanici, Zaheer Abbas, Eser Aygün, David Smalling, Shibl Mourad, Doina Precup, André Barreto, Mark Rowland,
• Abstract要約: 我々は、多様性は報酬の不確実性に対する合理的な応答としてより自然に理解されていると論じる。 本稿では,スカラー報酬を報酬関数上の分布に置き換えることで,RL目標の根本的な再構成を提案する。
• 参考スコア（独自算出の注目度）: 31.44259732617169
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Classical reinforcement learning (RL) typically seeks a deterministic policy that maximizes the expected sum of a scalar reward. Yet, modern applications such as language model fine-tuning or scientific discovery demand diversity. Existing remedies such as entropy regularization or diversity bonuses often require fragile trade-offs that sacrifice performance for stochasticity or rely on heuristic metrics that can misalign policy rankings. We argue that diversity is more naturally understood as the rational response to uncertainty in the reward. When the reward function is not perfectly known--as is the case with ambiguous preferences or imperfect reward models--committing to a single action can be sub-optimal. Building on this, we propose a fundamental reformulation of the RL objective by replacing the scalar reward with a distribution over reward functions, and applying a non-linear objective over sets of actions. The result is a framework in which calibrated behavioural diversity emerges naturally, remains controllable through the reward function distribution, and is obtained without sacrificing expected reward. Focusing on the contextual bandit setting, we derive a principled gradient estimator for this objective and prove that our formulation naturally generalizes both vanilla policy gradient and more recently developed action-set approaches. Our empirical results demonstrate that this framework offers a robust and theoretically grounded alternative for complex RL tasks where the traditional formulation of the problem fails to induce the desired breadth of agent behaviour.
• Abstract（参考訳）: 古典的強化学習(RL)は通常、スカラー報酬の期待総和を最大化する決定論的政策を求める。 しかし、言語モデルファインチューニングや科学的発見といった近代的な応用には多様性が要求される。 エントロピーの正規化や多様性のボーナスのような既存の救済策は、しばしば、確率的なパフォーマンスを犠牲にする脆弱なトレードオフを必要とし、あるいは政策ランキングを誤ったものにするヒューリスティックな指標に依存している。 我々は、多様性は報酬の不確実性に対する合理的な応答としてより自然に理解されていると論じる。 報酬関数が完全には知られていない場合(つまり、曖昧な好みや不完全な報酬モデルがある場合)、単一のアクションへのコミットは準最適である。 これに基づいて,スカラー報酬を報酬関数上の分布に置き換え,アクションの集合に非線形目的を適用することにより,RL目標の根本的な再構成を提案する。 その結果、キャリブレーションされた行動多様性が自然に出現し、報酬関数分布を介して制御可能であり、期待される報酬を犠牲にすることなく得られる枠組みが得られた。 文脈的バンディット設定に着目して、この目的のための原理的勾配推定器を導出し、我々の定式化がバニラ政策勾配とより最近開発されたアクションセットアプローチの両方を自然に一般化することを証明する。 我々の経験的結果は、このフレームワークが、従来の問題の定式化が望ましいエージェントの振る舞いを誘導できない複雑なRLタスクに対して、堅牢で理論的に基礎的な代替手段を提供することを示している。

関連論文リスト

• Decoding Rewards in Competitive Games: Inverse Game Theory with Entropy Regularization [52.74762030521324]
  本稿では,観察行動から報酬関数を学習するための新しいアルゴリズムを提案する。 我々は,アルゴリズムの信頼性とサンプル効率について,強力な理論的保証を提供する。
  論文  参考訳（メタデータ） (2026-01-19T04:12:51Z)
• Statistical analysis of Inverse Entropy-regularized Reinforcement Learning [15.054399128586232]
  逆強化学習は、状態-作用対の軌跡を通して観察される専門家の行動を説明する報酬関数を推論することを目的としている。 多くの報酬関数は同じ最適ポリシーを導き出すことができ、逆問題に悪影響を及ぼす。 Inverse Entropy-regularized Reinforcement Learningのための統計フレームワークを開発する。
  論文  参考訳（メタデータ） (2025-12-07T18:26:19Z)
• Generalizing Behavior via Inverse Reinforcement Learning with Closed-Form Reward Centroids [37.79354987519793]
  本研究では,実証を通じて提供される専門家の行動を,新たな環境や追加制約に一般化する問題について検討する。 本稿では,ある有界部分集合における報酬によって引き起こされる「平均」ポリシーを選択する,新しい原理的基準を提案する。
  論文  参考訳（メタデータ） (2025-09-15T14:53:54Z)
• Recursive Reward Aggregation [60.51668865089082]
  本稿では,報酬関数の変更を不要としたフレキシブルな行動アライメントのための代替手法を提案する。 マルコフ決定過程(MDP)の代数的視点を導入することにより、ベルマン方程式が報酬の生成と集約から自然に現れることを示す。 我々のアプローチは決定論的および決定論的設定の両方に適用され、価値に基づくアルゴリズムとアクター批判的アルゴリズムとシームレスに統合される。
  論文  参考訳（メタデータ） (2025-07-11T12:37:20Z)
• Probabilistic Uncertain Reward Model [27.40414952747553]
  本稿では、優先データから生じる報酬分布を学習するための確率的不確実リワードモデル(PURM)を提案する。 PURMは従来の手法よりも精度が高く,不確実性も高いことを示す。
  論文  参考訳（メタデータ） (2025-03-28T14:39:52Z)
• Likelihood Reward Redistribution [0.0]
  本稿では,報酬再分配のためのEmphLikelihood Reward Redistribution (LRR) フレームワークを提案する。 ソフトアクター・クライブのような非政治的アルゴリズムと統合すると、LRRは密度が高く情報的な報奨信号を生成する。
  論文  参考訳（メタデータ） (2025-03-20T20:50:49Z)
• Improving the Effectiveness of Potential-Based Reward Shaping in Reinforcement Learning [0.5524804393257919]
  報酬形成の有効性を向上させるために,ポテンシャル関数の線形シフトがいかに簡単なかを示す。 正および負の報酬形成値を正しく割り当てるための連続ポテンシャル関数の理論的制限を示す。
  論文  参考訳（メタデータ） (2025-02-03T12:32:50Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)
• Policy Gradient Bayesian Robust Optimization for Imitation Learning [49.881386773269746]
  我々は、期待される性能とリスクのバランスをとるために、新しいポリシー勾配スタイルのロバスト最適化手法PG-BROILを導出する。 その結果,PG-BROILはリスクニュートラルからリスク・アバースまでの行動のファミリを創出できる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-11T16:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。