論文の概要: Reinforcement Learning from Bagged Reward

• arxiv url: http://arxiv.org/abs/2402.03771v3
• Date: Sat, 26 Oct 2024 08:00:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:13:32.540751
• Title: Reinforcement Learning from Bagged Reward
• Title（参考訳）: タグ付きリワードからの強化学習
• Authors: Yuting Tang, Xin-Qiang Cai, Yao-Xiang Ding, Qiyu Wu, Guoqing Liu, Masashi Sugiyama,
• Abstract要約: 強化学習(RL)では、エージェントが取るアクション毎に即時報奨信号が生成されることが一般的である。 多くの実世界のシナリオでは、即時報酬信号の設計は困難である。 本稿では,双方向の注意機構を備えた新たな報酬再分配手法を提案する。
• 参考スコア（独自算出の注目度）: 46.16904382582698
• License:
• Abstract: In Reinforcement Learning (RL), it is commonly assumed that an immediate reward signal is generated for each action taken by the agent, helping the agent maximize cumulative rewards to obtain the optimal policy. However, in many real-world scenarios, designing immediate reward signals is difficult; instead, agents receive a single reward that is contingent upon a partial sequence or a complete trajectory. In this work, we define this challenging problem as RL from Bagged Reward (RLBR), where sequences of data are treated as bags with non-Markovian bagged rewards, leading to the formulation of Bagged Reward Markov Decision Processes (BRMDPs). Theoretically, we demonstrate that RLBR can be addressed by solving a standard MDP with properly redistributed bagged rewards allocated to each instance within a bag. Empirically, we find that reward redistribution becomes more challenging as the bag length increases, due to reduced informational granularity. Existing reward redistribution methods are insufficient to address these challenges. Therefore, we propose a novel reward redistribution method equipped with a bidirectional attention mechanism, enabling the accurate interpretation of contextual nuances and temporal dependencies within each bag. We experimentally demonstrate that our proposed method consistently outperforms existing approaches.
• Abstract（参考訳）: 強化学習(RL)では、エージェントが取るアクション毎に即時報酬信号が生成され、エージェントが累積報酬を最大化して最適なポリシーを得るのを助けることが一般的である。 しかし、現実の多くのシナリオでは、即時報酬信号の設計は困難であり、代わりにエージェントは、部分的なシーケンスや完全な軌道に付随する単一の報酬を受け取る。 本稿では、この課題を、Bagged Reward (RLBR) の RL と定義し、データ列を非マルコフバッジ報酬のバッグとして扱うことにより、Bagged Reward Markov Decision Processs (BRMDPs) の定式化につながる。 理論的には、RLBRは、バッグ内の各インスタンスに適切に分散されたタグ付き報酬を割り当てた標準のMDPを解くことで対処できることを示す。 袋の長さが大きくなるにつれて報酬の再分配が困難になるのは,情報粒度が減少するためである。 既存の報酬再分配手法はこれらの課題に対処するには不十分である。 そこで本研究では,バッグ内の文脈ニュアンスや時間依存性の正確な解釈を可能にする,双方向アテンション機構を備えた新たな報酬再分配手法を提案する。 提案手法が既存の手法より一貫して優れていることを実験的に実証した。

関連論文リスト

• Beyond Simple Sum of Delayed Rewards: Non-Markovian Reward Modeling for Reinforcement Learning [44.770495418026734]
  強化学習(Reinforcement Learning, RL)は、報酬信号から学習することで、エージェントに様々なスキルを習得する権限を与える。 伝統的な手法では、マルコフ報酬の根底にある存在を仮定し、観測された遅延報酬は単にインスタンスレベルの報酬の和である。 本稿では,特殊なインシーケンスアテンション機構を備えた複合遅延逆変換器(CoDeTr)を提案する。
  論文  参考訳（メタデータ） (2024-10-26T13:12:27Z)
• Discrete Probabilistic Inference as Control in Multi-path Environments [84.67055173040107]
  本稿では,離散分布と構造化分布からサンプリングする問題を逐次決定問題として考察する。 我々は,GFlowNetが,フローの保存を強制することによって,報酬に比例してオブジェクトをサンプリングするポリシーを学習していることを示す。 また、GFlowNetの文献で見られるフローマッチングの目的が、精度の高いMaxEnt RLアルゴリズムと等価であることも証明した。
  論文  参考訳（メタデータ） (2024-02-15T20:20:35Z)
• Dense Reward for Free in Reinforcement Learning from Human Feedback [64.92448888346125]
  我々は報酬モデルが単にスカラー出力よりも多くの情報を含んでいるという事実を活用している。 私たちは、これらの注意重みを使って、完了全体に沿って報酬を再分配します。 経験的に、トレーニングを安定化し、学習速度を加速し、実際は、より良い局所最適性をもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2024-02-01T17:10:35Z)
• Noise Distribution Decomposition based Multi-Agent Distributional Reinforcement Learning [15.82785057592436]
  マルチエージェント強化学習(MARL)は、インテリジェントエージェント間の干渉によるノイズの影響を受けやすい。 本稿では,グローバル共有雑音報酬を近似することで,分解に基づく新しいマルチエージェント分布RL法を提案する。 また,提案手法の有効性を,雑音を考慮した広範囲なシミュレーション実験により検証した。
  論文  参考訳（メタデータ） (2023-12-12T07:24:15Z)
• Interpretable Reward Redistribution in Reinforcement Learning: A Causal Approach [45.83200636718999]
  強化学習における大きな課題は、将来の報酬にどの状態-作用ペアが責任を持つかを決定することである。 我々は、因果的な観点から、状態と行動の貢献を明示的にモデル化し、解釈可能な報酬の再分配をもたらすことを提案する。 実験の結果,本手法は最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-05-28T21:51:38Z)
• Distributional Reward Estimation for Effective Multi-Agent Deep Reinforcement Learning [19.788336796981685]
  実効的マルチエージェント強化学習(DRE-MARL)のための分散逆推定フレームワークを提案する。 本研究の目的は,安定トレーニングのための多行動分岐報酬推定と政策重み付け報酬アグリゲーションを設計することである。 DRE-MARLの優位性は,有効性とロバスト性の両方の観点から,SOTAベースラインと比較して,ベンチマークマルチエージェントシナリオを用いて実証される。
  論文  参考訳（メタデータ） (2022-10-14T08:31:45Z)
• Learning Long-Term Reward Redistribution via Randomized Return Decomposition [18.47810850195995]
  軌跡フィードバックを用いたエピソード強化学習の問題点について考察する。 これは、エージェントが各軌道の終端で1つの報酬信号しか取得できないような、報酬信号の極端な遅延を指す。 本稿では,代償再分配アルゴリズムであるランダムリターン分解(RRD)を提案する。
  論文  参考訳（メタデータ） (2021-11-26T13:23:36Z)
• Distributional Reinforcement Learning for Multi-Dimensional Reward Functions [91.88969237680669]
  多次元分布DQN(MD3QN)を導入し、複数の報酬源からの共振分布をモデル化する。 関節分布モデリングの副産物として、MD3QNは各報酬源に対するリターンのランダム性を捉えることができる。 実験では,リッチな相関型報酬関数を持つ環境下での連立戻り分布を精度良くモデル化した。
  論文  参考訳（メタデータ） (2021-10-26T11:24:23Z)
• Information Directed Reward Learning for Reinforcement Learning [64.33774245655401]
  我々は、標準rlアルゴリズムが可能な限り少数の専門家クエリで高い期待値を達成することができる報酬関数のモデルを学ぶ。 特定のタイプのクエリ用に設計された以前のアクティブな報酬学習方法とは対照的に、IDRLは自然に異なるクエリタイプに対応します。 我々は,複数の環境における広範囲な評価と,異なるタイプのクエリでこの結果を支持する。
  論文  参考訳（メタデータ） (2021-02-24T18:46:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。