論文の概要: Beyond Simple Sum of Delayed Rewards: Non-Markovian Reward Modeling for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2410.20176v1
• Date: Sat, 26 Oct 2024 13:12:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:21:49.515816
• Title: Beyond Simple Sum of Delayed Rewards: Non-Markovian Reward Modeling for Reinforcement Learning
• Title（参考訳）: 遅延リワードの単純な要約を超えて:強化学習のための非マルコフ的リワードモデリング
• Authors: Yuting Tang, Xin-Qiang Cai, Jing-Cheng Pang, Qiyu Wu, Yao-Xiang Ding, Masashi Sugiyama,
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、報酬信号から学習することで、エージェントに様々なスキルを習得する権限を与える。 伝統的な手法では、マルコフ報酬の根底にある存在を仮定し、観測された遅延報酬は単にインスタンスレベルの報酬の和である。 本稿では,特殊なインシーケンスアテンション機構を備えた複合遅延逆変換器(CoDeTr)を提案する。
• 参考スコア（独自算出の注目度）: 44.770495418026734
• License:
• Abstract: Reinforcement Learning (RL) empowers agents to acquire various skills by learning from reward signals. Unfortunately, designing high-quality instance-level rewards often demands significant effort. An emerging alternative, RL with delayed reward, focuses on learning from rewards presented periodically, which can be obtained from human evaluators assessing the agent's performance over sequences of behaviors. However, traditional methods in this domain assume the existence of underlying Markovian rewards and that the observed delayed reward is simply the sum of instance-level rewards, both of which often do not align well with real-world scenarios. In this paper, we introduce the problem of RL from Composite Delayed Reward (RLCoDe), which generalizes traditional RL from delayed rewards by eliminating the strong assumption. We suggest that the delayed reward may arise from a more complex structure reflecting the overall contribution of the sequence. To address this problem, we present a framework for modeling composite delayed rewards, using a weighted sum of non-Markovian components to capture the different contributions of individual steps. Building on this framework, we propose Composite Delayed Reward Transformer (CoDeTr), which incorporates a specialized in-sequence attention mechanism to effectively model these contributions. We conduct experiments on challenging locomotion tasks where the agent receives delayed rewards computed from composite functions of observable step rewards. The experimental results indicate that CoDeTr consistently outperforms baseline methods across evaluated metrics. Additionally, we demonstrate that it effectively identifies the most significant time steps within the sequence and accurately predicts rewards that closely reflect the environment feedback.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、報酬信号から学習することで、エージェントに様々なスキルを習得する権限を与える。 残念なことに、高品質のインスタンスレベルの報酬を設計するには、しばしばかなりの努力が必要です。 報酬の遅れを伴う新たなRLは、定期的に提示される報酬から学習することに焦点を当て、エージェントのパフォーマンスを行動の順序よりも評価する人間の評価者から得られる。 しかし、この領域の伝統的な手法は、基礎となるマルコフ報酬の存在を前提としており、観測された遅延報酬は単にインスタンスレベルの報酬の総和であり、どちらも実世界のシナリオとよく一致しないことが多い。 本稿では、従来のRLを遅延報酬から一般化するRLCoDe(Composite Delayed Reward)のRL問題を紹介する。 遅延報酬は、シーケンスの全体的な寄与を反映したより複雑な構造から生じる可能性があることを示唆する。 この問題に対処するために,非マルコフ成分の重み付け和を用いて,合成遅延報酬をモデル化し,各ステップの異なるコントリビューションをキャプチャするフレームワークを提案する。 本稿では,これらのコントリビューションを効果的にモデル化するための特別なインシーケンスアテンション機構を組み込んだ複合遅延リワードトランス(CoDeTr)を提案する。 エージェントが観測可能なステップ報酬の合成関数から計算した遅延報酬を受信する、困難な移動課題について実験を行う。 実験結果から,CoDeTrは評価指標のベースラインメソッドよりも一貫して優れていたことが示唆された。 さらに、シーケンス内の最も重要な時間ステップを効果的に識別し、環境フィードバックを深く反映した報酬を正確に予測することを示した。

関連論文リスト

• ELO-Rated Sequence Rewards: Advancing Reinforcement Learning Models [3.8616427106430677]
  強化学習(RL)は報酬関数の精巧な設計に依存している。 ELO-Rating based RL (ERRL) という新しい報酬推定アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-05T07:14:03Z)
• Reinforcement Learning from Bagged Reward [46.16904382582698]
  強化学習(RL)では、エージェントが取るアクション毎に即時報奨信号が生成されることが一般的である。 多くの実世界のシナリオでは、即時報酬信号の設計は困難である。 本稿では,双方向の注意機構を備えた新たな報酬再分配手法を提案する。
  論文  参考訳（メタデータ） (2024-02-06T07:26:44Z)
• Dense Reward for Free in Reinforcement Learning from Human Feedback [64.92448888346125]
  我々は報酬モデルが単にスカラー出力よりも多くの情報を含んでいるという事実を活用している。 私たちは、これらの注意重みを使って、完了全体に沿って報酬を再分配します。 経験的に、トレーニングを安定化し、学習速度を加速し、実際は、より良い局所最適性をもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2024-02-01T17:10:35Z)
• DreamSmooth: Improving Model-based Reinforcement Learning via Reward Smoothing [60.21269454707625]
  DreamSmoothは、与えられたタイミングでの正確な報酬ではなく、時間的に滑らかな報酬を予測することを学ぶ。 本研究では,DreamSmoothが長時間のスパース・リワードタスクにおいて最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2023-11-02T17:57:38Z)
• Deep Reinforcement Learning from Hierarchical Preference Design [99.46415116087259]
  本稿では,特定の構造を利用することにより,報酬設計プロセスの容易性を示す。 シナリオのための階層的な報酬モデリングフレームワーク -- HERONを提案する。 (I) フィードバック信号は自然に階層構造を呈し、 (II) 報酬は希少であるが、政策学習を支援するためにあまり重要でないサロゲートフィードバックを持つ。
  論文  参考訳（メタデータ） (2023-09-06T00:44:29Z)
• Unpacking Reward Shaping: Understanding the Benefits of Reward Engineering on Sample Complexity [114.88145406445483]
  強化学習は、ハイレベルな報酬仕様から行動を学ぶための自動化されたフレームワークを提供する。 実際には、良い結果を得るためには報酬関数の選択が不可欠である。
  論文  参考訳（メタデータ） (2022-10-18T04:21:25Z)
• Distributional Reward Estimation for Effective Multi-Agent Deep Reinforcement Learning [19.788336796981685]
  実効的マルチエージェント強化学習(DRE-MARL)のための分散逆推定フレームワークを提案する。 本研究の目的は,安定トレーニングのための多行動分岐報酬推定と政策重み付け報酬アグリゲーションを設計することである。 DRE-MARLの優位性は,有効性とロバスト性の両方の観点から,SOTAベースラインと比較して,ベンチマークマルチエージェントシナリオを用いて実証される。
  論文  参考訳（メタデータ） (2022-10-14T08:31:45Z)
• Learning Long-Term Reward Redistribution via Randomized Return Decomposition [18.47810850195995]
  軌跡フィードバックを用いたエピソード強化学習の問題点について考察する。 これは、エージェントが各軌道の終端で1つの報酬信号しか取得できないような、報酬信号の極端な遅延を指す。 本稿では,代償再分配アルゴリズムであるランダムリターン分解(RRD)を提案する。
  論文  参考訳（メタデータ） (2021-11-26T13:23:36Z)
• Off-Policy Reinforcement Learning with Delayed Rewards [16.914712720033524]
  多くの現実世界のタスクでは、エージェントがアクションを実行した直後に即時報酬がアクセスできない、あるいは定義できない。 本稿では、まず、遅延報酬を伴う環境を正式に定義し、このような環境の非マルコフ的な性質から生じる課題について議論する。 理論収束保証を伴う遅延報酬を処理できる新しいQ-関数の定式化を備えた一般の政治外RLフレームワークを導入する。
  論文  参考訳（メタデータ） (2021-06-22T15:19:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。