論文の概要: On The Fragility of Learned Reward Functions

• arxiv url: http://arxiv.org/abs/2301.03652v1
• Date: Mon, 9 Jan 2023 19:45:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-11 16:27:04.229308
• Title: On The Fragility of Learned Reward Functions
• Title（参考訳）: 学習報酬関数のフレギリティについて
• Authors: Lev McKinney, Yawen Duan, David Krueger, Adam Gleave
• Abstract要約: 好意に基づく報酬学習の領域における再学習失敗の原因について検討した。 本研究は,文献における再学習に基づく評価の必要性を強調した。
• 参考スコア（独自算出の注目度）: 4.826574398803286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reward functions are notoriously difficult to specify, especially for tasks with complex goals. Reward learning approaches attempt to infer reward functions from human feedback and preferences. Prior works on reward learning have mainly focused on the performance of policies trained alongside the reward function. This practice, however, may fail to detect learned rewards that are not capable of training new policies from scratch and thus do not capture the intended behavior. Our work focuses on demonstrating and studying the causes of these relearning failures in the domain of preference-based reward learning. We demonstrate with experiments in tabular and continuous control environments that the severity of relearning failures can be sensitive to changes in reward model design and the trajectory dataset composition. Based on our findings, we emphasize the need for more retraining-based evaluations in the literature.
• Abstract（参考訳）: 報酬関数は、特に複雑な目標を持つタスクに対して、指定が難しいことで悪名高い。 逆学習アプローチは、人間のフィードバックや好みから報酬関数を推論しようとする。 報酬学習に関する先行研究は、主に報酬関数と共に訓練された政策のパフォーマンスに焦点を当ててきた。 しかし、このプラクティスは、新しいポリシーをスクラッチからトレーニングできず、意図した振る舞いをキャプチャできない学習された報酬を検出できない可能性がある。 私たちの研究は、選好に基づく報酬学習の領域における、これらの再学習失敗の原因の実証と研究に焦点を当てています。 本研究では,表型および連続型の制御環境で実験を行い,再学習障害の重症度が報酬モデル設計および軌道データセット構成の変化に敏感であることを実証する。 本研究は,文献におけるリトレーニングに基づく評価の必要性を強調する。

関連論文リスト

• Sample-Efficient Curriculum Reinforcement Learning for Complex Reward Functions [5.78463306498655]
  強化学習(Reinforcement Learning, RL)は制御問題において有望であるが, 複雑な報酬関数と制約によって生じる複雑性によって, その実践的応用が妨げられることが多い。 本稿では,経験を適応的にサンプリングするフレキシブルなリプレイバッファと組み合わさった,新しい2段階報酬カリキュラムを提案する。 われわれのアプローチは、まず報酬のサブセットについて学び、それから完全な報酬に移行し、エージェントは目的と制約の間のトレードオフを学ぶことができる。
  論文  参考訳（メタデータ） (2024-10-22T08:07:44Z)
• Behavior Alignment via Reward Function Optimization [23.92721220310242]
  設計者のドメイン知識と環境のプライマリ報酬を反映した補助報酬を統合する新しいフレームワークを導入する。 提案手法の有効性を,小型実験から高次元制御課題に至るまで,様々な課題に対して評価する。
  論文  参考訳（メタデータ） (2023-10-29T13:45:07Z)
• Iterative Reward Shaping using Human Feedback for Correcting Reward Misspecification [15.453123084827089]
  ITERSは、人間のフィードバックを用いて、不特定報酬関数の効果を緩和する反復的な報酬形成手法である。 ITERSを3つの環境で評価し,不特定報酬関数の修正に成功していることを示す。
  論文  参考訳（メタデータ） (2023-08-30T11:45:40Z)
• Unpacking Reward Shaping: Understanding the Benefits of Reward Engineering on Sample Complexity [114.88145406445483]
  強化学習は、ハイレベルな報酬仕様から行動を学ぶための自動化されたフレームワークを提供する。 実際には、良い結果を得るためには報酬関数の選択が不可欠である。
  論文  参考訳（メタデータ） (2022-10-18T04:21:25Z)
• Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience [89.30876995059168]
  逆強化学習(IRL) - エージェントの報酬関数をその振る舞いを観察することから推測する。 本稿では、エージェントの報酬関数を観察することのできないIRLの問題に対処する。
  論文  参考訳（メタデータ） (2022-08-09T17:29:49Z)
• Imitating Past Successes can be Very Suboptimal [145.70788608016755]
  既存の結果条件付き模倣学習手法が必ずしもポリシーを改善できないことを示す。 簡単な修正が、政策改善を保証する方法をもたらすことを示す。 我々の目的は、全く新しい方法を開発するのではなく、成果条件付き模倣学習の変種が報酬を最大化するためにどのように使用できるかを説明することである。
  論文  参考訳（メタデータ） (2022-06-07T15:13:43Z)
• Transferable Reward Learning by Dynamics-Agnostic Discriminator Ensemble [8.857776147129464]
  専門家によるデモンストレーションから報酬関数を復元することは、強化学習における根本的な問題である。 本研究では、状態行動と状態のみの報酬関数の両方を学習できる動的非依存型識別器・アンサンブル報酬学習法を提案する。
  論文  参考訳（メタデータ） (2022-06-01T05:16:39Z)
• Causal Confusion and Reward Misidentification in Preference-Based Reward Learning [33.944367978407904]
  選好から学習する際の因果的混乱と報酬的誤認について検討した。 その結果,非因果的障害の特徴,優先条件のノイズ,部分的状態観察性の存在が,報酬の誤認を悪化させることが判明した。
  論文  参考訳（メタデータ） (2022-04-13T18:41:41Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• Semi-supervised reward learning for offline reinforcement learning [71.6909757718301]
  トレーニングエージェントは通常、報酬機能が必要ですが、報酬は実際にはほとんど利用できず、エンジニアリングは困難で手間がかかります。 限定されたアノテーションから学習し,ラベルなしデータを含む半教師付き学習アルゴリズムを提案する。 シミュレーションロボットアームを用いた実験では,動作のクローン化が大幅に向上し,真理の報奨によって達成される性能に近づいた。
  論文  参考訳（メタデータ） (2020-12-12T20:06:15Z)
• Experience Replay with Likelihood-free Importance Weights [123.52005591531194]
  本研究は,現在の政策の定常分布下での経験を生かし,その可能性に基づいて,その経験を再評価することを提案する。 提案手法は,ソフトアクタ批判 (SAC) とツイン遅延Deep Deterministic Policy gradient (TD3) の2つの競合手法に実証的に適用する。
  論文  参考訳（メタデータ） (2020-06-23T17:17:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。