論文の概要: Deep reinforcement learning from human preferences

• arxiv url: http://arxiv.org/abs/1706.03741v4
• Date: Fri, 17 Feb 2023 17:00:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-25 04:58:33.382390
• Title: Deep reinforcement learning from human preferences
• Title（参考訳）: 人選好からの深い強化学習
• Authors: Paul Christiano, Jan Leike, Tom B. Brown, Miljan Martic, Shane Legg, Dario Amodei
• Abstract要約: 我々は、軌道セグメントのペア間の人間の選好(非専門家)の観点から定義された目標を探索する。 提案手法は,報酬関数を使わずに複雑なRLタスクを効果的に解くことができることを示す。 これにより、人間の監視コストを十分に低減し、最先端のRLシステムに実用的に適用することができる。
• 参考スコア（独自算出の注目度）: 19.871618959160692
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For sophisticated reinforcement learning (RL) systems to interact usefully with real-world environments, we need to communicate complex goals to these systems. In this work, we explore goals defined in terms of (non-expert) human preferences between pairs of trajectory segments. We show that this approach can effectively solve complex RL tasks without access to the reward function, including Atari games and simulated robot locomotion, while providing feedback on less than one percent of our agent's interactions with the environment. This reduces the cost of human oversight far enough that it can be practically applied to state-of-the-art RL systems. To demonstrate the flexibility of our approach, we show that we can successfully train complex novel behaviors with about an hour of human time. These behaviors and environments are considerably more complex than any that have been previously learned from human feedback.
• Abstract（参考訳）: 高度な強化学習(RL)システムが実環境と有効に相互作用するためには、これらのシステムに複雑な目標を伝える必要がある。 本研究では,一対の軌道セグメント間の人間の嗜好の観点で定義された目標について検討する。 このアプローチは,atariゲームやシミュレーションロボットのロコモーションなど,報酬機能にアクセスせずに,複雑なrlタスクを効果的に解決できると同時に,エージェントと環境とのインタラクションの1%未満のフィードバックを提供する。 これにより、人間の監視コストを十分に低減し、最先端のRLシステムに適用することができる。 このアプローチの柔軟性を示すために、人間の時間約1時間で複雑な新しい行動をうまく訓練できることを示しました。 これらの行動や環境は、これまで人間のフィードバックから学んだものよりもかなり複雑です。

関連論文リスト

• Autonomous Robotic Reinforcement Learning with Asynchronous Human Feedback [27.223725464754853]
  GEARは、ロボットを現実世界の環境に配置し、中断することなく自律的に訓練することを可能にする。 システムはリモート、クラウドソース、非専門家からの非同期フィードバックのみを必要とする、Webインターフェースにロボットエクスペリエンスをストリームする。
  論文  参考訳（メタデータ） (2023-10-31T16:43:56Z)
• REBOOT: Reuse Data for Bootstrapping Efficient Real-World Dexterous Manipulation [61.7171775202833]
  本稿では,強化学習による巧妙な操作スキルの学習を効率化するシステムを提案する。 我々のアプローチの主な考え方は、サンプル効率のRLとリプレイバッファブートストラップの最近の進歩の統合である。 本システムでは,実世界の学習サイクルを,模倣に基づくピックアップポリシを通じて学習されたリセットを組み込むことで完遂する。
  論文  参考訳（メタデータ） (2023-09-06T19:05:31Z)
• Accelerating Interactive Human-like Manipulation Learning with GPU-based Simulation and High-quality Demonstrations [25.393382192511716]
  コンタクトリッチなタスクを対話的に操作するための没入型仮想現実遠隔操作インタフェースを提案する。 我々は,大規模並列RLと模倣学習の相補的強みを実証し,頑健で自然な振る舞いを示す。
  論文  参考訳（メタデータ） (2022-12-05T09:37:27Z)
• A Walk in the Park: Learning to Walk in 20 Minutes With Model-Free Reinforcement Learning [86.06110576808824]
  深層強化学習は、制御されていない環境での学習ポリシーに対する有望なアプローチである。 機械学習アルゴリズムとライブラリの最近の進歩と、慎重に調整されたロボットコントローラを組み合わせることで、現実世界では4分で学習できる。
  論文  参考訳（メタデータ） (2022-08-16T17:37:36Z)
• Accelerating Robotic Reinforcement Learning via Parameterized Action Primitives [92.0321404272942]
  強化学習は汎用ロボットシステムの構築に使用することができる。 しかし、ロボット工学の課題を解決するためにRLエージェントを訓練することは依然として困難である。 本研究では,ロボット行動プリミティブ(RAPS)のライブラリを手動で指定し,RLポリシーで学習した引数をパラメータ化する。 動作インターフェースへの簡単な変更は、学習効率とタスクパフォーマンスの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2021-10-28T17:59:30Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• How to Train Your Robot with Deep Reinforcement Learning; Lessons We've Learned [111.06812202454364]
  本稿では,ロボット深部RLのケーススタディをいくつか紹介する。 深部RLにおける一般的な課題と,それらの課題について論じる。 また、他の卓越した課題についても概説し、その多くが現実世界のロボティクスの設定に特有のものである。
  論文  参考訳（メタデータ） (2021-02-04T22:09:28Z)
• Weak Human Preference Supervision For Deep Reinforcement Learning [48.03929962249475]
  人間の好みによる現在の報酬学習は、報酬関数にアクセスせずに複雑な強化学習(RL)タスクを解決するために使用できる。 そこで我々は,人間の嗜好スケーリングモデルを開発した,弱い人間の嗜好監視フレームワークを提案する。 提案手法では,環境との相互作用の 0.01% 未満の人的フィードバックしか必要としない。
  論文  参考訳（メタデータ） (2020-07-25T10:37:15Z)
• Deep Reinforcement Learning with Interactive Feedback in a Human-Robot Environment [1.2998475032187096]
  対話型フィードバックを用いた深層強化学習手法を提案し,人間ロボットのシナリオで家庭内課題を学習する。 シミュレーションロボットアームを用いた3つの学習手法を比較し,異なる物体を整理する作業について検討した。 その結果、学習エージェントは、エージェントIDeepRLまたはヒューマンIDeepRLを使用して、与えられたタスクを早期に完了し、自律的なDeepRLアプローチと比較して誤りが少ないことがわかった。
  論文  参考訳（メタデータ） (2020-07-07T11:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。