論文の概要: Improving Multimodal Interactive Agents with Reinforcement Learning from Human Feedback

• arxiv url: http://arxiv.org/abs/2211.11602v1
• Date: Mon, 21 Nov 2022 16:00:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 23:38:50.536742
• Title: Improving Multimodal Interactive Agents with Reinforcement Learning from Human Feedback
• Title（参考訳）: 人間フィードバックからの強化学習によるマルチモーダル対話エージェントの改善
• Authors: Josh Abramson, Arun Ahuja, Federico Carnevale, Petko Georgiev, Alex Goldin, Alden Hung, Jessica Landon, Jirka Lhotka, Timothy Lillicrap, Alistair Muldal, George Powell, Adam Santoro, Guy Scully, Sanjana Srivastava, Tamara von Glehn, Greg Wayne, Nathaniel Wong, Chen Yan, Rui Zhu
• Abstract要約: 人工知能の重要な目標は、人間と自然に対話し、フィードバックから学ぶことができるエージェントを作ることである。 ここでは、人間のフィードバックから強化学習を用いて、シミュレーションされたエンボディエージェントを改善する方法を紹介する。
• 参考スコア（独自算出の注目度）: 16.268581985382433
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An important goal in artificial intelligence is to create agents that can both interact naturally with humans and learn from their feedback. Here we demonstrate how to use reinforcement learning from human feedback (RLHF) to improve upon simulated, embodied agents trained to a base level of competency with imitation learning. First, we collected data of humans interacting with agents in a simulated 3D world. We then asked annotators to record moments where they believed that agents either progressed toward or regressed from their human-instructed goal. Using this annotation data we leveraged a novel method - which we call "Inter-temporal Bradley-Terry" (IBT) modelling - to build a reward model that captures human judgments. Agents trained to optimise rewards delivered from IBT reward models improved with respect to all of our metrics, including subsequent human judgment during live interactions with agents. Altogether our results demonstrate how one can successfully leverage human judgments to improve agent behaviour, allowing us to use reinforcement learning in complex, embodied domains without programmatic reward functions. Videos of agent behaviour may be found at https://youtu.be/v_Z9F2_eKk4.
• Abstract（参考訳）: 人工知能の重要な目標は、人間と自然に相互作用し、フィードバックから学ぶことができるエージェントを作ることである。 本稿では、人間フィードバック(rlhf)からの強化学習を用いて、模倣学習の基盤レベルに訓練されたエージェントをシミュレーションして改善する方法を示す。 まず、シミュレーションされた3D世界において、エージェントと対話する人間のデータを収集した。 そして、アノテーターに、エージェントが人間に指示された目標に向かって前進したか、後退したと信じる瞬間を記録するように頼みました。 このアノテーションデータを使用することで、人間の判断を捉える報酬モデルを構築するために、"Inter-temporal Bradley-Terry"(IBT)モデルと呼ばれる新しい手法を利用した。 IBT報酬モデルから得られる報酬を最適化するために訓練されたエージェントは、エージェントとのライブインタラクション中の人間の判断を含むすべての指標に関して改善した。 その結果、エージェントの振る舞いを改善するために人間の判断をうまく活用し、プログラム的な報酬関数を使わずに、複雑で具体化されたドメインでの強化学習を実現できることを示した。 エージェントの振る舞いのビデオはhttps://youtu.be/v_Z9F2_eKk4で見ることができる。

関連論文リスト

• Learning to Influence Human Behavior with Offline Reinforcement Learning [70.7884839812069]
  人間の準最適性を捉える必要があるような環境での影響に焦点を当てる。 人間によるオンライン実験は安全ではない可能性があり、環境の高忠実度シミュレータを作成することは現実的ではないことが多い。 オフライン強化学習は、観察された人間・人間の行動の要素を拡張し、組み合わせることで、人間に効果的に影響を及ぼすことができることを示す。
  論文  参考訳（メタデータ） (2023-03-03T23:41:55Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)
• Creating Multimodal Interactive Agents with Imitation and Self-Supervised Learning [20.02604302565522]
  SFからの一般的なビジョンは、ロボットはいつか私たちの物理的空間に住み、世界は私たちのように感じ、肉体労働を補助し、自然言語を通して私たちとコミュニケーションする、ということだ。 本稿では,仮想環境の単純化により人間と自然に対話できる人工エージェントを設計する方法について検討する。 シミュレーションされた世界における人間と人間の相互作用の模倣学習は、自己指導型学習と合わせて、多モーダルな対話型エージェントを作るのに十分であることを示す。
  論文  参考訳（メタデータ） (2021-12-07T15:17:27Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• Learning Human Rewards by Inferring Their Latent Intelligence Levels in Multi-Agent Games: A Theory-of-Mind Approach with Application to Driving Data [18.750834997334664]
  我々は、人間は有理論的であり、他人の意思決定過程を推論する際に異なる知能レベルを持っていると論じる。 学習中の人間の潜在知能レベルを推論する,新しいマルチエージェント逆強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-07T07:48:31Z)
• PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning [102.36450942613091]
  時間差学習(ITD)と呼ばれる逆強化学習アルゴリズムを提案する。 Psi Phi$-learningと呼ばれるデモで強化学習のための新しいアルゴリズムに到達し、オンライン環境の相互作用から学習とITDをシームレスに統合する方法を示します。
  論文  参考訳（メタデータ） (2021-02-24T21:12:09Z)
• Semi-supervised reward learning for offline reinforcement learning [71.6909757718301]
  トレーニングエージェントは通常、報酬機能が必要ですが、報酬は実際にはほとんど利用できず、エンジニアリングは困難で手間がかかります。 限定されたアノテーションから学習し,ラベルなしデータを含む半教師付き学習アルゴリズムを提案する。 シミュレーションロボットアームを用いた実験では,動作のクローン化が大幅に向上し,真理の報奨によって達成される性能に近づいた。
  論文  参考訳（メタデータ） (2020-12-12T20:06:15Z)
• Imitating Interactive Intelligence [24.95842455898523]
  仮想環境の簡略化を用いて、人間と自然に相互作用できる人工エージェントの設計方法を検討する。 人間とロバストに相互作用できるエージェントを構築するには、人間と対話しながらトレーニングするのが理想的です。 我々は,人間とエージェントエージェントの対話行動の相違を低減するために,逆強化学習の考え方を用いる。
  論文  参考訳（メタデータ） (2020-12-10T13:55:47Z)
• Accelerating Reinforcement Learning Agent with EEG-based Implicit Human Feedback [10.138798960466222]
  人間のフィードバックによる強化学習(RL)エージェントは、学習のさまざまな側面を劇的に改善することができる。 従来の方法では、人間の観察者が明示的に入力をし、RLエージェントの学習プロセスのループで人間を負担する必要があった。 脳波による人間の内因性反応を、エラー関連電位(ErrP)の形で暗黙の(そして自然な)フィードバックとして捉えることを検討する。
  論文  参考訳（メタデータ） (2020-06-30T03:13:37Z)
• On the interaction between supervision and self-play in emergent communication [82.290338507106]
  本研究は,2つのカテゴリの学習信号と,サンプル効率の向上を目標とする学習信号の関係について検討する。 人間のデータに基づく教師付き学習による初等訓練エージェントが,自己演奏が会話に優れていることが判明した。
  論文  参考訳（メタデータ） (2020-02-04T02:35:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。