論文の概要: Training Robots to Evaluate Robots: Example-Based Interactive Reward Functions for Policy Learning

• arxiv url: http://arxiv.org/abs/2212.08961v1
• Date: Sat, 17 Dec 2022 21:44:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 18:42:15.964745
• Title: Training Robots to Evaluate Robots: Example-Based Interactive Reward Functions for Policy Learning
• Title（参考訳）: ロボット評価のための訓練ロボット:政策学習のための事例ベースインタラクティブリワード機能
• Authors: Kun Huang, Edward S. Hu, Dinesh Jayaraman
• Abstract要約: 我々は,ロボットにこのような対話的行動を自動的に取得するように訓練することを提案する。 これらの評価は「相互報酬関数」(IRF)として機能する。 IRFは、成功した結果の例のみを使用して、都合よく訓練することができる。
• 参考スコア（独自算出の注目度）: 20.565163553170397
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Physical interactions can often help reveal information that is not readily apparent. For example, we may tug at a table leg to evaluate whether it is built well, or turn a water bottle upside down to check that it is watertight. We propose to train robots to acquire such interactive behaviors automatically, for the purpose of evaluating the result of an attempted robotic skill execution. These evaluations in turn serve as "interactive reward functions" (IRFs) for training reinforcement learning policies to perform the target skill, such as screwing the table leg tightly. In addition, even after task policies are fully trained, IRFs can serve as verification mechanisms that improve online task execution. For any given task, our IRFs can be conveniently trained using only examples of successful outcomes, and no further specification is needed to train the task policy thereafter. In our evaluations on door locking and weighted block stacking in simulation, and screw tightening on a real robot, IRFs enable large performance improvements, even outperforming baselines with access to demonstrations or carefully engineered rewards. Project website: https://sites.google.com/view/lirf-corl-2022/
• Abstract（参考訳）: 物理的相互作用は、しばしば容易には明らかでない情報を明らかにするのに役立つ。 例えば、テーブルの脚を引っ張って、それがうまく構築されているかどうかを評価したり、ボトルを逆さまに回して、水密であることを確認したりできます。 そこで本研究では,このような対話的行動を自動的に獲得するロボットを訓練し,ロボットのスキル実行実験の結果を評価することを提案する。 これらの評価は、テーブル脚をしっかりねじるなどの目標スキルを実行するための強化学習ポリシーを訓練するための「インタラクティブ報酬機能」(IRF)として機能する。 さらに、タスクポリシーが完全に訓練された後も、IRFはオンラインタスク実行を改善する検証メカニズムとして機能する。 任意のタスクに対して、我々のIRFは、成功した結果の例のみを使用して便利なトレーニングを行うことができ、その後のタスクポリシーのトレーニングには、それ以上の仕様は必要ない。 シミュレーションにおけるドアロックと重み付けブロックの積み重ね、および実際のロボットのねじ締め付けに関する評価において、IRFは、デモへのアクセスや慎重にエンジニアリングされた報酬により、ベースラインよりも優れたパフォーマンスを実現している。 プロジェクトウェブサイト: https://sites.google.com/view/lirf-corl-2022/

関連論文リスト

• FLaRe: Achieving Masterful and Adaptive Robot Policies with Large-Scale Reinforcement Learning Fine-Tuning [74.25049012472502]
  FLaReは、堅牢な事前訓練された表現、大規模なトレーニング、勾配安定化技術を統合する大規模な強化学習フレームワークである。 提案手法は,タスク完了に向けた事前訓練されたポリシーを整列し,これまで実証され,全く新しいタスクや実施状況において,最先端(SoTA)のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-09-25T03:15:17Z)
• Affordance-Guided Reinforcement Learning via Visual Prompting [51.361977466993345]
  Keypoint-based Affordance Guidance for Improvements (KAGI) は、視覚言語モデル(VLM)によって形成される報酬を自律的なRLに活用する手法である。 自然言語記述によって指定された実世界の操作タスクにおいて、KAGIは自律的なRLのサンプル効率を改善し、20Kのオンライン微調整ステップでタスク完了を成功させる。
  論文  参考訳（メタデータ） (2024-07-14T21:41:29Z)
• Robotic Control via Embodied Chain-of-Thought Reasoning [86.6680905262442]
  学習したロボット制御ポリシーの鍵となる制限は、トレーニングデータの外部で一般化できないことである。 視覚言語行動モデル(VLA)に関する最近の研究は、大規模なインターネット事前学習型視覚言語モデルを使用することで、その堅牢性と一般化能力を大幅に向上させることができることを示した。 ロボットの動作を予測する前に、VLAに対して、計画、サブタスク、動作、視覚的接地機能について複数の推論を行うために、VLAに対してEmbodied Chain-of-Thought Reasoning (ECoT)を導入する。
  論文  参考訳（メタデータ） (2024-07-11T17:31:01Z)
• Interactive Robot Learning from Verbal Correction [42.37176329867376]
  OLAFは、ロボットがミスをしたとき、言葉で訂正するロボットを教える。 OLAFの重要な特徴は、言葉のフィードバックに基づいてロボットの視覚運動神経ポリシーを更新する能力である。 本研究では,ユーザがロボットに長期操作タスクを指示する実験において,設計の有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-26T16:46:12Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)
• Variational Meta Reinforcement Learning for Social Robotics [15.754961709819938]
  社会ロボティクスは依然として多くの課題に直面している。 1つのボトルネックは、社会規範が環境に強く依存するため、ロボットの振る舞いを頻繁に適応させることである。 本研究ではメタ強化学習(meta-RL)を潜在的ソリューションとして検討する。
  論文  参考訳（メタデータ） (2022-06-07T12:08:59Z)
• A Framework for Efficient Robotic Manipulation [79.10407063260473]
  単一のロボットアームがピクセルからスパースリワード操作ポリシーを学習できることを示します。 デモは10回しかなく、単一のロボットアームがピクセルからスパースリワード操作のポリシーを学習できることを示しています。
  論文  参考訳（メタデータ） (2020-12-14T22:18:39Z)
• Reinforcement Learning Experiments and Benchmark for Solving Robotic Reaching Tasks [0.0]
  強化学習はロボットアームによる到達タスクの解決に成功している。 ハイドサイト体験再生探索技術により報奨信号の増大が, オフ・ポリティクス・エージェントの平均リターンを増加させることが示されている。
  論文  参考訳（メタデータ） (2020-11-11T14:00:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。