論文の概要: Implicit Behavioral Cloning
- arxiv url: http://arxiv.org/abs/2109.00137v1
- Date: Wed, 1 Sep 2021 01:20:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-02 14:27:46.853863
- Title: Implicit Behavioral Cloning
- Title(参考訳): 暗黙的行動的クローニング
- Authors: Pete Florence, Corey Lynch, Andy Zeng, Oscar Ramirez, Ayzaan Wahid,
Laura Downs, Adrian Wong, Johnny Lee, Igor Mordatch, Jonathan Tompson
- Abstract要約: 教師付き政策学習を暗黙的モデルで扱うことは、一般的に使われる明示的モデルよりも平均的に優れていることを示す。
ロボットポリシー学習タスクにおいて、エネルギーベースモデル(EBM)による暗黙的な行動クローニングポリシーは、しばしば共通の明示的なポリシーよりも優れていることを示す。
- 参考スコア(独自算出の注目度): 30.49554953862617
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We find that across a wide range of robot policy learning scenarios, treating
supervised policy learning with an implicit model generally performs better, on
average, than commonly used explicit models. We present extensive experiments
on this finding, and we provide both intuitive insight and theoretical
arguments distinguishing the properties of implicit models compared to their
explicit counterparts, particularly with respect to approximating complex,
potentially discontinuous and multi-valued (set-valued) functions. On robotic
policy learning tasks we show that implicit behavioral cloning policies with
energy-based models (EBM) often outperform common explicit (Mean Square Error,
or Mixture Density) behavioral cloning policies, including on tasks with
high-dimensional action spaces and visual image inputs. We find these policies
provide competitive results or outperform state-of-the-art offline
reinforcement learning methods on the challenging human-expert tasks from the
D4RL benchmark suite, despite using no reward information. In the real world,
robots with implicit policies can learn complex and remarkably subtle behaviors
on contact-rich tasks from human demonstrations, including tasks with high
combinatorial complexity and tasks requiring 1mm precision.
- Abstract(参考訳): ロボットポリシー学習の幅広いシナリオにおいて、教師付きポリシー学習を暗黙のモデルで扱うことで、一般的に使用される明示的なモデルよりも平均的に、より優れたパフォーマンスが得られます。
この発見について広範な実験を行い、暗黙的モデルの性質と明示的モデルとを区別する直感的な洞察と理論的議論、特に複雑で不連続で多値な(集合評価された)関数の近似について提示する。
ロボットポリシー学習タスクにおいて、エネルギーベースモデル(EBM)による暗黙的な行動クローニングポリシーは、高次元の行動空間や視覚的イメージ入力を持つタスクを含む共通の行動クローニングポリシー(平均平方誤差、混合密度)より優れていることが示される。
これらのポリシーは、報酬情報を使用しないにもかかわらず、D4RLベンチマークスイートからの挑戦的な人間専門家タスクに対して、競争結果を提供するか、最先端のオフライン強化学習手法より優れている。
現実の世界では、暗黙のポリシーを持つロボットは、人間によるデモンストレーションから、接触の多いタスクの複雑な微妙な振る舞いを学習することができる。
関連論文リスト
- Building Minimal and Reusable Causal State Abstractions for
Reinforcement Learning [63.58935783293342]
Causal Bisimulation Modeling (CBM) は、各タスクのダイナミクスと報酬関数の因果関係を学習し、最小限のタスク固有の抽象化を導出する手法である。
CBMの学習された暗黙的ダイナミクスモデルは、明確なものよりも根底にある因果関係と状態抽象化を正確に識別する。
論文 参考訳(メタデータ) (2024-01-23T05:43:15Z) - GAN-MPC: Training Model Predictive Controllers with Parameterized Cost
Functions using Demonstrations from Non-identical Experts [14.291720751625585]
本稿では,ジェンセン-シャノン間におけるデモンストレータの状態-軌道分布のばらつきを最小限に抑えるために,GAN(Generative Adversarial Network)を提案する。
我々はDeepMind Controlスイートの様々なシミュレーションロボットタスクに対するアプローチを評価した。
論文 参考訳(メタデータ) (2023-05-30T15:15:30Z) - Information Maximizing Curriculum: A Curriculum-Based Approach for
Imitating Diverse Skills [14.685043874797742]
本稿では,各データポイントに重みを割り当て,表現可能なデータに特化するようにモデルに促すカリキュラムベースのアプローチを提案する。
すべてのモードをカバーし、多様な振る舞いを可能にするため、我々は、各ミックスコンポーネントが学習のためのトレーニングデータの独自のサブセットを選択する、専門家(MoE)ポリシーの混合にアプローチを拡張します。
データセットの完全なカバレッジを実現するために,新たな最大エントロピーに基づく目標を提案する。
論文 参考訳(メタデータ) (2023-03-27T16:02:50Z) - Exploration via Planning for Information about the Optimal Trajectory [67.33886176127578]
我々は,タスクと現在の知識を考慮に入れながら,探索を計画できる手法を開発した。
本手法は, 探索基準値よりも2倍少ないサンプルで, 強いポリシーを学習できることを実証する。
論文 参考訳(メタデータ) (2022-10-06T20:28:55Z) - Learning Category-Level Generalizable Object Manipulation Policy via
Generative Adversarial Self-Imitation Learning from Demonstrations [14.001076951265558]
汎用的なオブジェクト操作スキルは、インテリジェントロボットが現実世界の複雑なシーンで働くために不可欠である。
本研究では,このカテゴリレベルのオブジェクト操作ポリシー学習問題に対して,タスク非依存の手法で模倣学習を行うことで対処する。
本稿では, 実演から生成的対人自己イメージ学習, 差別化の進行的成長, エキスパートバッファのインスタンスバランスなど, 汎用的ながら重要な手法を提案する。
論文 参考訳(メタデータ) (2022-03-04T02:52:02Z) - Affordance Learning from Play for Sample-Efficient Policy Learning [30.701546777177555]
遠隔操作型プレイデータから自己監督型ビジュアルアプライアンスモデルを用いて,効率的なポリシー学習とモーションプランニングを実現する。
モデルベースプランニングとモデルフリーの深層強化学習を組み合わせることで、人々が好む同じ対象領域を好むポリシーを学ぶ。
我々の政策はベースラインよりも4倍速くトレーニングし、新しいオブジェクトを一般化する。
論文 参考訳(メタデータ) (2022-03-01T11:00:35Z) - Object-Aware Regularization for Addressing Causal Confusion in Imitation
Learning [131.1852444489217]
本稿では,オブジェクト認識方式で模倣ポリシーを標準化する手法として,オブジェクト認識型RegularizatiOn(OREO)を提案する。
我々の主な考えは、政策が専門家の行動と強く相関するニュアンス変数を悪用することを防ぐために、政策が全ての意味オブジェクトに均一に出席することを奨励することである。
論文 参考訳(メタデータ) (2021-10-27T01:56:23Z) - IQ-Learn: Inverse soft-Q Learning for Imitation [95.06031307730245]
少数の専門家データからの模倣学習は、複雑な力学を持つ高次元環境では困難である。
行動クローニングは、実装の単純さと安定した収束性のために広く使われている単純な方法である。
本稿では,1つのQ-関数を学習することで,対向学習を回避する動的適応型ILを提案する。
論文 参考訳(メタデータ) (2021-06-23T03:43:10Z) - Policy Information Capacity: Information-Theoretic Measure for Task
Complexity in Deep Reinforcement Learning [83.66080019570461]
課題の難易度について,環境にとらわれない,アルゴリズムにとらわれない2つの定量的指標を提案する。
これらの指標は、様々な代替案よりも、正規化タスク可解性スコアとの相関が高いことを示す。
これらのメトリクスは、鍵設計パラメータの高速かつ計算効率の良い最適化にも使用できる。
論文 参考訳(メタデータ) (2021-03-23T17:49:50Z) - Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。
本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。
提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文 参考訳(メタデータ) (2020-07-14T16:42:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。