論文の概要: Inverse Dynamics Pretraining Learns Good Representations for Multitask
Imitation
- arxiv url: http://arxiv.org/abs/2305.16985v2
- Date: Wed, 25 Oct 2023 17:59:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 20:54:01.127714
- Title: Inverse Dynamics Pretraining Learns Good Representations for Multitask
Imitation
- Title（参考訳）: Inverse Dynamics Pretrainingはマルチタスク模倣のための良い表現を学習する
- Authors: David Brandfonbrener, Ofir Nachum, Joan Bruna
- Abstract要約: このようなパラダイムを模倣学習でどのように行うべきかを評価する。
本稿では,事前学習コーパスがマルチタスクのデモンストレーションから成り立つ環境について考察する。
逆動力学モデリングはこの設定に適していると主張する。
- 参考スコア（独自算出の注目度）: 66.86987509942607
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, domains such as natural language processing and image
recognition have popularized the paradigm of using large datasets to pretrain
representations that can be effectively transferred to downstream tasks. In
this work we evaluate how such a paradigm should be done in imitation learning,
where both pretraining and finetuning data are trajectories collected by
experts interacting with an unknown environment. Namely, we consider a setting
where the pretraining corpus consists of multitask demonstrations and the task
for each demonstration is set by an unobserved latent context variable. The
goal is to use the pretraining corpus to learn a low dimensional representation
of the high dimensional (e.g., visual) observation space which can be
transferred to a novel context for finetuning on a limited dataset of
demonstrations. Among a variety of possible pretraining objectives, we argue
that inverse dynamics modeling -- i.e., predicting an action given the
observations appearing before and after it in the demonstration -- is
well-suited to this setting. We provide empirical evidence of this claim
through evaluations on a variety of simulated visuomotor manipulation problems.
While previous work has attempted various theoretical explanations regarding
the benefit of inverse dynamics modeling, we find that these arguments are
insufficient to explain the empirical advantages often observed in our
settings, and so we derive a novel analysis using a simple but general
environment model.
- Abstract（参考訳）: 近年、自然言語処理や画像認識といったドメインは、ダウンストリームタスクに効果的に転送可能な表現を事前学習するために大規模なデータセットを使用するというパラダイムを広めている。
本研究では,事前学習と微調整の両方が未知の環境と対話する専門家によって収集される軌跡である模倣学習において,そのようなパラダイムをどのように行うべきかを評価する。
すなわち、プリトレーニングコーパスがマルチタスクのデモンストレーションで構成され、各デモンストレーションのタスクが観測できない潜在コンテキスト変数によって設定されるような設定を考える。
目標は、プレトレーニングコーパスを使用して、デモの限られたデータセットを微調整するための新しいコンテキストに転送できる高次元(例えば、視覚)観測空間の低次元表現を学習することである。
様々な事前訓練対象のうち、逆動力学モデリング、すなわち、実験の前後で観察された結果から行動を予測することは、この設定に適していると主張する。
この主張の実証的証拠として, 種々の模擬振動子操作問題の評価を行った。
前回の研究は逆ダイナミクスモデリングの利点に関する様々な理論的な説明を試みたが、これらの議論は我々の設定でよく見られる経験的利点を説明するには不十分であり、単純だが一般的な環境モデルを用いて新しい分析を導出する。
関連論文リスト
- Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。
学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。
本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
論文 参考訳（メタデータ） (2024-07-09T15:45:04Z) - Corpus Considerations for Annotator Modeling and Scaling [9.263562546969695]
一般的に使われているユーザトークンモデルは、より複雑なモデルよりも一貫して優れています。
以上の結果から,コーパス統計とアノテータモデリング性能の関係が明らかになった。
論文 参考訳（メタデータ） (2024-04-02T22:27:24Z) - Learning invariant representations of time-homogeneous stochastic dynamical systems [27.127773672738535]
我々は,そのダイナミクスを忠実に捉えた状態の表現を学習する問題を研究する。
これは、転送演算子やシステムのジェネレータを学ぶのに役立ちます。
ニューラルネットワークに対する最適化問題として,優れた表現の探索が可能であることを示す。
論文 参考訳（メタデータ） (2023-07-19T11:32:24Z) - The Trade-off between Universality and Label Efficiency of
Representations from Contrastive Learning [32.15608637930748]
2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。
我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
論文 参考訳（メタデータ） (2023-02-28T22:14:33Z) - Leveraging Demonstrations with Latent Space Priors [90.56502305574665]
本稿では,スキル学習とシーケンスモデリングを組み合わせることで,実演データセットを活用することを提案する。
本研究では、国家のみのモーションキャプチャーの実証から、そのような先行情報をどうやって取得するかを示し、政策学習に組み込むためのいくつかの方法を探る。
実験結果から, 学習速度と最終性能において, 遅延空間が顕著に向上することが確認された。
論文 参考訳（メタデータ） (2022-10-26T13:08:46Z) - On the Viability of Monocular Depth Pre-training for Semantic Segmentation [48.29060171161375]
本研究は,意味的タスクへの下流移動において,幾何学的タスクの事前学習が有効かどうかを考察する。
単分子深度は意味的セグメンテーションのための事前学習の実行可能な形式であり、共通ベースラインの改善によって検証される。
論文 参考訳（メタデータ） (2022-03-26T04:27:28Z) - On Contrastive Representations of Stochastic Processes [53.21653429290478]
プロセスの表現を学習することは、機械学習の新たな問題である。
本手法は,周期関数,3次元オブジェクト,動的プロセスの表現の学習に有効であることを示す。
論文 参考訳（メタデータ） (2021-06-18T11:00:24Z) - Video Prediction via Example Guidance [156.08546987158616]
ビデオ予測タスクでは、将来のコンテンツとダイナミクスのマルチモーダルな性質を捉えることが大きな課題である。
本研究では,有効な将来状態の予測を効果的に行うための,シンプルで効果的なフレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-03T14:57:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。