論文の概要: Generalizable Imitation Learning Through Pre-Trained Representations
- arxiv url: http://arxiv.org/abs/2311.09350v2
- Date: Mon, 10 Mar 2025 18:57:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-12 19:16:27.650470
- Title: Generalizable Imitation Learning Through Pre-Trained Representations
- Title(参考訳): 事前学習による一般化可能な模倣学習
- Authors: Wei-Di Chang, Francois Hogan, Scott Fujimoto, David Meger, Gregory Dudek,
- Abstract要約: DVKは、リッチなトレーニング済みのVisual Transformerパッチレベルの埋め込みを活用して、デモを通して学習する際の一般化を向上する模倣学習アルゴリズムである。
我々の学習者は、外見の特徴をセマンティックな概念に関連付けられたグループにまとめ、幅広い外見のバリエーションやオブジェクトタイプにまたがる安定なキーポイントを形成することで世界を見る。
- 参考スコア(独自算出の注目度): 23.674399455529624
- License:
- Abstract: In this paper, we leverage self-supervised vision transformer models and their emergent semantic abilities to improve the generalization abilities of imitation learning policies. We introduce DVK, an imitation learning algorithm that leverages rich pre-trained Visual Transformer patch-level embeddings to obtain better generalization when learning through demonstrations. Our learner sees the world by clustering appearance features into groups associated with semantic concepts, forming stable keypoints that generalize across a wide range of appearance variations and object types. We demonstrate how this representation enables generalized behaviour by evaluating imitation learning across a diverse dataset of object manipulation tasks. To facilitate further study of generalization in Imitation Learning, all of our code for the method and evaluation, as well as the dataset, is made available.
- Abstract(参考訳): 本稿では,自己教師型視覚トランスフォーマーモデルとその創発的意味能力を活用し,模倣学習ポリシーの一般化能力を向上させる。
DVKは、リッチなトレーニング済みのVisual Transformerパッチレベルの埋め込みを活用して、デモを通して学習する際の一般化を向上する模倣学習アルゴリズムである。
我々の学習者は、外見の特徴をセマンティックな概念に関連付けられたグループにまとめ、幅広い外見のバリエーションやオブジェクトタイプにまたがる安定なキーポイントを形成することで世界を見る。
この表現がオブジェクト操作タスクの多種多様なデータセットにまたがる模倣学習を評価することによって、一般化行動を実現する方法を示す。
イミテーションラーニングにおける一般化のさらなる研究を容易にするため,本手法と評価のためのコードとデータセットが利用可能である。
関連論文リスト
- Learning and Leveraging World Models in Visual Representation Learning [34.81177885432796]
JEPA(Joint-Embedding Predictive Architecture)は,世界モデルを活用することで学ぶ,有望な自己教師型アプローチとして登場した。
我々は,マスク付き画像モデリングを超越したアプローチであるイメージワールドモデルを導入し,潜在空間におけるグローバルな測光変換の効果を予測する。
論文 参考訳(メタデータ) (2024-03-01T13:05:38Z) - Invariance is Key to Generalization: Examining the Role of
Representation in Sim-to-Real Transfer for Visual Navigation [35.01394611106655]
一般化の鍵は、すべてのタスク関連情報をキャプチャするのに十分なリッチな表現である。
このような視覚ナビゲーションの表現を実験的に研究する。
我々の表現は、トレーニングドメインとテストドメイン間のA距離を減少させる。
論文 参考訳(メタデータ) (2023-10-23T15:15:19Z) - ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
認知のための行動認識型身体学習(ALP)について紹介する。
ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。
ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-16T21:51:04Z) - SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for
Few-shot Image Classification [84.05253637260743]
本稿では,セマンティック誘導視覚適応(SgVA)と呼ばれる新しいフレームワークを提案する。
SgVAは、視覚特異的のコントラスト損失、クロスモーダルのコントラスト損失、暗黙の知識蒸留を包括的に利用することで、識別的なタスク固有の視覚特徴を生成する。
13のデータセットの最先端の結果は、適応された視覚的特徴が、クロスモーダルな特徴を補完し、少数の画像分類を改善することを実証している。
論文 参考訳(メタデータ) (2022-11-28T14:58:15Z) - Visual Adversarial Imitation Learning using Variational Models [60.69745540036375]
逆関数仕様は、深い強化学習を通しての学習行動にとって大きな障害であり続けている。
望ましい行動の視覚的なデモンストレーションは、エージェントを教えるためのより簡単で自然な方法を示すことが多い。
変動モデルに基づく対向的模倣学習アルゴリズムを開発した。
論文 参考訳(メタデータ) (2021-07-16T00:15:18Z) - Representation Learning for Out-Of-Distribution Generalization in
Reinforcement Learning [39.21650402977466]
本稿では,実世界の下流作業における学習表現の有用性を,初めて体系的に評価することを目的とする。
1万以上の強化学習政策を訓練することにより、異なる表現特性がアウト・オブ・ディストリビューションの一般化にどの程度影響するかを広範囲に評価する。
ドメインのランダム化や微調整なしにシミュレーションから実世界へのポリシーのゼロショット転送を実証する。
論文 参考訳(メタデータ) (2021-07-12T18:49:48Z) - A Self-Supervised Framework for Function Learning and Extrapolation [1.9374999427973014]
本稿では,学習者が一般化を支援する表現を取得するためのフレームワークを提案する。
得られた表現は、教師なし時系列学習において、他のモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2021-06-14T12:41:03Z) - Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。
我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文 参考訳(メタデータ) (2020-07-14T22:04:17Z) - Guided Variational Autoencoder for Disentanglement Learning [79.02010588207416]
本稿では,潜在表現非絡み合い学習を行うことで,制御可能な生成モデルを学習できるアルゴリズム,Guided-VAEを提案する。
我々は、ガイド-VAEにおける教師なし戦略と教師なし戦略を設計し、バニラVAE上でのモデリングと制御能力の強化を観察する。
論文 参考訳(メタデータ) (2020-04-02T20:49:15Z) - Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。
タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。
この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
論文 参考訳(メタデータ) (2020-02-03T06:13:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。