論文の概要: One-shot Imitation in a Non-Stationary Environment via Multi-Modal Skill

• arxiv url: http://arxiv.org/abs/2402.08369v1
• Date: Tue, 13 Feb 2024 11:01:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 15:40:13.323848
• Title: One-shot Imitation in a Non-Stationary Environment via Multi-Modal Skill
• Title（参考訳）: マルチモーダルスキルによる非定常環境におけるワンショット模倣
• Authors: Sangwoo Shin, Daehee Lee, Minjong Yoo, Woo Kyung Kim, Honguk Woo
• Abstract要約: 本稿では,ワンショット模倣とゼロショット適応が可能なスキルベース模倣学習フレームワークを提案する。 視覚言語モデルを利用して、オフラインのビデオデータセットから設定したセマンティックスキルを学習する。 拡張された多段階のメタワールドタスクに対して,様々なワンショットの模倣シナリオでフレームワークを評価した。
• 参考スコア（独自算出の注目度）: 6.294766893350108
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One-shot imitation is to learn a new task from a single demonstration, yet it is a challenging problem to adopt it for complex tasks with the high domain diversity inherent in a non-stationary environment. To tackle the problem, we explore the compositionality of complex tasks, and present a novel skill-based imitation learning framework enabling one-shot imitation and zero-shot adaptation; from a single demonstration for a complex unseen task, a semantic skill sequence is inferred and then each skill in the sequence is converted into an action sequence optimized for environmental hidden dynamics that can vary over time. Specifically, we leverage a vision-language model to learn a semantic skill set from offline video datasets, where each skill is represented on the vision-language embedding space, and adapt meta-learning with dynamics inference to enable zero-shot skill adaptation. We evaluate our framework with various one-shot imitation scenarios for extended multi-stage Meta-world tasks, showing its superiority in learning complex tasks, generalizing to dynamics changes, and extending to different demonstration conditions and modalities, compared to other baselines.
• Abstract（参考訳）: ひとつの実演から新しいタスクを学ぶことが1つの模倣だが、非定常環境に固有のドメインの多様性が高い複雑なタスクに適用することは難しい問題である。 課題に対処するため,複雑なタスクの構成性について検討し,ワンショットの模倣とゼロショットの適応が可能な新しいスキルベース模倣学習フレームワークを提案する。複雑な未確認タスクの単一デモンストレーションから意味論的スキルシーケンスを推論し,そのシーケンスの各スキルを時間とともに変化する環境隠れ力学に最適化したアクションシーケンスに変換する。 具体的には、視覚言語モデルを利用して、視覚言語埋め込み空間に各スキルが表現されるオフラインビデオデータセットからセマンティックスキルを学習し、動的推論によるメタラーニングを適用してゼロショットスキル適応を実現する。 我々は,多段階のメタワールドタスクに対する様々な一発的模倣シナリオを用いて,複雑なタスクを学習し,動的変化を一般化し,他のベースラインと比較して異なる実演条件やモダリティにまで拡張する上で,その優位性を示す。

関連論文リスト

• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• SemTra: A Semantic Skill Translator for Cross-Domain Zero-Shot Policy Adaptation [6.876580618014666]
  本研究では、ドメイン間のセッティングにおいて、セマンティックスキル、セマンティックな専門家の行動パターンのゼロショット適応能力について検討する。 本稿では,セマンティック・スキル・トランスレータ・フレームワークSemTraについて述べる。 我々はMeta-World、Franka Kitchen、RLBench、CARLA環境でフレームワークを評価した。
  論文  参考訳（メタデータ） (2024-02-12T05:46:10Z)
• Musketeer: Joint Training for Multi-task Vision Language Model with Task Explanation Prompts [75.75548749888029]
  本稿では,全てのタスクに対してパラメータを共同で訓練し,複数の異種タスク間で完全に共有する視覚言語モデルを提案する。 単一のモデルで、Musteteerは単一のタスクでトレーニングされた強いベースラインに匹敵する結果を得る。
  論文  参考訳（メタデータ） (2023-05-11T17:57:49Z)
• Inferring Versatile Behavior from Demonstrations by Matching Geometric Descriptors [72.62423312645953]
  人間は直感的にタスクを多目的に解決し、軌道に基づく計画や個々のステップの行動を変化させる。 現在のImitation Learningアルゴリズムは、通常、単調な専門家によるデモンストレーションのみを考慮し、状態アクションベースの設定で行動する。 代わりに、移動プリミティブの混合と分布マッチングの目的を組み合わせることで、専門家の行動と汎用性にマッチする多目的行動を学ぶ。
  論文  参考訳（メタデータ） (2022-10-17T16:42:59Z)
• Towards More Generalizable One-shot Visual Imitation Learning [81.09074706236858]
  汎用ロボットは、幅広いタスクを習得し、過去の経験を生かして、新しいタスクを素早く学ぶことができるべきである。 ワンショット模倣学習(OSIL)は、専門家のデモンストレーションでエージェントを訓練することで、この目標にアプローチする。 我々は、より野心的なマルチタスク設定を調査することで、より高度な一般化能力を追求する。
  論文  参考訳（メタデータ） (2021-10-26T05:49:46Z)
• Visual Adversarial Imitation Learning using Variational Models [60.69745540036375]
  逆関数仕様は、深い強化学習を通しての学習行動にとって大きな障害であり続けている。 望ましい行動の視覚的なデモンストレーションは、エージェントを教えるためのより簡単で自然な方法を示すことが多い。 変動モデルに基づく対向的模倣学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-07-16T00:15:18Z)
• SKID RAW: Skill Discovery from Raw Trajectories [23.871402375721285]
  すべてのスキルではなく、完全なタスクの実行を示すことが望ましい。 軌跡を反復パターンに分割することを同時に学習する新しい手法を提案する。 このアプローチは、スキルのシーケンスを理解するのに使用できるスキルコンディショニングを学習する。
  論文  参考訳（メタデータ） (2021-03-26T17:27:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。