論文の概要: SemTra: A Semantic Skill Translator for Cross-Domain Zero-Shot Policy Adaptation

• arxiv url: http://arxiv.org/abs/2402.07418v1
• Date: Mon, 12 Feb 2024 05:46:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 15:31:19.232914
• Title: SemTra: A Semantic Skill Translator for Cross-Domain Zero-Shot Policy Adaptation
• Title（参考訳）: semtra:クロスドメインゼロショットポリシー適応のための意味的スキルトランスレータ
• Authors: Sangwoo Shin, Minjong Yoo, Jeongwoo Lee, Honguk Woo
• Abstract要約: 本研究では、ドメイン間のセッティングにおいて、セマンティックスキル、セマンティックな専門家の行動パターンのゼロショット適応能力について検討する。 本稿では,セマンティック・スキル・トランスレータ・フレームワークSemTraについて述べる。 我々はMeta-World、Franka Kitchen、RLBench、CARLA環境でフレームワークを評価した。
• 参考スコア（独自算出の注目度）: 6.876580618014666
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work explores the zero-shot adaptation capability of semantic skills, semantically interpretable experts' behavior patterns, in cross-domain settings, where a user input in interleaved multi-modal snippets can prompt a new long-horizon task for different domains. In these cross-domain settings, we present a semantic skill translator framework SemTra which utilizes a set of multi-modal models to extract skills from the snippets, and leverages the reasoning capabilities of a pretrained language model to adapt these extracted skills to the target domain. The framework employs a two-level hierarchy for adaptation: task adaptation and skill adaptation. During task adaptation, seq-to-seq translation by the language model transforms the extracted skills into a semantic skill sequence, which is tailored to fit the cross-domain contexts. Skill adaptation focuses on optimizing each semantic skill for the target domain context, through parametric instantiations that are facilitated by language prompting and contrastive learning-based context inferences. This hierarchical adaptation empowers the framework to not only infer a complex task specification in one-shot from the interleaved multi-modal snippets, but also adapt it to new domains with zero-shot learning abilities. We evaluate our framework with Meta-World, Franka Kitchen, RLBench, and CARLA environments. The results clarify the framework's superiority in performing long-horizon tasks and adapting to different domains, showing its broad applicability in practical use cases, such as cognitive robots interpreting abstract instructions and autonomous vehicles operating under varied configurations.
• Abstract（参考訳）: 本研究は,ユーザ入力をインターリーブしたマルチモーダルスニペットに入力することで,異なるドメインに対する新たなロングホライズンタスクを誘発するクロスドメイン設定において,セマンティックスキルのゼロショット適応能力,セマンティックな専門家の行動パターンについて検討する。 これらのクロスドメイン設定では,マルチモーダルモデルを用いてスニペットからスキルを抽出する意味的スキル翻訳フレームワークsemtraを提案し,これらの抽出スキルを対象領域に適応させるために,事前学習した言語モデルの推論能力を活用する。 このフレームワークは、タスク適応とスキル適応という2レベル階層を採用している。 タスク適応中、言語モデルによるseq-to-seq変換は、抽出されたスキルを、クロスドメインコンテキストに適合するように調整されたセマンティックスキルシーケンスに変換する。 スキル適応は、言語プロンプトとコントラスト学習に基づくコンテキスト推論によって促進されるパラメトリックインスタンス化を通じて、対象ドメインコンテキストに対する各意味スキルの最適化にフォーカスします。 この階層的適応によって、フレームワークは、インターリーブされたマルチモーダルスニペットからワンショットで複雑なタスク仕様を推測するだけでなく、ゼロショット学習能力を持つ新しいドメインにも適用できるようになる。 我々はMeta-World、Franka Kitchen、RLBench、CARLA環境でフレームワークを評価した。 以上の結果から,長い作業や異なるドメインへの適応における枠組みの優越性を明らかにするとともに,抽象的な指示を解釈する認知ロボットや,様々な構成で動作する自律走行車など,実用的なユースケースにおける幅広い適用性を示した。

関連論文リスト

• Semantic Skill Grounding for Embodied Instruction-Following in Cross-Domain Environments [21.7668018144027]
  EIF(Embodied instruction-following)では、タスクプランナとしての事前訓練言語モデル(LM)が重要な分岐として現れる。 セマンティックスキルの階層的性質を活用するセマンティックスキル基盤フレームワークを提案する。 VirtualHomeベンチマークで行った実験では,300のドメイン横断EIFシナリオにおけるSemGroの有効性が示された。
  論文  参考訳（メタデータ） (2024-08-02T05:50:31Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• Unified Language-driven Zero-shot Domain Adaptation [55.64088594551629]
  Unified Language-driven Zero-shot Domain Adaptation (ULDA)は、新しいタスクセットである。 これにより、ドメインIDの知識を明示することなく、単一のモデルを多様なターゲットドメインに適応させることができる。
  論文  参考訳（メタデータ） (2024-04-10T16:44:11Z)
• One-shot Imitation in a Non-Stationary Environment via Multi-Modal Skill [6.294766893350108]
  本稿では,ワンショット模倣とゼロショット適応が可能なスキルベース模倣学習フレームワークを提案する。 視覚言語モデルを利用して、オフラインのビデオデータセットから設定したセマンティックスキルを学習する。 拡張された多段階のメタワールドタスクに対して,様々なワンショットの模倣シナリオでフレームワークを評価した。
  論文  参考訳（メタデータ） (2024-02-13T11:01:52Z)
• Adapt in Contexts: Retrieval-Augmented Domain Adaptation via In-Context Learning [48.22913073217633]
  大規模言語モデル(LLM)は、インコンテキスト学習(in-context learning)として知られる少数の推論でその能力を示した。 本稿では,UDA問題を文脈内学習環境下で研究し,ソースドメインからターゲットドメインへの言語モデルの適用を,ターゲットラベルを使わずに行う。 我々は、異なるLMアーキテクチャを考慮し、異なるプロンプトとトレーニング戦略を考案し、言語モデリングを通してターゲット分布を学習する。
  論文  参考訳（メタデータ） (2023-11-20T06:06:20Z)
• Set-based Meta-Interpolation for Few-Task Meta-Learning [79.4236527774689]
  そこで本研究では,メタトレーニングタスクの分散化を目的とした,ドメインに依存しないタスク拡張手法Meta-Interpolationを提案する。 様々な領域にまたがる8つのデータセットに対してメタ補間の有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2022-05-20T06:53:03Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)
• Self-supervised Augmentation Consistency for Adapting Semantic Segmentation [56.91850268635183]
  本稿では,実用的かつ高精度な意味セグメンテーションのためのドメイン適応手法を提案する。 私たちは標準データ拡張技術である$-$フォトメトリックノイズ、フリップとスケーリング$-$を採用し、セマンティック予測の一貫性を保証する。 適応後の最先端セグメンテーション精度を大幅に改善し、バックボーンアーキテクチャと適応シナリオの異なる選択に整合性を持たせる。
  論文  参考訳（メタデータ） (2021-04-30T21:32:40Z)
• Learning to adapt class-specific features across domains for semantic segmentation [36.36210909649728]
  本論文では,クラス情報毎に考慮し,ドメイン間の特徴を適応させることを学習する新しいアーキテクチャを提案する。 我々は最近導入されたStarGANアーキテクチャを画像翻訳のバックボーンとして採用している。
  論文  参考訳（メタデータ） (2020-01-22T23:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。