論文の概要: AnySkill: Learning Open-Vocabulary Physical Skill for Interactive Agents

• arxiv url: http://arxiv.org/abs/2403.12835v1
• Date: Tue, 19 Mar 2024 15:41:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 13:44:06.769769
• Title: AnySkill: Learning Open-Vocabulary Physical Skill for Interactive Agents
• Title（参考訳）: AnySkill:対話型エージェントのためのオープンボキャブラリ物理スキルを学ぶ
• Authors: Jieming Cui, Tengyu Liu, Nian Liu, Yaodong Yang, Yixin Zhu, Siyuan Huang,
• Abstract要約: オープンな語彙の指示に従って物理的に妥当な相互作用を学習する新しい階層的手法であるAnySkillを提案する。 我々のアプローチは、模倣学習によって訓練された低レベルコントローラを介して、一連のアトミックアクションを開発することから始まります。 提案手法の重要な特徴は,手動の報酬工学を使わずにオブジェクトとのインタラクションを学習する,高レベルなポリシーに対する画像ベースの報酬の利用である。
• 参考スコア（独自算出の注目度）: 58.807802111818994
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Traditional approaches in physics-based motion generation, centered around imitation learning and reward shaping, often struggle to adapt to new scenarios. To tackle this limitation, we propose AnySkill, a novel hierarchical method that learns physically plausible interactions following open-vocabulary instructions. Our approach begins by developing a set of atomic actions via a low-level controller trained via imitation learning. Upon receiving an open-vocabulary textual instruction, AnySkill employs a high-level policy that selects and integrates these atomic actions to maximize the CLIP similarity between the agent's rendered images and the text. An important feature of our method is the use of image-based rewards for the high-level policy, which allows the agent to learn interactions with objects without manual reward engineering. We demonstrate AnySkill's capability to generate realistic and natural motion sequences in response to unseen instructions of varying lengths, marking it the first method capable of open-vocabulary physical skill learning for interactive humanoid agents.
• Abstract（参考訳）: 物理学に基づく運動生成における伝統的なアプローチは、模倣学習と報酬形成を中心に、しばしば新しいシナリオに適応するのに苦労する。 この制限に対処するために、オープン語彙の指示に従って物理的に妥当な相互作用を学習する新しい階層的手法であるAnySkillを提案する。 我々のアプローチは、模倣学習によって訓練された低レベルコントローラを介して、一連のアトミックアクションを開発することから始まります。 オープン語彙のテキスト命令を受けると、AnySkillは、エージェントのレンダリングされたイメージとテキストの間のCLIP類似性を最大化するために、これらのアトミックアクションを選択し統合する高レベルなポリシーを使用する。 提案手法の重要な特徴は,手動の報酬工学を使わずにオブジェクトとのインタラクションを学習する,高レベルなポリシーに対する画像ベースの報酬の利用である。 本研究では,対話型ヒューマノイドエージェントの物理スキル学習において,AnySkillが目立たない長さの指示に応答して,現実的で自然な動作シーケンスを生成する能力を実証する。

関連論文リスト

• STEER: Flexible Robotic Manipulation via Dense Language Grounding [16.97343810491996]
  STEERは、高精度でフレキシブルな低レベル制御で高レベルの常識推論をブリッジする、ロボット学習フレームワークである。 本手法は, 複雑な状況認識を, 厳密なアノテーションによる言語基盤ポリシーの訓練を通じて, 行動可能な低レベル行動に変換する。
  論文  参考訳（メタデータ） (2024-11-05T18:48:12Z)
• Text-Aware Diffusion for Policy Learning [8.32790576855495]
  本研究では、事前訓練された凍結されたテキスト条件付き拡散モデルを用いて、高密度ゼロショット報酬信号をテキスト整合ポリシー学習に利用する、政策学習用テキスト認識拡散(TADPoLe)を提案する。 TADPoLe は,Humanoid と Dog の両環境において,自然言語によって規定される新たな目標達成と連続的な移動行動の政策を学習可能であることを示す。
  論文  参考訳（メタデータ） (2024-07-02T03:08:20Z)
• Interpretable Robotic Manipulation from Language [11.207620790833271]
  本稿では,操作タスクに特化して設計された,Ex-PERACTという説明可能な行動クローニングエージェントを紹介する。 トップレベルでは、モデルは個別のスキルコードを学ぶことを任務とし、下位レベルでは、ポリシーネットワークは問題をボクセル化されたグリッドに変換し、離散化されたアクションをボクセルグリッドにマップする。 提案手法は,RLBenchベンチマークを用いた8つの操作課題にまたがって評価し,Ex-PERACTが競合する政策性能を達成するだけでなく,複雑な環境下でのヒューマンインストラクションとマシン実行のギャップを効果的に橋渡しすることを示した。
  論文  参考訳（メタデータ） (2024-05-27T11:02:21Z)
• Generating Action-conditioned Prompts for Open-vocabulary Video Action Recognition [63.95111791861103]
  既存の方法は、訓練済みの画像テキストモデルをビデオ領域に適応させるのが一般的である。 我々は、人間の事前知識によるテキスト埋め込みの強化が、オープン語彙のビデオ行動認識の鍵となると論じている。 提案手法は,新たなSOTA性能を設定できるだけでなく,解釈性にも優れる。
  論文  参考訳（メタデータ） (2023-12-04T02:31:38Z)
• Learning to Act from Actionless Videos through Dense Correspondences [87.1243107115642]
  本稿では,様々なロボットや環境にまたがる多様なタスクを確実に実行可能なビデオベースのロボットポリシーを構築するためのアプローチを提案する。 本手法は,ロボットの目標を指定するための汎用表現として,状態情報と行動情報の両方を符号化するタスク非依存表現として画像を利用する。 テーブルトップ操作とナビゲーションタスクの学習方針における我々のアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-12T17:59:23Z)
• Physically Plausible Full-Body Hand-Object Interaction Synthesis [32.83908152822006]
  そこで本研究では,全体で手-物体間相互作用を合成するための物理に基づく手法を提案する。 既存のメソッドは、しばしば相互作用プロセスの分離されたセグメントにフォーカスし、成果物をもたらす可能性のあるデータ駆動技術に依存します。
  論文  参考訳（メタデータ） (2023-09-14T17:55:18Z)
• Dexterous Manipulation from Images: Autonomous Real-World RL via Substep Guidance [71.36749876465618]
  本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。 本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。 実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
  論文  参考訳（メタデータ） (2022-12-19T22:50:40Z)
• Silver-Bullet-3D at ManiSkill 2021: Learning-from-Demonstrations and Heuristic Rule-based Methods for Object Manipulation [118.27432851053335]
  本稿では,SAPIEN ManiSkill Challenge 2021: No Interaction Trackにおいて,以下の2つのトラックを対象としたシステムの概要と比較分析を行った。 No Interactionは、事前に収集された実証軌道からの学習ポリシーのターゲットを追跡する。 このトラックでは,タスクを一連のサブタスクに分解することで,高品質なオブジェクト操作をトリガするHuristic Rule-based Method (HRM) を設計する。 各サブタスクに対して、ロボットアームに適用可能なアクションを予測するために、単純なルールベースの制御戦略が採用されている。
  論文  参考訳（メタデータ） (2022-06-13T16:20:42Z)
• ASE: Large-Scale Reusable Adversarial Skill Embeddings for Physically Simulated Characters [123.88692739360457]
  汎用運動技術により、人間は複雑な作業を行うことができる。 これらのスキルは、新しいタスクを学ぶときの振る舞いを導くための強力な先駆者も提供します。 物理シミュレーション文字のための汎用的で再利用可能なスキル埋め込みを学習するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-04T06:13:28Z)
• Language-Conditioned Imitation Learning for Robot Manipulation Tasks [39.40937105264774]
  本研究では,非構造化自然言語を模倣学習に組み込む手法を提案する。 訓練時には、専門家は、基礎となる意図を説明するために、言語記述とともにデモンストレーションを行うことができる。 トレーニングプロセスはこれらの2つのモードを相互に関連付け、言語、知覚、動きの相関を符号化する。 結果として得られた言語条件のvisuomotorポリシーは、実行時に新しいヒューマンコマンドと命令で条件付けできる。
  論文  参考訳（メタデータ） (2020-10-22T21:49:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。