論文の概要: PADL: Language-Directed Physics-Based Character Control

• arxiv url: http://arxiv.org/abs/2301.13868v1
• Date: Tue, 31 Jan 2023 18:59:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-01 15:17:56.650839
• Title: PADL: Language-Directed Physics-Based Character Control
• Title（参考訳）: PADL:言語指向物理に基づく文字制御
• Authors: Jordan Juravsky, Yunrong Guo, Sanja Fidler, Xue Bin Peng
• Abstract要約: 本稿では,文字が行うべきハイレベルなタスクと低レベルなスキルを指定するために,ユーザが自然言語コマンドを発行できるようにするPADLを提案する。 我々は,シミュレーションされたヒューマノイドキャラクタを効果的に誘導し,多種多様な複雑な運動能力を実現するために,本フレームワークを適用した。
• 参考スコア（独自算出の注目度）: 66.517142635815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Developing systems that can synthesize natural and life-like motions for simulated characters has long been a focus for computer animation. But in order for these systems to be useful for downstream applications, they need not only produce high-quality motions, but must also provide an accessible and versatile interface through which users can direct a character's behaviors. Natural language provides a simple-to-use and expressive medium for specifying a user's intent. Recent breakthroughs in natural language processing (NLP) have demonstrated effective use of language-based interfaces for applications such as image generation and program synthesis. In this work, we present PADL, which leverages recent innovations in NLP in order to take steps towards developing language-directed controllers for physics-based character animation. PADL allows users to issue natural language commands for specifying both high-level tasks and low-level skills that a character should perform. We present an adversarial imitation learning approach for training policies to map high-level language commands to low-level controls that enable a character to perform the desired task and skill specified by a user's commands. Furthermore, we propose a multi-task aggregation method that leverages a language-based multiple-choice question-answering approach to determine high-level task objectives from language commands. We show that our framework can be applied to effectively direct a simulated humanoid character to perform a diverse array of complex motor skills.
• Abstract（参考訳）: 自然と生命のような動きをシミュレートしたキャラクターのために合成できるシステムの開発は、長い間コンピュータアニメーションに焦点を合わせてきた。 しかし、これらのシステムが下流アプリケーションに役立てるためには、高品質なモーションを生成するだけでなく、ユーザーが文字の振舞いを指示できるアクセス可能で汎用的なインターフェースを提供する必要がある。 自然言語は、ユーザの意図を特定するためのシンプルで表現力のある媒体を提供する。 自然言語処理(NLP)の最近の進歩は、画像生成やプログラム合成といった用途に言語ベースのインタフェースを効果的に活用することを示してきた。 本研究では,NLPにおける最近のイノベーションを活用し,物理に基づくキャラクターアニメーションのための言語指向コントローラの開発に向け,PADLを提案する。 padlを使えば、文字が実行するべきハイレベルなタスクと低レベルのスキルの両方を指定するための自然言語コマンドを発行できる。 本稿では,高レベル言語コマンドを低レベル制御にマッピングする訓練方針を,文字が所望のタスクやユーザのコマンドで指定したスキルを実行可能にするための,敵対的模倣学習手法を提案する。 さらに,言語コマンドから高レベルタスクの目的を決定するために,言語に基づく複数選択質問応答アプローチを利用するマルチタスク集約手法を提案する。 我々は,シミュレーションされたヒューマノイドキャラクタを効果的に誘導し,多種多様な複雑なモータースキルを発揮できることを示す。

関連論文リスト

• STEER: Flexible Robotic Manipulation via Dense Language Grounding [16.97343810491996]
  STEERは、高精度でフレキシブルな低レベル制御で高レベルの常識推論をブリッジする、ロボット学習フレームワークである。 本手法は, 複雑な状況認識を, 厳密なアノテーションによる言語基盤ポリシーの訓練を通じて, 行動可能な低レベル行動に変換する。
  論文  参考訳（メタデータ） (2024-11-05T18:48:12Z)
• Interpretable Robotic Manipulation from Language [11.207620790833271]
  本稿では,操作タスクに特化して設計された,Ex-PERACTという説明可能な行動クローニングエージェントを紹介する。 トップレベルでは、モデルは個別のスキルコードを学ぶことを任務とし、下位レベルでは、ポリシーネットワークは問題をボクセル化されたグリッドに変換し、離散化されたアクションをボクセルグリッドにマップする。 提案手法は,RLBenchベンチマークを用いた8つの操作課題にまたがって評価し,Ex-PERACTが競合する政策性能を達成するだけでなく,複雑な環境下でのヒューマンインストラクションとマシン実行のギャップを効果的に橋渡しすることを示した。
  論文  参考訳（メタデータ） (2024-05-27T11:02:21Z)
• Natural Language as Policies: Reasoning for Coordinate-Level Embodied Control with LLMs [7.746160514029531]
  ロボットのタスク計画問題に対処するLLMによる実験結果を示す。 提案手法はタスクとシーンオブジェクトのテキスト記述を取得し,自然言語推論によるタスクプランニングを定式化する。 提案手法はマルチモーダル・プロンプト・シミュレーション・ベンチマークを用いて評価する。
  論文  参考訳（メタデータ） (2024-03-20T17:58:12Z)
• Instruct2Act: Mapping Multi-modality Instructions to Robotic Actions with Large Language Model [63.66204449776262]
  Instruct2Actは、ロボット操作タスクのシーケンシャルアクションにマルチモーダル命令をマッピングするフレームワークである。 我々のアプローチは、様々な命令のモダリティや入力タイプを調節する上で、調整可能で柔軟なものである。 我々のゼロショット法は、いくつかのタスクにおいて、最先端の学習ベースのポリシーよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-18T17:59:49Z)
• VLMbench: A Compositional Benchmark for Vision-and-Language Manipulation [11.92150014766458]
  我々は、人間の指示に従ってオブジェクト操作を行う、最後の1マイルのエンボディエージェントの空白を埋めることを目指している。 我々は、視覚・言語操作ベンチマーク(VLMbench)を構築し、分類されたロボット操作タスクに関する様々な言語命令を含む。 モジュラールールベースのタスクテンプレートが作成され、言語命令でロボットのデモを自動的に生成する。
  論文  参考訳（メタデータ） (2022-06-17T03:07:18Z)
• LISA: Learning Interpretable Skill Abstractions from Language [85.20587800593293]
  言語条件による実演から多種多様な解釈可能なスキルを学習できる階層型模倣学習フレームワークを提案する。 本手法は, 逐次的意思決定問題において, 言語に対するより自然な条件付け方法を示す。
  論文  参考訳（メタデータ） (2022-02-28T19:43:24Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)
• Learning Language-Conditioned Robot Behavior from Offline Data and Crowd-Sourced Annotation [80.29069988090912]
  本研究では,ロボットインタラクションの大規模なオフラインデータセットから視覚に基づく操作タスクを学習する問題について検討する。 クラウドソースの自然言語ラベルを用いたオフラインロボットデータセットの活用を提案する。 提案手法は目標画像仕様と言語条件付き模倣技術の両方を25%以上上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-09-02T17:42:13Z)
• Learning Adaptive Language Interfaces through Decomposition [89.21937539950966]
  本稿では,分解による新しいハイレベルな抽象化を学習するニューラルセマンティック解析システムを提案する。 ユーザは、新しい振る舞いを記述する高レベルな発話を低レベルなステップに分解することで、対話的にシステムを教える。
  論文  参考訳（メタデータ） (2020-10-11T08:27:07Z)
• Language Conditioned Imitation Learning over Unstructured Data [9.69886122332044]
  本稿では,自由形式の自然言語条件付けを模倣学習に組み込む手法を提案する。 我々のアプローチは、単一のニューラルネットワークとしてピクセル、自然言語理解、マルチタスク連続制御のエンドツーエンドから知覚を学習する。 言語アノテーションのコストを1%以下に抑えつつ,言語条件付き性能を劇的に向上させることを示す。
  論文  参考訳（メタデータ） (2020-05-15T17:08:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。