論文の概要: PADL: Language-Directed Physics-Based Character Control
- arxiv url: http://arxiv.org/abs/2301.13868v1
- Date: Tue, 31 Jan 2023 18:59:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-01 15:17:56.650839
- Title: PADL: Language-Directed Physics-Based Character Control
- Title(参考訳): PADL:言語指向物理に基づく文字制御
- Authors: Jordan Juravsky, Yunrong Guo, Sanja Fidler, Xue Bin Peng
- Abstract要約: 本稿では,文字が行うべきハイレベルなタスクと低レベルなスキルを指定するために,ユーザが自然言語コマンドを発行できるようにするPADLを提案する。
我々は,シミュレーションされたヒューマノイドキャラクタを効果的に誘導し,多種多様な複雑な運動能力を実現するために,本フレームワークを適用した。
- 参考スコア(独自算出の注目度): 66.517142635815
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Developing systems that can synthesize natural and life-like motions for
simulated characters has long been a focus for computer animation. But in order
for these systems to be useful for downstream applications, they need not only
produce high-quality motions, but must also provide an accessible and versatile
interface through which users can direct a character's behaviors. Natural
language provides a simple-to-use and expressive medium for specifying a user's
intent. Recent breakthroughs in natural language processing (NLP) have
demonstrated effective use of language-based interfaces for applications such
as image generation and program synthesis. In this work, we present PADL, which
leverages recent innovations in NLP in order to take steps towards developing
language-directed controllers for physics-based character animation. PADL
allows users to issue natural language commands for specifying both high-level
tasks and low-level skills that a character should perform. We present an
adversarial imitation learning approach for training policies to map high-level
language commands to low-level controls that enable a character to perform the
desired task and skill specified by a user's commands. Furthermore, we propose
a multi-task aggregation method that leverages a language-based multiple-choice
question-answering approach to determine high-level task objectives from
language commands. We show that our framework can be applied to effectively
direct a simulated humanoid character to perform a diverse array of complex
motor skills.
- Abstract(参考訳): 自然と生命のような動きをシミュレートしたキャラクターのために合成できるシステムの開発は、長い間コンピュータアニメーションに焦点を合わせてきた。
しかし、これらのシステムが下流アプリケーションに役立てるためには、高品質なモーションを生成するだけでなく、ユーザーが文字の振舞いを指示できるアクセス可能で汎用的なインターフェースを提供する必要がある。
自然言語は、ユーザの意図を特定するためのシンプルで表現力のある媒体を提供する。
自然言語処理(NLP)の最近の進歩は、画像生成やプログラム合成といった用途に言語ベースのインタフェースを効果的に活用することを示してきた。
本研究では,NLPにおける最近のイノベーションを活用し,物理に基づくキャラクターアニメーションのための言語指向コントローラの開発に向け,PADLを提案する。
padlを使えば、文字が実行するべきハイレベルなタスクと低レベルのスキルの両方を指定するための自然言語コマンドを発行できる。
本稿では,高レベル言語コマンドを低レベル制御にマッピングする訓練方針を,文字が所望のタスクやユーザのコマンドで指定したスキルを実行可能にするための,敵対的模倣学習手法を提案する。
さらに,言語コマンドから高レベルタスクの目的を決定するために,言語に基づく複数選択質問応答アプローチを利用するマルチタスク集約手法を提案する。
我々は,シミュレーションされたヒューマノイドキャラクタを効果的に誘導し,多種多様な複雑なモータースキルを発揮できることを示す。
関連論文リスト
- Object-Centric Instruction Augmentation for Robotic Manipulation [29.491990994901666]
我々は,高度にセマンティックで情報に富んだ言語命令を位置情報で拡張するために,textitObject-Centric Instruction Augmentation (OCI)フレームワークを導入する。
MLLM(Multi-modal Large Language Model)を用いて,オブジェクト位置の知識を自然言語に織り込む。
我々は,ロボットマニピュレータの模倣政策が,従来の言語指導にのみ依存する者よりも優れていることを実証した。
論文 参考訳(メタデータ) (2024-01-05T13:54:45Z) - Instruct2Act: Mapping Multi-modality Instructions to Robotic Actions
with Large Language Model [63.66204449776262]
Instruct2Actは、ロボット操作タスクのシーケンシャルアクションにマルチモーダル命令をマッピングするフレームワークである。
我々のアプローチは、様々な命令のモダリティや入力タイプを調節する上で、調整可能で柔軟なものである。
我々のゼロショット法は、いくつかのタスクにおいて、最先端の学習ベースのポリシーよりも優れていた。
論文 参考訳(メタデータ) (2023-05-18T17:59:49Z) - Accessible Instruction-Following Agent [0.0]
UVLNは、言語間視覚言語ナビゲーションのための新しい機械翻訳命令拡張フレームワークである。
我々は、標準VLNトレーニング目標を言語間エンコーダを介して多言語設定に拡張する。
Room Across Roomデータセットによる実験は、我々のアプローチの有効性を証明する。
論文 参考訳(メタデータ) (2023-05-08T23:57:26Z) - VLMbench: A Compositional Benchmark for Vision-and-Language Manipulation [11.92150014766458]
我々は、人間の指示に従ってオブジェクト操作を行う、最後の1マイルのエンボディエージェントの空白を埋めることを目指している。
我々は、視覚・言語操作ベンチマーク(VLMbench)を構築し、分類されたロボット操作タスクに関する様々な言語命令を含む。
モジュラールールベースのタスクテンプレートが作成され、言語命令でロボットのデモを自動的に生成する。
論文 参考訳(メタデータ) (2022-06-17T03:07:18Z) - Reshaping Robot Trajectories Using Natural Language Commands: A Study of
Multi-Modal Data Alignment Using Transformers [33.7939079214046]
我々は、人間とロボットのコラボレーションのための柔軟な言語ベースのインタフェースを提供する。
我々は、ユーザコマンドをエンコードする大規模言語モデルの分野における最近の進歩を生かしている。
言語コマンドによって修正されたロボット軌跡を含むデータセット上で、模倣学習を用いてモデルを訓練する。
論文 参考訳(メタデータ) (2022-03-25T01:36:56Z) - LISA: Learning Interpretable Skill Abstractions from Language [85.20587800593293]
言語条件による実演から多種多様な解釈可能なスキルを学習できる階層型模倣学習フレームワークを提案する。
本手法は, 逐次的意思決定問題において, 言語に対するより自然な条件付け方法を示す。
論文 参考訳(メタデータ) (2022-02-28T19:43:24Z) - Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。
このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。
新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
論文 参考訳(メタデータ) (2022-02-03T18:55:52Z) - Learning Language-Conditioned Robot Behavior from Offline Data and
Crowd-Sourced Annotation [80.29069988090912]
本研究では,ロボットインタラクションの大規模なオフラインデータセットから視覚に基づく操作タスクを学習する問題について検討する。
クラウドソースの自然言語ラベルを用いたオフラインロボットデータセットの活用を提案する。
提案手法は目標画像仕様と言語条件付き模倣技術の両方を25%以上上回っていることがわかった。
論文 参考訳(メタデータ) (2021-09-02T17:42:13Z) - Learning Adaptive Language Interfaces through Decomposition [89.21937539950966]
本稿では,分解による新しいハイレベルな抽象化を学習するニューラルセマンティック解析システムを提案する。
ユーザは、新しい振る舞いを記述する高レベルな発話を低レベルなステップに分解することで、対話的にシステムを教える。
論文 参考訳(メタデータ) (2020-10-11T08:27:07Z) - Language Conditioned Imitation Learning over Unstructured Data [9.69886122332044]
本稿では,自由形式の自然言語条件付けを模倣学習に組み込む手法を提案する。
我々のアプローチは、単一のニューラルネットワークとしてピクセル、自然言語理解、マルチタスク連続制御のエンドツーエンドから知覚を学習する。
言語アノテーションのコストを1%以下に抑えつつ,言語条件付き性能を劇的に向上させることを示す。
論文 参考訳(メタデータ) (2020-05-15T17:08:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。