論文の概要: Harmon: Whole-Body Motion Generation of Humanoid Robots from Language Descriptions

• arxiv url: http://arxiv.org/abs/2410.12773v1
• Date: Wed, 16 Oct 2024 17:48:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:41:19.685721
• Title: Harmon: Whole-Body Motion Generation of Humanoid Robots from Language Descriptions
• Title（参考訳）: Harmon: 言語記述によるヒューマノイドロボットの全身動作生成
• Authors: Zhenyu Jiang, Yuqi Xie, Jinhan Li, Ye Yuan, Yifeng Zhu, Yuke Zhu,
• Abstract要約: この研究は、言語記述からヒューマノイドロボットのための多様な全身運動を生成することに焦点を当てている。 我々は、人体の動きを初期化するために、広範囲な人体の動きデータセットから人体の動きの先行を活用できる。 提案手法は, 自然な, 表現的, テキストに沿ったヒューマノイド運動を生成できることを実証する。
• 参考スコア（独自算出の注目度）: 31.134450087838673
• License:
• Abstract: Humanoid robots, with their human-like embodiment, have the potential to integrate seamlessly into human environments. Critical to their coexistence and cooperation with humans is the ability to understand natural language communications and exhibit human-like behaviors. This work focuses on generating diverse whole-body motions for humanoid robots from language descriptions. We leverage human motion priors from extensive human motion datasets to initialize humanoid motions and employ the commonsense reasoning capabilities of Vision Language Models (VLMs) to edit and refine these motions. Our approach demonstrates the capability to produce natural, expressive, and text-aligned humanoid motions, validated through both simulated and real-world experiments. More videos can be found at https://ut-austin-rpl.github.io/Harmon/.
• Abstract（参考訳）: 人間のような体型を持つヒューマノイドロボットは、人間の環境にシームレスに統合する可能性がある。 人間との共存と協力に欠かせないのは、自然言語のコミュニケーションを理解し、人間に似た行動を示す能力である。 この研究は、言語記述からヒューマノイドロボットのための多様な全身運動を生成することに焦点を当てている。 我々は、広範囲な人間の動きデータセットからの人間の動きの先行情報を利用して、ヒューマノイド運動を初期化し、視覚言語モデル(VLM)の常識推論機能を用いて、これらの動きを編集・洗練する。 提案手法は, 実世界およびシミュレーション実験により, 自然な, 表現的, テキストに整合したヒューマノイド運動を生成できることを実証する。 さらなるビデオはhttps://ut-austin-rpl.github.io/Harmon/.comで見ることができる。

関連論文リスト

• Imitation of human motion achieves natural head movements for humanoid robots in an active-speaker detection task [2.8220015774219567]
  頭の動きは社会的人間と人間の相互作用に不可欠である。 そこで本研究では,直型ヒューマノイドロボットの頭部運動生成に生成型AIパイプラインを用いた。 その結果,会話中の話者を積極的に追跡しながら,人間の頭部の動きを自然に模倣することに成功した。
  論文  参考訳（メタデータ） (2024-07-16T17:08:40Z)
• HumanPlus: Humanoid Shadowing and Imitation from Humans [82.47551890765202]
  ヒューマノイドが人間のデータから動きや自律的なスキルを学ぶためのフルスタックシステムを導入する。 まず、既存の40時間動作データセットを用いて、強化学習によるシミュレーションの低レベルポリシーを訓練する。 次に、自己中心型視覚を用いてスキルポリシーを訓練し、ヒューマノイドが自律的に異なるタスクを完了できるようにする。
  論文  参考訳（メタデータ） (2024-06-15T00:41:34Z)
• Learning Human-to-Humanoid Real-Time Whole-Body Teleoperation [34.65637397405485]
  本稿では,Human to Humanoid(H2O)について紹介する。H2Oは,RGBカメラのみを搭載したヒューマノイドロボットのリアルタイム遠隔操作を実現するフレームワークである。 我々は、これらの洗練された動きを用いてシミュレーションで頑健なリアルタイムヒューマノイド運動模倣機を訓練し、実ヒューマノイドロボットにゼロショットで転送する。 私たちの知る限りでは、学習に基づくリアルタイムな人型ロボット遠隔操作を実現する最初のデモとなる。
  論文  参考訳（メタデータ） (2024-03-07T12:10:41Z)
• Expressive Whole-Body Control for Humanoid Robots [20.132927075816742]
  我々は、人間の動きをできるだけリアルに模倣するために、人間サイズのロボットで全身制御ポリシーを学習する。 シミュレーションとSim2Real転送のトレーニングにより、私たちのポリシーはヒューマノイドロボットを制御して、さまざまなスタイルで歩いたり、人と握手したり、現実世界で人間と踊ったりできる。
  論文  参考訳（メタデータ） (2024-02-26T18:09:24Z)
• SynH2R: Synthesizing Hand-Object Motions for Learning Human-to-Robot Handovers [37.49601724575655]
  視覚に基づく人間とロボットのハンドオーバは、人間とロボットのインタラクションにおいて重要かつ困難なタスクである。 本稿では,ロボットの訓練に適した人間のつかみ動作を生成するためのフレームワークを提案する。 これにより、以前の作業よりも100倍多くのオブジェクトで、総合的なトレーニングとテストデータを生成することができます。
  論文  参考訳（メタデータ） (2023-11-09T18:57:02Z)
• Habitat 3.0: A Co-Habitat for Humans, Avatars and Robots [119.55240471433302]
  Habitat 3.0は、家庭環境における協調ロボットタスクを研究するためのシミュレーションプラットフォームである。 複雑な変形可能な体と外観と運動の多様性をモデル化する際の課題に対処する。 Human-in-the-loopインフラストラクチャは、マウス/キーボードまたはVRインターフェースを介してシミュレーションされたロボットとの実際のヒューマンインタラクションを可能にする。
  論文  参考訳（メタデータ） (2023-10-19T17:29:17Z)
• HuBo-VLM: Unified Vision-Language Model designed for HUman roBOt interaction tasks [5.057755436092344]
  人間のロボットのインタラクションは、人間の指示に従ってロボットを誘導する、エキサイティングなタスクだ。 HuBo-VLMは人間のロボットのインタラクションに関連する知覚課題に取り組むために提案されている。
  論文  参考訳（メタデータ） (2023-08-24T03:47:27Z)
• Open-World Object Manipulation using Pre-trained Vision-Language Models [72.87306011500084]
  ロボットが人からの指示に従うためには、人間の語彙の豊かな意味情報を繋げなければならない。 我々は、事前学習された視覚言語モデルを利用して、オブジェクト識別情報を抽出するシンプルなアプローチを開発する。 実際の移動マニピュレータにおける様々な実験において、MOOはゼロショットを様々な新しいオブジェクトカテゴリや環境に一般化する。
  論文  参考訳（メタデータ） (2023-03-02T01:55:10Z)
• HERD: Continuous Human-to-Robot Evolution for Learning from Human Demonstration [57.045140028275036]
  本研究では,マイクロ進化的強化学習を用いて,操作スキルを人間からロボットに伝達可能であることを示す。 本稿では,ロボットの進化経路とポリシーを協調的に最適化する多次元進化経路探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-08T15:56:13Z)
• Robots with Different Embodiments Can Express and Influence Carefulness in Object Manipulation [104.5440430194206]
  本研究では,2つのロボットによるコミュニケーション意図による物体操作の知覚について検討する。 ロボットの動きを設計し,物体の搬送時に注意を喚起するか否かを判断した。
  論文  参考訳（メタデータ） (2022-08-03T13:26:52Z)
• Synthesis and Execution of Communicative Robotic Movements with Generative Adversarial Networks [59.098560311521034]
  我々は、繊細な物体を操作する際に人間が採用するのと同じキネマティクス変調を2つの異なるロボットプラットフォームに転送する方法に焦点を当てる。 我々は、ロボットのエンドエフェクターが採用する速度プロファイルを、異なる特徴を持つ物体を輸送する際に人間が何をするかに触発されて調整する。 我々は、人体キネマティクスの例を用いて訓練され、それらを一般化し、新しい有意義な速度プロファイルを生成する、新しいジェネレーティブ・アドバイサル・ネットワークアーキテクチャを利用する。
  論文  参考訳（メタデータ） (2022-03-29T15:03:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。