論文の概要: GPT-Connect: Interaction between Text-Driven Human Motion Generator and 3D Scenes in a Training-free Manner

• arxiv url: http://arxiv.org/abs/2403.14947v1
• Date: Fri, 22 Mar 2024 04:39:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 18:37:30.409920
• Title: GPT-Connect: Interaction between Text-Driven Human Motion Generator and 3D Scenes in a Training-free Manner
• Title（参考訳）: GPT-Connect: トレーニングフリーマンナにおけるテキスト駆動型ヒューマンモーションジェネレータと3次元シーンのインタラクション
• Authors: Haoxuan Qu, Ziyan Guo, Jun Liu,
• Abstract要約: テキスト駆動のモーションジェネレータは、通常、空白の背景でモーションシーケンスを生成するためにのみ設計されている。 GPT接続では、既存の空白背景の人体モーションジェネレータを直接利用して、シーン認識のモーションシーケンスを生成できる。
• 参考スコア（独自算出の注目度）: 5.903211249953432
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, while text-driven human motion generation has received massive research attention, most existing text-driven motion generators are generally only designed to generate motion sequences in a blank background. While this is the case, in practice, human beings naturally perform their motions in 3D scenes, rather than in a blank background. Considering this, we here aim to perform scene-aware text-drive motion generation instead. Yet, intuitively training a separate scene-aware motion generator in a supervised way can require a large amount of motion samples to be troublesomely collected and annotated in a large scale of different 3D scenes. To handle this task rather in a relatively convenient manner, in this paper, we propose a novel GPT-connect framework. In GPT-connect, we enable scene-aware motion sequences to be generated directly utilizing the existing blank-background human motion generator, via leveraging ChatGPT to connect the existing motion generator with the 3D scene in a totally training-free manner. Extensive experiments demonstrate the efficacy and generalizability of our proposed framework.
• Abstract（参考訳）: 近年,テキスト駆動型モーションジェネレータが注目されているが,既存のテキスト駆動型モーションジェネレータの多くは,背景の空白でのみ動作シーケンスを生成するように設計されている。 実際には、人間は空白の背景ではなく、自然に3Dシーンで動きます。 そこで本研究では,シーン認識型テキスト駆動モーション生成を実現することを目的としている。 しかし、直感的に個別のシーン認識モーションジェネレータを教師付きでトレーニングするには、大量のモーションサンプルをトラブルなく収集し、大量の異なる3Dシーンにアノテートする必要がある。 本稿では,このタスクを比較的便利な方法で処理するために,新しいGPT接続フレームワークを提案する。 GPT接続では、ChatGPTを利用して既存のモーションジェネレータと3Dシーンを完全にトレーニングなしで接続することで、既存の空白背景の人体モーションジェネレータを直接利用してシーン認識動作シーケンスを生成する。 大規模な実験により,提案フレームワークの有効性と一般化性を示す。

関連論文リスト

• Sitcom-Crafter: A Plot-Driven Human Motion Generation System in 3D Scenes [83.55301458112672]
  Sitcom-Crafterは3D空間における人間のモーション生成システムである。 機能生成モジュールの中心は、我々の新しい3Dシーン対応ヒューマン・ヒューマン・インタラクションモジュールである。 拡張モジュールは、コマンド生成のためのプロット理解、異なるモーションタイプのシームレスな統合のためのモーション同期を含む。
  論文  参考訳（メタデータ） (2024-10-14T17:56:19Z)
• DART: A Diffusion-Based Autoregressive Motion Model for Real-Time Text-Driven Motion Control [12.465927271402442]
  テキスト条件付きヒューマンモーション生成は、自然言語によるユーザインタラクションを可能にする。 DARTは、リアルタイムテキスト駆動モーション制御のための拡散型自動回帰モーションプリミティブモデルである。 動作合成タスクにおいて,モデルの汎用性と優れた性能を実証し,両手法に有効なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-07T17:58:22Z)
• TC4D: Trajectory-Conditioned Text-to-4D Generation [94.90700997568158]
  提案するTC4D: trajectory-conditioned text-to-4D 生成は,グローバルおよびローカルなコンポーネントへの移動を要因とする。 我々は,テキスト・ビデオ・モデルから,グローバルな軌跡に適合する局所的な変形を観察する。 提案手法は,任意の軌跡に沿ってアニメーションされたシーンの合成,構成シーンの生成,および生成した動きのリアリズムと量に対する大幅な改善を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:55:11Z)
• DEMOS: Dynamic Environment Motion Synthesis in 3D Scenes via Local Spherical-BEV Perception [54.02566476357383]
  本研究では,動的環境運動合成フレームワーク(DEMOS)を提案する。 次に、最終動作合成のために潜在動作を動的に更新する。 その結果,本手法は従来の手法よりも優れ,動的環境の処理性能も優れていた。
  論文  参考訳（メタデータ） (2024-03-04T05:38:16Z)
• Multi-Track Timeline Control for Text-Driven 3D Human Motion Generation [71.08922726494842]
  テキスト駆動動作合成におけるタイムライン制御の問題を紹介する。 ユーザーは単一のプロンプトの代わりに、重複する可能性のある時間間隔に整理された複数のプロンプトのマルチトラックタイムラインを指定することができる。 マルチトラックタイムラインから合成アニメーションを生成するための新しいテスト時間復調手法を提案する。
  論文  参考訳（メタデータ） (2024-01-16T18:39:15Z)
• Story-to-Motion: Synthesizing Infinite and Controllable Character Animation from Long Text [14.473103773197838]
  ストーリー・トゥ・モーション(Story-to-Motion)と呼ばれる新しいタスクは、文字が長いテキスト記述に基づいて特定の動作を行う必要があるときに発生する。 文字制御とテキスト・トゥ・モーションのこれまでの研究は、関連する側面に対処してきたが、包括的解決はいまだ解明されていない。 本稿では,制御可能で無限に長い動きと,入力テキストに整合した軌跡を生成する新しいシステムを提案する。
  論文  参考訳（メタデータ） (2023-11-13T16:22:38Z)
• Generating Continual Human Motion in Diverse 3D Scenes [56.70255926954609]
  本研究では,3次元シーンにまたがる人間の動きを誘導するアニメーターを合成する手法を提案する。 本研究では,連続的な動作合成問題を経路に沿って歩行し,キーポイントが指定した動作の内外への遷移に分解する。 我々のモデルは、つかんだり、座ったり、傾いたりといった多様な行動の長いシーケンスを生成することができる。
  論文  参考訳（メタデータ） (2023-04-04T18:24:22Z)
• Task-Oriented Human-Object Interactions Generation with Implicit Neural Representations [61.659439423703155]
  TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成 本手法は時間座標のみでパラメータ化される連続運動を生成する。 この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
  論文  参考訳（メタデータ） (2023-03-23T09:31:56Z)
• MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model [35.32967411186489]
  MotionDiffuseは拡散モデルに基づくテキスト駆動モーション生成フレームワークである。 複雑なデータ分散をモデル化し、鮮やかなモーションシーケンスを生成するのに優れています。 体の部分のきめ細かい指示に反応し、時間経過したテキストプロンプトで任意の長さのモーション合成を行う。
  論文  参考訳（メタデータ） (2022-08-31T17:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。