論文の概要: TAAT: Think and Act from Arbitrary Texts in Text2Motion

• arxiv url: http://arxiv.org/abs/2404.14745v3
• Date: Tue, 27 Aug 2024 13:36:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 19:19:38.440622
• Title: TAAT: Think and Act from Arbitrary Texts in Text2Motion
• Title（参考訳）: TAAT: Text2Motionにおける任意テキストの考え方と行為
• Authors: Runqi Wang, Caoyuan Ma, Guopeng Li, Zheng Wang,
• Abstract要約: 既存の設定では、テキストにはアクションラベルが含まれており、実用的なシナリオでは柔軟性が制限される。 本稿では,テキストが任意であるというより現実的な仮定で,この課題を拡張した。 本稿では,Large Language Model (LLM) を用いて任意のテキストから行動表現を抽出し,その後に動きを生成するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.6907147656880115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text to Motion aims to generate human motions from texts. Existing settings assume that texts include action labels, which limits flexibility in practical scenarios. This paper extends this task with a more realistic assumption that the texts are arbitrary. Specifically, in our setting, arbitrary texts include existing action texts composed of action labels and introduce scene texts without explicit action labels. To address this practical issue, we extend the action texts in the HUMANML3D dataset by incorporating additional scene texts, thereby creating a new dataset, HUMANML3D++. Concurrently, we propose a simple framework that extracts action representations from arbitrary texts using a Large Language Model (LLM) and subsequently generates motions. Furthermore, we enhance the existing evaluation methodologies to address their inadequacies. Extensive experiments are conducted under different application scenarios to validate the effectiveness of the proposed framework on existing and proposed datasets. The results indicate that Text to Motion in this realistic setting is very challenging, fostering new research in this practical direction. Our dataset and code will be released.
• Abstract（参考訳）: Text to Motionは、テキストから人間の動きを生成することを目的としている。 既存の設定では、テキストにはアクションラベルが含まれており、実用的なシナリオでは柔軟性が制限される。 本稿では,テキストが任意であるというより現実的な仮定で,この課題を拡張した。 特に、我々の設定では、任意のテキストはアクションラベルからなる既存のアクションテキストを含み、明示的なアクションラベルなしでシーンテキストを導入します。 この現実的な問題に対処するため、シーンテキストを付加することにより、HUMANML3Dデータセット内のアクションテキストを拡張し、新しいデータセットであるHUMANML3D++を作成する。 同時に,Large Language Model (LLM) を用いて任意のテキストから行動表現を抽出し,その後に動きを生成するシンプルなフレームワークを提案する。 さらに,既存の評価手法を改良し,その不確実性に対処する。 既存のデータセットと提案されたデータセットに対するフレームワークの有効性を検証するため、さまざまなアプリケーションシナリオの下で大規模な実験が実施されている。 その結果、この現実的な環境でのテキスト・トゥ・モーションは極めて困難であり、この実践的な方向への新しい研究を促進することが示唆された。 データセットとコードはリリースされます。

関連論文リスト

• Fg-T2M++: LLMs-Augmented Fine-Grained Text Driven Human Motion Generation [19.094098673523263]
  テキスト駆動型人体動作生成のための新しいフレームワークを提案する。 Fg-T2M++ は,(1) 身体部分の記述と意味をテキストから抽出する LLM 意味解析モジュール,(2) テキスト単位間の関係情報をエンコードする双曲的テキスト表現モジュール,(3) テキストと運動の特徴を階層的に融合するマルチモーダル融合モジュールからなる。
  論文  参考訳（メタデータ） (2025-02-08T11:38:12Z)
• BiPO: Bidirectional Partial Occlusion Network for Text-to-Motion Synthesis [0.4893345190925178]
  BiPOは、テキスト間合成を強化する新しいモデルである。 パートベースの生成と双方向の自己回帰アーキテクチャを統合する。 BiPOはHumanML3Dデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-11-28T05:42:47Z)
• AToM: Aligning Text-to-Motion Model at Event-Level with GPT-4Vision Reward [20.249532310376026]
  AToMは、GPT-4Visionの報酬を利用して生成された動きとテキストプロンプトのアライメントを強化するフレームワークである。 AToMは、テキスト・ツー・モーション生成のイベントレベルのアライメント品質を著しく改善する。
  論文  参考訳（メタデータ） (2024-11-27T05:32:18Z)
• Infinite Motion: Extended Motion Generation via Long Text Instructions [51.61117351997808]
  『無限運動』は、長文を長文から拡張運動生成に活用する新しいアプローチである。 我々のモデルの主な革新は、任意の長さのテキストを入力として受け入れることである。 テキストのタイムスタンプ設計を取り入れ、生成されたシーケンス内のローカルセグメントの正確な編集を可能にする。
  論文  参考訳（メタデータ） (2024-07-11T12:33:56Z)
• Learning Generalizable Human Motion Generator with Reinforcement Learning [95.62084727984808]
  テキスト駆動型ヒューマンモーション生成は、コンピュータ支援コンテンツ作成において重要なタスクの1つである。 既存の方法は訓練データ中の特定の動作表現に過度に適合することが多く、一般化する能力を妨げている。 一般化可能なヒューマンモーション生成のための強化学習において,パスとエラーのパラダイムを取り入れた textbfInstructMotion を提案する。
  論文  参考訳（メタデータ） (2024-05-24T13:29:12Z)
• Text2Data: Low-Resource Data Generation with Textual Control [100.5970757736845]
  Text2Dataは、ラベルのないデータを使って基盤となるデータ配布を理解する新しいアプローチである。 制御性を確保し、破滅的な忘れを効果的に防止する、制約最適化に基づく新たな学習目標を通じて微調整を行う。
  論文  参考訳（メタデータ） (2024-02-08T03:41:39Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Text-to-Motion Retrieval: Towards Joint Understanding of Human Motion Data and Natural Language [4.86658723641864]
  本研究では,特定の自然記述に基づいて関連動作を検索することを目的とした,新たなテキスト・ツー・モーション検索タスクを提案する。 テキスト対画像/ビデオマッチングの最近の進歩に触発されて、広く採用されている2つのメトリック学習損失関数を実験した。
  論文  参考訳（メタデータ） (2023-05-25T08:32:41Z)
• Text-driven Video Prediction [83.04845684117835]
  テキスト駆動型ビデオ予測(TVP)と呼ばれる新しいタスクを提案する。 本課題は,最初のフレームとテキストキャプションを入力として,以下のフレームを合成することを目的とする。 進行動作情報に対する因果推論におけるテキストの能力を調べるため、我々のTVPフレームワークはテキスト推論モジュール(TIM)を含む。
  論文  参考訳（メタデータ） (2022-10-06T12:43:07Z)
• Composable Text Controls in Latent Space with ODEs [97.12426987887021]
  本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。 事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。 実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
  論文  参考訳（メタデータ） (2022-08-01T06:51:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。