論文の概要: KETA: Kinematic-Phrases-Enhanced Text-to-Motion Generation via Fine-grained Alignment

• arxiv url: http://arxiv.org/abs/2501.15058v1
• Date: Sat, 25 Jan 2025 03:43:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:56:45.734688
• Title: KETA: Kinematic-Phrases-Enhanced Text-to-Motion Generation via Fine-grained Alignment
• Title（参考訳）: KETA: 微細アライメントによるKinematic-Phrases強化テキスト・トゥ・モーション生成
• Authors: Yu Jiang, Yixing Chen, Xingyang Li,
• Abstract要約: 最先端のT2M技術は主に拡散モデルを利用してテキストプロンプトをガイダンスとして動作を生成する。 与えられたテキストを複数の分解されたテキストに分解するKETAを言語モデルを用いて提案する。 実験により、KETAはベースモデルの両バックボーン、モーション拡散モデルにおいて、最大1.19倍、2.34倍のR精度とFID値を達成することが示された。
• 参考スコア（独自算出の注目度）: 5.287416596074742
• License:
• Abstract: Motion synthesis plays a vital role in various fields of artificial intelligence. Among the various conditions of motion generation, text can describe motion details elaborately and is easy to acquire, making text-to-motion(T2M) generation important. State-of-the-art T2M techniques mainly leverage diffusion models to generate motions with text prompts as guidance, tackling the many-to-many nature of T2M tasks. However, existing T2M approaches face challenges, given the gap between the natural language domain and the physical domain, making it difficult to generate motions fully consistent with the texts. We leverage kinematic phrases(KP), an intermediate representation that bridges these two modalities, to solve this. Our proposed method, KETA, decomposes the given text into several decomposed texts via a language model. It trains an aligner to align decomposed texts with the KP segments extracted from the generated motions. Thus, it's possible to restrict the behaviors for diffusion-based T2M models. During the training stage, we deploy the text-KP alignment loss as an auxiliary goal to supervise the models. During the inference stage, we refine our generated motions for multiple rounds in our decoder structure, where we compute the text-KP distance as the guidance signal in each new round. Experiments demonstrate that KETA achieves up to 1.19x, 2.34x better R precision and FID value on both backbones of the base model, motion diffusion model. Compared to a wide range of T2M generation models. KETA achieves either the best or the second-best performance.
• Abstract（参考訳）: 運動合成は、人工知能の様々な分野において重要な役割を果たす。 動作生成の様々な条件の中で、テキストは動きの詳細を精巧に記述することができ、取得が容易であり、テキスト・トゥ・モーション(T2M)の生成が重要となる。 最先端のT2M技術は主に拡散モデルを利用してテキストプロンプトをガイダンスとして生成し、T2Mタスクの多対多の性質に対処する。 しかし、自然言語領域と物理領域のギャップを考えると、既存のT2Mアプローチでは、テキストと完全に整合した動作を生成するのが難しくなるため、課題に直面している。 これら2つのモダリティをブリッジする中間表現であるキネマティック・フレーズ(KP)を活用し、この問題を解決する。 提案手法であるKETAは、与えられたテキストを言語モデルを介して複数の分解されたテキストに分解する。 コーディネータをトレーニングして、分解されたテキストと生成された動きから抽出されたKPセグメントを整列させる。 したがって、拡散に基づくT2Mモデルの挙動を制限することができる。 トレーニング段階では、モデルを監督する補助目標として、テキスト-KPアライメント損失をデプロイする。 推論の段階では、デコーダ構造の複数のラウンドに対して生成された動きを洗練し、新しいラウンド毎の誘導信号としてテキスト-KP距離を計算する。 実験により、KETAはベースモデルの両バックボーン、モーション拡散モデルにおいて、最大1.19倍、2.34倍のR精度とFID値を達成することが示された。 幅広いT2M世代モデルと比較する。 KETAは最高のパフォーマンスと2番目に高いパフォーマンスを達成する。

関連論文リスト

• PackDiT: Joint Human Motion and Text Generation via Mutual Prompting [22.53146582495341]
  PackDiTは、様々なタスクを同時に実行できる最初の拡散ベースの生成モデルである。 我々はHumanML3Dデータセット上でPackDiTをトレーニングし、FIDスコア0.106で最先端のテキスト・トゥ・モーションのパフォーマンスを達成する。 さらに本実験は, 拡散モデルが, 自動回帰モデルに匹敵する性能を達成し, 動画像生成に有効であることを示す。
  論文  参考訳（メタデータ） (2025-01-27T22:51:45Z)
• Mimir: Improving Video Diffusion Models for Precise Text Understanding [53.72393225042688]
  テキストは、ナラティブな性質のため、ビデオ生成におけるキーコントロールシグナルとして機能する。 近年の大規模言語モデル(LLM)の成功はデコーダのみのトランスフォーマーのパワーを示している。 この作業は、慎重に調整されたトークンフィーザーを備えたエンドツーエンドのトレーニングフレームワークであるMimirによる、この課題に対処する。
  論文  参考訳（メタデータ） (2024-12-04T07:26:44Z)
• MoTe: Learning Motion-Text Diffusion Model for Multiple Generation Tasks [30.333659816277823]
  動作とテキストの限界,条件,共同分布を同時に学習することで,多様なタスクを処理できる統合マルチモーダルモデルであるtextbfMoTe を提示する。 MoTeは3つのコンポーネントで構成されている: Motion-Decoder (MED)、Text-Decoder (TED)、Moti-on-Text Diffusion Model (MTDM)。
  論文  参考訳（メタデータ） (2024-11-29T15:48:24Z)
• FTMoMamba: Motion Generation with Frequency and Text State Space Models [53.60865359814126]
  本稿では,周波数状態空間モデルとテキスト状態空間モデルを備えた新しい拡散型FTMoMambaフレームワークを提案する。 微細な表現を学ぶために、FreqSSMは配列を低周波成分と高周波成分に分解する。 テキストと動作の一貫性を確保するために、TextSSMはテキスト機能を文レベルでエンコードする。
  論文  参考訳（メタデータ） (2024-11-26T15:48:12Z)
• MotionGPT-2: A General-Purpose Motion-Language Model for Motion Generation and Understanding [76.30210465222218]
  MotionGPT-2は、MLMLM(Large Motion-Language Model)である。 LLM(Large Language Models)によるマルチモーダル制御をサポートしている。 難易度の高い3次元全体運動生成タスクに高い適応性を持つ。
  論文  参考訳（メタデータ） (2024-10-29T05:25:34Z)
• AMD:Anatomical Motion Diffusion with Interpretable Motion Decomposition and Fusion [11.689663297469945]
  適応運動拡散モデルを提案する。 入力テキストを簡潔で解釈可能な解剖学的スクリプトのシーケンスにパースするために、LLM(Large Language Model)を利用する。 次に、逆拡散過程における入力テキストと解剖学的スクリプトの影響を均衡させる2分岐融合方式を考案する。
  論文  参考訳（メタデータ） (2023-12-20T04:49:45Z)
• BOTH2Hands: Inferring 3D Hands from Both Text Prompts and Body Dynamics [50.88842027976421]
  両手動作生成のための新しいマルチモーダルデータセットBOTH57Mを提案する。 私たちのデータセットには、人体と手の動きの正確な追跡が含まれています。 また,新しいタスクのための強力なベースライン手法であるBOTH2Handsも提供する。
  論文  参考訳（メタデータ） (2023-12-13T07:30:19Z)
• Fg-T2M: Fine-Grained Text-Driven Human Motion Generation via Diffusion Model [11.873294782380984]
  そこで本研究では,高精度なテキスト記述をサポートする高品質な条件付き人間の動作シーケンスを生成するための微細な手法を提案する。 本手法は,1) テキスト情報を完全に活用するための正確かつ完全な言語特徴を構築する言語構造支援モジュール,2) 多段階推論を実現するために,浅層および深層グラフニューラルネットワークから近隣および総合的な意味論的特徴を学習する文脈認識プログレッシブ推論モジュールの2つの主要な構成要素から構成される。
  論文  参考訳（メタデータ） (2023-09-12T14:43:47Z)
• Text-driven Video Prediction [83.04845684117835]
  テキスト駆動型ビデオ予測(TVP)と呼ばれる新しいタスクを提案する。 本課題は,最初のフレームとテキストキャプションを入力として,以下のフレームを合成することを目的とする。 進行動作情報に対する因果推論におけるテキストの能力を調べるため、我々のTVPフレームワークはテキスト推論モジュール(TIM)を含む。
  論文  参考訳（メタデータ） (2022-10-06T12:43:07Z)
• TM2T: Stochastic and Tokenized Modeling for the Reciprocal Generation of 3D Human Motions and Texts [20.336481832461168]
  視覚と言語との強い結びつきから着想を得た本論文は,テキストから3次元人間のフルボディ運動の生成を探求することを目的とする。 本稿では,離散的かつコンパクトな動き表現である動きトークンを提案する。 私たちのアプローチは柔軟で、text2motionと Motion2textタスクの両方に使用できます。
  論文  参考訳（メタデータ） (2022-07-04T19:52:18Z)
• TEMOS: Generating diverse human motions from textual descriptions [53.85978336198444]
  テキスト記述から多種多様な人間の動作を生成するという課題に対処する。 本研究では,人間の動作データを用いた可変オートエンコーダ(VAE)トレーニングを利用したテキスト条件生成モデルTEMOSを提案する。 TEMOSフレームワークは,従来のような骨格に基づくアニメーションと,より表現力のあるSMPLボディモーションの両方を生成可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T14:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。