論文の概要: FLAME: Free-form Language-based Motion Synthesis & Editing

• arxiv url: http://arxiv.org/abs/2209.00349v1
• Date: Thu, 1 Sep 2022 10:34:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-02 14:15:14.591930
• Title: FLAME: Free-form Language-based Motion Synthesis & Editing
• Title（参考訳）: flame: フリーフォーム言語ベースのモーション合成と編集
• Authors: Jihoon Kim, Jiseob Kim, Sungjoon Choi
• Abstract要約: FLAMEと呼ばれる拡散型モーション合成・編集モデルを提案する。 FLAMEは、与えられたテキストによく整合した高忠実な動作を生成することができる。 フレームワイドでもジョイントワイドでも、微調整なしで動きの一部を編集できます。
• 参考スコア（独自算出の注目度）: 17.70085940884357
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Text-based motion generation models are drawing a surge of interest for their potential for automating the motion-making process in the game, animation, or robot industries. In this paper, we propose a diffusion-based motion synthesis and editing model named FLAME. Inspired by the recent successes in diffusion models, we integrate diffusion-based generative models into the motion domain. FLAME can generate high-fidelity motions well aligned with the given text. Also, it can edit the parts of the motion, both frame-wise and joint-wise, without any fine-tuning. FLAME involves a new transformer-based architecture we devise to better handle motion data, which is found to be crucial to manage variable-length motions and well attend to free-form text. In experiments, we show that FLAME achieves state-of-the-art generation performances on three text-motion datasets: HumanML3D, BABEL, and KIT. We also demonstrate that editing capability of FLAME can be extended to other tasks such as motion prediction or motion in-betweening, which have been previously covered by dedicated models.
• Abstract（参考訳）: テキストベースのモーション生成モデルは、ゲーム、アニメーション、ロボット産業におけるモーション作成プロセスを自動化する可能性への関心が高まっている。 本稿では,FLAMEと呼ばれる拡散型モーション合成・編集モデルを提案する。 近年の拡散モデルの成功に触発されて、拡散に基づく生成モデルを運動領域に統合する。 FLAMEは、与えられたテキストによく整合した高忠実な動作を生成することができる。 また、フレームとジョイントの両方で、微調整することなく、モーションの一部を編集できる。 FLAMEには、より優れた動きデータを扱うために考案した新しいトランスフォーマーベースのアーキテクチャが含まれています。 実験の結果,FLAMEはHumanML3D,BABEL,KITの3つのテキスト・モーション・データセット上で,最先端のテキスト生成性能を実現することがわかった。 また,フレイムの編集機能を,従来専用モデルでカバーされていた動作予測や動作間移動といった他のタスクにも拡張可能であることを実証した。

関連論文リスト

• MoFusion: A Framework for Denoising-Diffusion-based Motion Synthesis [73.52948992990191]
  MoFusionは、高品質な条件付き人間のモーション合成のための新しいノイズ拡散ベースのフレームワークである。 本研究では,運動拡散フレームワーク内での運動可視性に対して,よく知られたキネマティック損失を導入する方法を提案する。 文献の確立されたベンチマークにおけるMoFusionの有効性を,技術の現状と比較した。
  論文  参考訳（メタデータ） (2022-12-08T18:59:48Z)
• Executing your Commands via Motion Diffusion in Latent Space [51.64652463205012]
  本研究では,動作遅延に基づく拡散モデル(MLD)を提案し,条件付き入力に対応する鮮明な動き列を生成する。 我々のMDDは、広範囲な人体運動生成タスクにおいて、最先端の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-12-08T03:07:00Z)
• Pretrained Diffusion Models for Unified Human Motion Synthesis [33.41816844381057]
  MoFusionは統合されたモーション合成のためのフレームワークである。 多様な制御信号の挿入を容易にするためにTransformerのバックボーンを使用している。 また、身体部分の運動完了から全身運動生成まで、多粒性合成をサポートする。
  論文  参考訳（メタデータ） (2022-12-06T09:19:21Z)
• OhMG: Zero-shot Open-vocabulary Human Motion Generation [178.09150600453205]
  オープンな3次元モーション生成のためのCLIPをゼロショット方式で活用する。 我々のモデルは2つの段階、すなわち text2pose と pose2motion で構成されている。
  論文  参考訳（メタデータ） (2022-10-28T06:20:55Z)
• Diffusion Motion: Generate Text-Guided 3D Human Motion by Diffusion Model [7.381316531478522]
  本稿では,複雑な自然言語文から3次元人物の動きを生成するための,シンプルで斬新な手法を提案する。 テキストの指導の下で様々な動作結果を生成するために,Denoising Diffusion Probabilistic Model を用いる。 我々の実験は,HumanML3Dテストセットにおけるモデル競合の結果を定量的に検証し,より視覚的に自然で多様な例を生成できることを実証した。
  論文  参考訳（メタデータ） (2022-10-22T00:41:17Z)
• Text-driven Video Prediction [83.04845684117835]
  テキスト駆動型ビデオ予測(TVP)と呼ばれる新しいタスクを提案する。 本課題は,最初のフレームとテキストキャプションを入力として,以下のフレームを合成することを目的とする。 進行動作情報に対する因果推論におけるテキストの能力を調べるため、我々のTVPフレームワークはテキスト推論モジュール(TIM)を含む。
  論文  参考訳（メタデータ） (2022-10-06T12:43:07Z)
• MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model [35.32967411186489]
  MotionDiffuseは拡散モデルに基づくテキスト駆動モーション生成フレームワークである。 複雑なデータ分散をモデル化し、鮮やかなモーションシーケンスを生成するのに優れています。 体の部分のきめ細かい指示に反応し、時間経過したテキストプロンプトで任意の長さのモーション合成を行う。
  論文  参考訳（メタデータ） (2022-08-31T17:58:54Z)
• MoDi: Unconditional Motion Synthesis from Diverse Data [51.676055380546494]
  多様な動きを合成する無条件生成モデルであるMoDiを提案する。 我々のモデルは、多様な、構造化されていない、ラベルなしのモーションデータセットから完全に教師なしの設定で訓練されている。 データセットに構造が欠けているにもかかわらず、潜在空間は意味的にクラスタ化可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-16T09:06:25Z)
• TEMOS: Generating diverse human motions from textual descriptions [53.85978336198444]
  テキスト記述から多種多様な人間の動作を生成するという課題に対処する。 本研究では,人間の動作データを用いた可変オートエンコーダ(VAE)トレーニングを利用したテキスト条件生成モデルTEMOSを提案する。 TEMOSフレームワークは,従来のような骨格に基づくアニメーションと,より表現力のあるSMPLボディモーションの両方を生成可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T14:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。