論文の概要: Motion Flow Matching for Human Motion Synthesis and Editing

• arxiv url: http://arxiv.org/abs/2312.08895v1
• Date: Thu, 14 Dec 2023 12:57:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-15 22:13:44.553961
• Title: Motion Flow Matching for Human Motion Synthesis and Editing
• Title（参考訳）: ヒトの運動合成と編集のための運動フローマッチング
• Authors: Vincent Tao Hu, Wenzhe Yin, Pingchuan Ma, Yunlu Chen, Basura Fernando, Yuki M Asano, Efstratios Gavves, Pascal Mettes, Bjorn Ommer, Cees G. M. Snoek
• Abstract要約: 本研究では,効率的なサンプリングと効率性を備えた人体運動生成のための新しい生成モデルであるemphMotion Flow Matchingを提案する。 提案手法は, 従来の拡散モデルにおいて, サンプリングの複雑さを1000ステップから10ステップに減らし, テキスト・ツー・モーション・ジェネレーション・ベンチマークやアクション・ツー・モーション・ジェネレーション・ベンチマークで同等の性能を実現する。
• 参考スコア（独自算出の注目度）: 75.13665467944314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human motion synthesis is a fundamental task in computer animation. Recent methods based on diffusion models or GPT structure demonstrate commendable performance but exhibit drawbacks in terms of slow sampling speeds and error accumulation. In this paper, we propose \emph{Motion Flow Matching}, a novel generative model designed for human motion generation featuring efficient sampling and effectiveness in motion editing applications. Our method reduces the sampling complexity from thousand steps in previous diffusion models to just ten steps, while achieving comparable performance in text-to-motion and action-to-motion generation benchmarks. Noticeably, our approach establishes a new state-of-the-art Fr\'echet Inception Distance on the KIT-ML dataset. What is more, we tailor a straightforward motion editing paradigm named \emph{sampling trajectory rewriting} leveraging the ODE-style generative models and apply it to various editing scenarios including motion prediction, motion in-between prediction, motion interpolation, and upper-body editing. Our code will be released.
• Abstract（参考訳）: 人間の動作合成はコンピュータアニメーションの基本課題である。 近年の拡散モデルやGPT構造に基づく手法は, 高い性能を示すが, サンプリング速度の遅さと誤差蓄積の欠点を示す。 本稿では,効率的なサンプリングと効率性を備えた人体動作生成のための新しい生成モデルである「emph{Motion Flow Matching}」を提案する。 提案手法は,従来の拡散モデルの1000ステップからわずか10ステップまでのサンプリング複雑性を低減し,テキスト・トゥ・モーションおよびアクション・トゥ・モーション生成ベンチマークで同等の性能を実現する。 我々のアプローチは、KIT-MLデータセット上に新しい最先端のFr'echet Inception Distanceを確立する。 さらに, 動き予測, 動き内予測, 動き補間, 上半身編集などの様々な編集シナリオに適用し, ODEスタイルの生成モデルを利用した簡単な動作編集パラダイムである「emph{sampling trajectory rewriting」を調整する。 私たちのコードはリリースされます。

関連論文リスト

• MoRAG -- Multi-Fusion Retrieval Augmented Generation for Human Motion [8.94802080815133]
  MoRAGは、テキストベースの人間動作生成のための、新しい多部融合に基づく検索強化生成戦略である。 得られた動きの空間的組成から多様なサンプルを作成する。 我々のフレームワークはプラグイン・アンド・プレイモジュールとして機能し、モーション拡散モデルの性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-09-18T17:03:30Z)
• MotionFix: Text-Driven 3D Human Motion Editing [52.11745508960547]
  主な課題は、トレーニングデータの不足と、ソースの動きを正確に編集するモデルの設計である。 本研究では, (i) 震源運動, (ii) 目標運動, (iii) 編集テキストからなる三つ組のデータセットを半自動で収集する手法を提案する。 このデータにアクセスすると、ソースモーションと編集テキストの両方を入力として取り込む条件拡散モデルTMEDをトレーニングできます。
  論文  参考訳（メタデータ） (2024-08-01T16:58:50Z)
• MotionFollower: Editing Video Motion via Lightweight Score-Guided Diffusion [94.66090422753126]
  MotionFollowerは、ビデオモーション編集のための軽量なスコア誘導拡散モデルである。 優れたモーション編集性能を提供し、大きなカメラの動きとアクションのみをサポートする。 最新のモーション編集モデルであるMotionEditorと比較して、MotionFollowerはGPUメモリの約80%の削減を実現している。
  論文  参考訳（メタデータ） (2024-05-30T17:57:30Z)
• Shape Conditioned Human Motion Generation with Diffusion Model [0.0]
  本研究では,メッシュ形式での運動系列生成を可能にする形状条件付き運動拡散モデル(SMD)を提案する。 また、スペクトル領域内の時間的依存関係を活用するためのスペクトル・テンポラルオートエンコーダ(STAE)を提案する。
  論文  参考訳（メタデータ） (2024-05-10T19:06:41Z)
• MotionMix: Weakly-Supervised Diffusion for Controllable Motion Generation [19.999239668765885]
  MotionMixはノイズと無注釈の両方のモーションシーケンスを利用する弱い教師付き拡散モデルである。 我々のフレームワークは、テキスト・トゥ・モーション、アクション・トゥ・モーション、音楽・トゥ・ダンスのタスクにおける最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2024-01-20T04:58:06Z)
• Synthesizing Long-Term Human Motions with Diffusion Models via Coherent Sampling [74.62570964142063]
  テキスト・トゥ・モーション・ジェネレーションは注目されているが、既存の手法のほとんどは短期的な動きに限られている。 本稿では,2つのコヒーレントサンプリング手法を用いた過去の拡散モデルを用いた新しい手法を提案する。 提案手法は,ユーザの指示した長文ストリームによって制御された,構成的かつコヒーレントな3次元人間の動作を生成することができる。
  論文  参考訳（メタデータ） (2023-08-03T16:18:32Z)
• MoFusion: A Framework for Denoising-Diffusion-based Motion Synthesis [73.52948992990191]
  MoFusionは、高品質な条件付き人間のモーション合成のための新しいノイズ拡散ベースのフレームワークである。 本研究では,運動拡散フレームワーク内での運動可視性に対して,よく知られたキネマティック損失を導入する方法を提案する。 文献の確立されたベンチマークにおけるMoFusionの有効性を,技術の現状と比較した。
  論文  参考訳（メタデータ） (2022-12-08T18:59:48Z)
• Executing your Commands via Motion Diffusion in Latent Space [51.64652463205012]
  本研究では,動作遅延に基づく拡散モデル(MLD)を提案し,条件付き入力に対応する鮮明な動き列を生成する。 我々のMDDは、広範囲な人体運動生成タスクにおいて、最先端の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-12-08T03:07:00Z)
• FLAME: Free-form Language-based Motion Synthesis & Editing [17.70085940884357]
  FLAMEと呼ばれる拡散型モーション合成・編集モデルを提案する。 FLAMEは、与えられたテキストによく整合した高忠実な動作を生成することができる。 フレームワイドでもジョイントワイドでも、微調整なしで動きの一部を編集できます。
  論文  参考訳（メタデータ） (2022-09-01T10:34:57Z)
• MotionAug: Augmentation with Physical Correction for Human Motion Prediction [19.240717471864723]
  本稿では,動き合成を取り入れた動きデータ拡張手法を提案する。 提案手法は,リカレントニューラルネットワークとグラフ畳み込みネットワークを併用した人間の動き予測モデルにおいて,従来の雑音に基づく動き増進手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-03-17T06:53:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。