論文の概要: Efficient Text-driven Motion Generation via Latent Consistency Training

• arxiv url: http://arxiv.org/abs/2405.02791v1
• Date: Sun, 5 May 2024 02:11:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 18:20:16.707631
• Title: Efficient Text-driven Motion Generation via Latent Consistency Training
• Title（参考訳）: 遅延整合性学習によるテキスト駆動動作の効率的な生成
• Authors: Mengxian Hu, Minghao Zhu, Xun Zhou, Qingqing Yan, Shu Li, Chengju Liu, Qijun Chen,
• Abstract要約: 動作生成のための動作遅延整合性トレーニング(MLCT)を提案し,推論時の計算量と時間消費を緩和する。 低次元運動潜在空間に拡散パイプラインを適用し,各関数評価の計算負担を軽減する。 2つの人体運動生成ベンチマーク実験により、提案モデルが10%未満の時間コストで最先端の性能を達成することを示す。
• 参考スコア（独自算出の注目度）: 21.348658259929053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motion diffusion models have recently proven successful for text-driven human motion generation. Despite their excellent generation performance, they are challenging to infer in real time due to the multi-step sampling mechanism that involves tens or hundreds of repeat function evaluation iterations. To this end, we investigate a motion latent consistency Training (MLCT) for motion generation to alleviate the computation and time consumption during iteration inference. It applies diffusion pipelines to low-dimensional motion latent spaces to mitigate the computational burden of each function evaluation. Explaining the diffusion process with probabilistic flow ordinary differential equation (PF-ODE) theory, the MLCT allows extremely few steps infer between the prior distribution to the motion latent representation distribution via maintaining consistency of the outputs over the trajectory of PF-ODE. Especially, we introduce a quantization constraint to optimize motion latent representations that are bounded, regular, and well-reconstructed compared to traditional variational constraints. Furthermore, we propose a conditional PF-ODE trajectory simulation method, which improves the conditional generation performance with minimal additional training costs. Extensive experiments on two human motion generation benchmarks show that the proposed model achieves state-of-the-art performance with less than 10\% time cost.
• Abstract（参考訳）: 動き拡散モデルは最近、テキスト駆動による人間の動き生成に成功している。 生成性能は優れていますが,複数ステップのサンプリング機構が複数回,あるいは数百回繰り返し関数評価を繰り返しているため,リアルタイムに推測することは困難です。 そこで本研究では、動作生成のための動作遅延整合性トレーニング(MLCT)について検討し、反復推論時の計算と時間消費を緩和する。 低次元運動潜在空間に拡散パイプラインを適用し,各関数評価の計算負担を軽減する。 MLCTは、確率フロー常微分方程式(PF-ODE)理論を用いて拡散過程を記述し、PF-ODEの軌道上の出力の整合性を維持することにより、先行分布と運動潜在表現分布の間に非常に少ないステップを推測する。 特に、従来の変動制約と比較して、有界、正則、そしてよく再構成された動き潜在表現を最適化する量子化制約を導入する。 さらに,条件付きPF-ODEトラジェクトリシミュレーションを提案し,トレーニングコストを最小化して条件付き生成性能を向上させる。 2つの人体運動生成ベンチマークの大規模な実験により,提案モデルが10 % の時間コストで最先端の性能を達成できることが示されている。

関連論文リスト

• A First-order Generative Bilevel Optimization Framework for Diffusion Models [57.40597004445473]
  拡散モデルは、データサンプルを反復的に分解して高品質な出力を合成する。 従来の二値法は無限次元の確率空間と禁制的なサンプリングコストのために失敗する。 我々はこの問題を生成的二段階最適化問題として定式化する。 従来の2段階法と拡散過程の非互換性を克服する。
  論文  参考訳（メタデータ） (2025-02-12T21:44:06Z)
• Decentralized Inference for Spatial Data Using Low-Rank Models [4.168323530566095]
  本稿では,空間的低ランクモデルにおけるパラメータ推論に適した分散化フレームワークを提案する。 重要な障害は、観測中の空間的依存から生じ、ログのような状態が要約として表現されるのを防ぐ。 提案手法では,効率的なパラメータ最適化のために,マルチセンサと動的コンセンサス平均化を統合したブロック降下法を用いる。
  論文  参考訳（メタデータ） (2025-02-01T04:17:01Z)
• FlowDAS: A Flow-Based Framework for Data Assimilation [15.64941169350615]
  FlowDASは、状態遷移ダイナミクスと生成前の学習を統合するために補間剤を用いた新しい生成モデルベースのフレームワークである。 実験では,ローレンツシステムから高次元流体超解像タスクに至るまで,様々なベンチマークにおいてFlowDASの優れた性能を示す。
  論文  参考訳（メタデータ） (2025-01-13T05:03:41Z)
• E2EDiff: Direct Mapping from Noise to Data for Enhanced Diffusion Models [15.270657838960114]
  拡散モデルは生成モデリングの強力なフレームワークとして登場し、様々なタスクで最先端のパフォーマンスを実現している。 トレーニングサンプリングのギャップ、プログレッシブノイズ発生過程における情報漏洩、およびトレーニング中の知覚的および敵対的損失のような高度な損失関数を組み込むことができないことなど、いくつかの固有の制限に直面している。 本稿では,最終的な再構築出力を直接最適化することで,トレーニングとサンプリングのプロセスを整合させる,革新的なエンドツーエンドトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-30T16:06:31Z)
• Diffusion Predictive Control with Constraints [51.91057765703533]
  制約付き拡散予測制御(DPCC) トレーニングデータから逸脱可能な、明示的な状態と行動制約を持つ拡散制御アルゴリズム。 DPCCは,学習した制御タスクの性能を維持しつつ,新しいテスト時間制約を満たす上で,既存の手法よりも優れるロボットマニピュレータのシミュレーションを通して示す。
  論文  参考訳（メタデータ） (2024-12-12T15:10:22Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Non-Cross Diffusion for Semantic Consistency [12.645444338043934]
  常微分方程式(ODE)モデルを学習するための生成モデリングにおける革新的アプローチであるNon-Cross Diffusionを導入する。 提案手法は,2つの分布からサンプリングされた点を非交差経路で効果的に接続する,入力の上昇次元を戦略的に組み込む。
  論文  参考訳（メタデータ） (2023-11-30T05:53:39Z)
• Observation-Guided Diffusion Probabilistic Models [41.749374023639156]
  観測誘導拡散確率モデル(OGDM)と呼ばれる新しい拡散に基づく画像生成法を提案する。 本手法は,観測プロセスの指導をマルコフ連鎖と統合することにより,トレーニング目標を再構築する。 本研究では,強力な拡散モデルベースライン上での多様な推論手法を用いたトレーニングアルゴリズムの有効性を示す。
  論文  参考訳（メタデータ） (2023-10-06T06:29:06Z)
• Distributionally Robust Model-based Reinforcement Learning with Large State Spaces [55.14361269378122]
  強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。 広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。 本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:42:11Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。