論文の概要: Optimizing Diffusion Noise Can Serve As Universal Motion Priors
- arxiv url: http://arxiv.org/abs/2312.11994v1
- Date: Tue, 19 Dec 2023 09:37:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 16:13:49.224584
- Title: Optimizing Diffusion Noise Can Serve As Universal Motion Priors
- Title（参考訳）: ユニバーサルモーションが先行する拡散騒音の最適化
- Authors: Korrawe Karunratanakul, Konpat Preechakul, Emre Aksan, Thabo Beeler,
Supasorn Suwajanakorn, Siyu Tang
- Abstract要約: ディフュージョンノイズ最適化(DNO)は,既存の動き拡散モデルを広範囲な動作関連タスクの先行動作として効果的に活用する新しい手法である。
動作の編集と制御において、DNOは目標達成と動作内容の保存の両方において既存の手法より優れている。
DNOは運動の雑音化と完了に有効であり、雑音や部分的な入力から滑らかで現実的な動きを生み出す。
- 参考スコア（独自算出の注目度）: 23.57090229106615
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose Diffusion Noise Optimization (DNO), a new method that effectively
leverages existing motion diffusion models as motion priors for a wide range of
motion-related tasks. Instead of training a task-specific diffusion model for
each new task, DNO operates by optimizing the diffusion latent noise of an
existing pre-trained text-to-motion model. Given the corresponding latent noise
of a human motion, it propagates the gradient from the target criteria defined
on the motion space through the whole denoising process to update the diffusion
latent noise. As a result, DNO supports any use cases where criteria can be
defined as a function of motion. In particular, we show that, for motion
editing and control, DNO outperforms existing methods in both achieving the
objective and preserving the motion content. DNO accommodates a diverse range
of editing modes, including changing trajectory, pose, joint locations, or
avoiding newly added obstacles. In addition, DNO is effective in motion
denoising and completion, producing smooth and realistic motion from noisy and
partial inputs. DNO achieves these results at inference time without the need
for model retraining, offering great versatility for any defined reward or loss
function on the motion representation.
- Abstract（参考訳）: 本研究では,既存の動き拡散モデルを動作優先として有効活用する新しい手法である拡散雑音最適化(dno)を提案する。
新しいタスクごとにタスク固有の拡散モデルをトレーニングする代わりに、dnoは既存の事前学習されたテキストとモーションモデルの拡散潜在ノイズを最適化する。
対応する人間の動きの潜在ノイズを仮定すると、拡散潜在ノイズを更新するために、動き空間で定義された目標基準から全ての消音過程を通じて勾配を伝搬する。
結果として、DNOは、基準を運動関数として定義できるあらゆるユースケースをサポートしている。
特に,モーション編集と制御では,dnoは目標達成とモーションコンテンツ保存の両方において既存の手法を上回っていることを示す。
dnoは、軌道変更、ポーズ変更、ジョイントロケーション、新しく追加された障害物回避など、さまざまな編集モードに対応している。
さらに、DNOは動きのデノゲーションと完了に有効であり、ノイズや部分的な入力から滑らかで現実的な動きを生み出す。
DNOは、モデル再訓練を必要とせずに、これらの結果を推論時に達成し、運動表現上の任意の定義された報酬や損失関数に対して大きな汎用性を提供する。
関連論文リスト
- Denoising Reuse: Exploiting Inter-frame Motion Consistency for Efficient Video Latent Generation [36.098738197088124]
本研究では,遅延ビデオ生成を高速化する拡散再利用モードネットワークを提案する。
初期のデノナイジングステップの粗いきめのノイズは、連続するビデオフレーム間で高い動きの一貫性を示す。
Mo博士は、慎重に設計された軽量なフレーム間の動きを取り入れることで、これらの粗いノイズを次のフレームに伝播させる。
論文 参考訳（メタデータ） (2024-09-19T07:50:34Z) - COIN: Control-Inpainting Diffusion Prior for Human and Camera Motion Estimation [98.05046790227561]
COINは、人間の動きとカメラの動きを細粒度に制御できる、コントロール・インパインティング・モーション拡散である。
COINは、グローバルな人間の動き推定とカメラの動き推定という観点から、最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2024-08-29T10:36:29Z) - Motion-adaptive Separable Collaborative Filters for Blind Motion Deblurring [71.60457491155451]
様々な動きによって生じる画像のぼかしを除去することは、難しい問題である。
本研究では,動き適応型分離型協調フィルタと呼ばれる実世界のデブロアリングフィルタモデルを提案する。
本手法は,実世界の動きのぼかし除去に有効な解法を提供し,最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-04-19T19:44:24Z) - SMURF: Continuous Dynamics for Motion-Deblurring Radiance Fields [14.681688453270523]
本稿では,ニューラル常微分方程式(Neural-ODE)を用いて連続カメラの動きをモデル化する新しい手法である,逐次的動き理解放射場(SMURF)を提案する。
我々のモデルは、ベンチマークデータセットに対して厳密に評価され、定量的かつ定性的に最先端のパフォーマンスを実証する。
論文 参考訳（メタデータ） (2024-03-12T11:32:57Z) - Motion Flow Matching for Human Motion Synthesis and Editing [75.13665467944314]
本研究では,効率的なサンプリングと効率性を備えた人体運動生成のための新しい生成モデルであるemphMotion Flow Matchingを提案する。
提案手法は, 従来の拡散モデルにおいて, サンプリングの複雑さを1000ステップから10ステップに減らし, テキスト・ツー・モーション・ジェネレーション・ベンチマークやアクション・ツー・モーション・ジェネレーション・ベンチマークで同等の性能を実現する。
論文 参考訳（メタデータ） (2023-12-14T12:57:35Z) - Guided Motion Diffusion for Controllable Human Motion Synthesis [18.660523853430497]
本稿では,空間的制約を運動生成プロセスに組み込む手法として,誘導運動拡散(GMD)を提案する。
具体的には、空間情報と局所的なポーズの一貫性を高めるために、動きの表現を操作する効果的な特徴投影方式を提案する。
本実験はGMDの開発を正当化し,テキストベースモーション生成における最先端手法を大幅に改善する。
論文 参考訳（メタデータ） (2023-05-21T21:54:31Z) - BoDiffusion: Diffusing Sparse Observations for Full-Body Human Motion
Synthesis [14.331548412833513]
複合現実感アプリケーションは、没入感のある体験を可能にするために、ユーザのフルボディの動きを追跡する必要がある。
本稿では,この非拘束的再構成問題に対処するために,運動合成のための生成拡散モデルであるBoDiffusionを提案する。
本稿では,スムーズで現実的なフルボディモーションシーケンスを生成しつつ,スパーストラッキング入力をBoDiffusionが活用できる時間空間調和方式を提案する。
論文 参考訳（メタデータ） (2023-04-21T16:39:05Z) - Executing your Commands via Motion Diffusion in Latent Space [51.64652463205012]
本研究では,動作遅延に基づく拡散モデル(MLD)を提案し,条件付き入力に対応する鮮明な動き列を生成する。
我々のMDDは、広範囲な人体運動生成タスクにおいて、最先端の手法よりも大幅に改善されている。
論文 参考訳（メタデータ） (2022-12-08T03:07:00Z) - Learning Task-Oriented Flows to Mutually Guide Feature Alignment in
Synthesized and Real Video Denoising [137.5080784570804]
Video Denoisingは、クリーンなノイズを回復するためにビデオからノイズを取り除くことを目的としている。
既存の研究によっては、近辺のフレームから追加の空間的時間的手がかりを利用することで、光学的流れがノイズ発生の助けとなることが示されている。
本稿では,様々なノイズレベルに対してより堅牢なマルチスケール光フロー誘導型ビデオデノイング法を提案する。
論文 参考訳（メタデータ） (2022-08-25T00:09:18Z) - ProgressiveMotionSeg: Mutually Reinforced Framework for Event-Based
Motion Segmentation [101.19290845597918]
本稿では,動作推定 (ME) モジュールとイベントデノイング (ED) モジュールを相互に強化された方法で共同最適化する。
時間的相関をガイダンスとして、EDモジュールは各イベントが実活動イベントに属するという信頼度を算出し、MEモジュールに送信し、ノイズ抑制のための運動セグメンテーションのエネルギー関数を更新する。
論文 参考訳（メタデータ） (2022-03-22T13:40:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。