論文の概要: CleanMDM: Clean Motion Diffusion Model for Multimodal Motion Cleanup
- arxiv url: http://arxiv.org/abs/2610.05411v1
- Date: Sun, 04 Oct 2026 17:50:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 13:55:28.665144
- Title: CleanMDM: Clean Motion Diffusion Model for Multimodal Motion Cleanup
- Title(参考訳): クリーンMDM:マルチモーダル運動浄化のためのクリーンモーション拡散モデル
- Abstract要約: プラグ・アンド・プレイ条件付きマスク付き条件生成としてクリーンアップを定式化する,統合されたモーション・クリーンアップ・フレームワークであるCleanMDMを提案する。
この設計は、追加のユーザアノテーションなしで自動クリーンアップとマルチモーダルガイダンスによるコントロール可能なクリーンアップの両方を可能にする。
複数のデータセットにわたる実験により、CleanMDMは、事前のクリーンアップとジェネレーションベースラインを一貫して上回っていることが示される。
- 参考スコア(独自算出の注目度): 12.011681146028579
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Motion capture data is rarely directly usable, as they typically exhibit missing segments, jitter, drift and contact artifacts. Traditionally, corrupted motions are cleaned by animators through the manual identification of keyframes from noisy motion, subsequent keyframe correction, and interpolation between corrected keyframes to reconstruct coherent motion. While the rise of generative motion models has made automatic cleanup feasible, most approaches operate as black box denoisers with limited controllability, making it difficult to preserve reliable segments or enforce specific user intents. Inspired by animation workflows, we present CleanMDM, a unified multimodal motion cleanup framework that formulates cleanup as masked conditional generation with plug-and-play conditions. This single model supports arbitrary combinations of noisy 3D motion, sparse 2D keyframes, sparse 3D keyframes, and text. This design enables both automatic cleanup without additional user annotation and controllable cleanup under multimodal guidance. To further improve motion realism, we incorporate the Latent Motion Quality Discriminator (LMQD) to better match kinematic distributions and reduce skating, jitter, and interpenetration artifacts, and we apply Mesh-Aware Contact Projection as a test-time optimization step to enhance contact and physical consistency. Experiments across multiple datasets demonstrate that CleanMDM consistently outperforms prior cleanup and generation baselines, and that low cost conditions (text and 2D keyframes) provide reliable controllability gains in multimodal cleanup scenarios.
- Abstract(参考訳): モーションキャプチャーデータは、通常、欠落したセグメント、ジッタ、ドリフトおよび接触アーティファクトを表示するため、直接使用することは滅多にない。
伝統的に、破損した動きは、ノイズのある動きからキーフレームを手動で識別し、後続のキーフレームの修正、コヒーレントな動きを再構築するために修正されたキーフレーム間の補間によってアニメーターによって浄化される。
生成運動モデルの台頭により自動的なクリーンアップが可能になったが、ほとんどのアプローチはブラックボックスのデノイザーとして制御性に制限があるため、信頼性の高いセグメントの保存や特定のユーザ意図の強制が困難である。
アニメーションワークフローにインスパイアされたCleanMDMは,プラグ・アンド・プレイ条件によるマスク付き条件生成としてクリーンアップを定式化する統合マルチモーダル・モーション・クリーンアップ・フレームワークである。
この単一モデルは、ノイズの多い3Dモーション、スパースな2Dキーフレーム、スパースな3Dキーフレーム、テキストの組み合わせをサポートする。
この設計は、追加のユーザアノテーションなしで自動クリーンアップとマルチモーダルガイダンスによるコントロール可能なクリーンアップの両方を可能にする。
運動リアリズムをさらに改善するため,LMQD (Latent Motion Quality Discriminator) を組み込み,運動分布の整合性を向上し,スケート,ジッタ,インターペネレーションのアーチファクトを低減し,Mesh-Aware Contact Projection をテスト時間最適化のステップとして適用し,接触と物理的整合性を向上させる。
複数のデータセットにわたる実験により、CleanMDMは、事前のクリーンアップとジェネレーションベースラインを一貫して上回り、低コスト条件(テキストと2Dキーフレーム)がマルチモーダルなクリーンアップシナリオにおいて信頼性の高いコントロール可能性の向上をもたらすことが示されている。
関連論文リスト
- S3VD: Semantic-Guidance Spatio-Temporal Scanning for Video Deraining [94.11319980472352]
激しい降雨は、高周波の詳細を破損させ、動きのぼやけを発生させることで、屋外の映像を著しく劣化させる。
状態空間モデル(SSM)は、線形複雑性と長距離依存をモデル化する能力を備えたビジョンタスクの効率的な代替手段として登場した。
本稿では,ビデオデラリニングのためのセマンティック・スポーティカル・テンポラル・スキャン・フレームワークであるSVDを紹介する。
ビデオデラリニングベンチマークの実験では、S3VDの優位性を示し、ガンバベースベースラインよりも平均0.84dBのPSNRの改善を達成している。
論文 参考訳(メタデータ) (2026-09-18T04:59:46Z) - Motion-as-Prompt: Enhancing Motion Reasoning in Multimodal Large Language Models via Motion-Guided Cross-Frame Visual Prompting [13.429629624908392]
Motion-as-Prompt (MaP) は、トラック誘導型クロスフレームビジュアルプロンプトフレームワークである。
MaPは、平均的な動き推論精度を一貫して改善する。
論文 参考訳(メタデータ) (2026-08-12T04:54:32Z) - KineBench: Benchmarking Embodied World Models via IDM-Free Kinematic Grounding [58.541098216700796]
エンボディド・ワールド・モデルの 物理的整合性を評価することは 重要なオープン・チャレンジです
既存のフレームワークはほとんどがアクション抽出に逆ダイナミクスモデル(IDM)に依存している。
IDMのないEWMのためのクローズドループベンチマークであるKineBenchを紹介する。
論文 参考訳(メタデータ) (2026-07-22T08:04:17Z) - Follow Your Track: Precise Skeleton Animation Controlled by 3D Trajectories [93.39170866007431]
4Dジェネレーションは、3Dオブジェクトをリアルなモーションでアニメーション化することを目的としており、アプリケーションには大きな可能性を秘めている。
既存の方法は通常、モーション合成から3Dアセット生成を分離する。
トポロジ一般骨格アニメーションのための軌道条件付きフレームワークである textttACT について述べる。
論文 参考訳(メタデータ) (2026-06-24T03:18:10Z) - Reward Forcing: Efficient Streaming Video Generation with Rewarded Distribution Matching Distillation [69.57572900337176]
本稿では,効率的なストリーミングビデオ生成のための新しいフレームワークであるReward Forcingを紹介する。
EMA-Sinkトークンは、長期コンテキストと最近のダイナミクスの両方をキャプチャし、初期フレームコピーを防ぐ。
Re-DMDは、視覚言語モデルにより評価されたより大きなダイナミックスを持つサンプルを優先順位付けすることで、モデル出力分布を高逆領域にバイアスする。
論文 参考訳(メタデータ) (2025-12-04T11:12:13Z) - UniMo: Unifying 2D Video and 3D Human Motion with an Autoregressive Framework [54.337290937468175]
統合された枠組み内での2次元映像と3次元映像の協調モデリングのための自己回帰モデルUniMoを提案する。
本手法は,正確なモーションキャプチャを行いながら,対応する映像と動きを同時に生成することを示す。
論文 参考訳(メタデータ) (2025-12-03T16:03:18Z) - Towards Robust and Controllable Text-to-Motion via Masked Autoregressive Diffusion [33.9786226622757]
テキスト記述から3次元動作を生成するための頑健な動き生成フレームワークMoMADiffを提案する。
我々のモデルはフレキシブルなユーザ提供仕様をサポートし、動き合成の空間的側面と時間的側面の両方を正確に制御できる。
提案手法は, 動作品質, 命令忠実度, 定着度において, 常に最先端のモデルより優れる。
論文 参考訳(メタデータ) (2025-05-16T09:06:15Z) - StableMotion: Training Motion Cleanup Models with Unpaired Corrupted Data [14.637011149459775]
我々は、不正な破損したデータセットから直接、動作のクリーンアップモデルをトレーニングするための、シンプルで効果的な方法であるStableMotionを提案する。
提案手法は, 単純な拡散に基づくフレームワークで実装可能であり, 統合された動き生成識別モデルに導かれる。
トレーニングされたモデルは、広範囲のモーションアーティファクトを効果的に修正し、モーションポップとフリーズフレームをそれぞれ68%と81%削減する。
論文 参考訳(メタデータ) (2025-05-06T04:02:47Z) - Motion Anything: Any to Motion Generation [24.769413146731264]
Motion Anythingはマルチモーダルモーション生成フレームワークである。
我々のモデルは、テキストや音楽を含む多モード条件を適応的に符号化し、制御性を向上させる。
Text-Music-Danceデータセットは2,153対のテキスト、音楽、ダンスで構成されており、AIST++の2倍の大きさである。
論文 参考訳(メタデータ) (2025-03-10T06:04:31Z) - Motion-adaptive Separable Collaborative Filters for Blind Motion Deblurring [71.60457491155451]
様々な動きによって生じる画像のぼかしを除去することは、難しい問題である。
本研究では,動き適応型分離型協調フィルタと呼ばれる実世界のデブロアリングフィルタモデルを提案する。
本手法は,実世界の動きのぼかし除去に有効な解法を提供し,最先端の性能を実現する。
論文 参考訳(メタデータ) (2024-04-19T19:44:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。