論文の概要: QWERTY: Training-Free Motion Control via Query-Warped Video Diffusion Transformers
- arxiv url: http://arxiv.org/abs/2607.01869v1
- Date: Thu, 02 Jul 2026 08:25:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.743782
- Title: QWERTY: Training-Free Motion Control via Query-Warped Video Diffusion Transformers
- Title（参考訳）: QWERTY:クエリWarped Video Diffusion Transformerによる学習自由運動制御
- Abstract要約: ビデオ拡散変換器(DiT)は高忠実度かつ時間的に一貫性のあるビデオを生成するが、モーションコントロールは暗黙的に残っている。
ユーザが定義したオブジェクトワープと光フローを介して、DiTのフレキシブルなモーション制御を可能にする、トレーニング不要のフレームワークであるQWERTYを紹介する。
QWERTYは,直近のイメージ・ツー・ビデオDiTにおいて,既存のトレーニング不要アプローチの中で最も効果的な動作制御を実現し,その性能は微調整方式に匹敵する。
- 参考スコア（独自算出の注目度）: 12.871297586071364
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video diffusion transformers (DiTs) generate high-fidelity and temporally coherent videos, yet motion control remains implicit, primarily relying on text prompts. As a result, achieving desired motion often requires extensive prompt engineering and repeated resampling. While fine-tuning models with additional spatial prompts (e.g., bounding boxes or point trajectories) enables explicit control, it demands substantial data curation and computation, and may compromise the generative capabilities of pretrained models. Consequently, training-free motion control using such spatial prompts has been explored in U-Net-based video diffusion models, but remains largely unexplored for DiTs. We introduce QWERTY, a training-free framework that enables flexible motion control in pretrained image-to-video DiTs via user-defined object warping and optical flow. We carefully manipulate the 3D full attention of DiTs by warping the frame-invariant semantic subspace of queries. We find that the noise predicted by the query-warped DiT naturally guides the diffusion trajectory toward the desired motion, and further show that leveraging this noise as self-guidance for latent optimization improves control stability and visual quality. Experiments show that QWERTY achieves the most effective motion control among existing training-free approaches on a recent image-to-video DiT, with performance comparable to fine-tuning-based methods.
- Abstract（参考訳）: ビデオ拡散変換器(DiT)は高忠実度かつ時間的に一貫性のあるビデオを生成するが、モーションコントロールは暗黙的であり、主にテキストプロンプトに依存している。
結果として、望ましい動きを達成するには、しばしば広範な急進的なエンジニアリングと反復的な再サンプリングが必要である。
追加の空間的プロンプト(バウンディングボックスやポイントトラジェクトリなど)を持つ微調整モデルは明示的な制御を可能にするが、データキュレーションと計算が必要であり、事前訓練されたモデルの生成能力を損なう可能性がある。
その結果、そのような空間的プロンプトを用いたトレーニング不要なモーションコントロールは、U-Netベースのビデオ拡散モデルで検討されているが、DiTでは未検討である。
トレーニング不要なフレームワークであるQWERTYを導入し、ユーザが定義したオブジェクトのワープと光学的フローを介して、事前訓練された画像-映像間DiTの柔軟な動き制御を可能にする。
クエリのフレーム不変なセマンティック部分空間をワープすることで、DiTの3Dフルアテンションを慎重に操作する。
質問ワープされたDiTによって予測されるノイズは、自然に拡散軌跡を所望の運動に導いており、このノイズを遅延最適化のための自己誘導として活用することで、制御安定性と視覚的品質が向上することを示す。
実験により、QWERTYは、最近の画像からビデオまでのDiTにおいて、既存のトレーニング不要アプローチの中で最も効果的なモーションコントロールを実現し、性能は微調整方式に匹敵することを示した。
関連論文リスト
- Controlling Motion Transfer in Diffusion Transformers via Attention Heads [34.45051377421395]
拡散変換器(DiT)は、高品質で時間的に整合した結果の高度なビデオ生成を行う。
ビデオのDiTを注目度で分析し、動きや空間構造に特有な異なる頭部を識別する。
本稿では,パラメータ更新を必要としない頭部認識型モーショントランスファーフレームワークを提案する。
論文 参考訳（メタデータ） (2026-07-13T04:44:14Z) - SIFT: Self-Imagination Fine-Tuning for Physically Plausible Motion in Video Diffusion Models [53.82339966194578]
動きの絡み合い(英: Motion entanglement)は、カメラの動きや物体の動きのような独立した動き源の意図しない結合である。
本稿では,自作ビデオから学習できるSIFT(Self-Imagination Fine-Tuning)パラダイムを提案する。
論文 参考訳（メタデータ） (2026-06-26T05:39:40Z) - MotionAdapter: Video Motion Transfer via Content-Aware Attention Customization [73.07309070257162]
MotionAdapterは、ロバストでセマンティックに整合したモーション転送を可能にする、コンテンツ対応のモーション転送フレームワークである。
我々の重要な洞察は、効果的な動き伝達は外見から運動を明示的に切り離す必要があることである。
MotionAdapterは自然に複雑なモーション転送とズームのようなモーション編集タスクをサポートする。
論文 参考訳（メタデータ） (2026-01-05T10:01:27Z) - Time-to-Move: Training-Free Motion Controlled Video Generation via Dual-Clock Denoising [23.044483059783143]
拡散に基づくビデオ生成はリアルなビデオを生成することができるが、既存の画像やテキストベースの条件付けでは正確なモーションコントロールが得られない。
我々は、モーションおよび外観制御ビデオ生成のためのトレーニング不要なプラグイン・アンド・プレイフレームワークであるTime-to-Move (TTM)を紹介した。
論文 参考訳（メタデータ） (2025-11-09T22:47:50Z) - EfficientMT: Efficient Temporal Adaptation for Motion Transfer in Text-to-Video Diffusion Models [73.96414072072048]
既存の動き伝達法は、ガイド生成のための参照ビデオの動作表現を探索した。
本稿では,ビデオモーション転送のための新しい,効率的なエンドツーエンドフレームワークであるEfficientMTを提案する。
我々の実験は, フレキシブルな動作制御性を維持しつつ, 既存の手法よりも効率が良いことを示した。
論文 参考訳（メタデータ） (2025-03-25T05:51:14Z) - MotionMatcher: Motion Customization of Text-to-Video Diffusion Models via Motion Feature Matching [27.28898943916193]
テキスト・ツー・ビデオ(T2V)拡散モデルは、入力されたテキスト・プロンプトからリアルな動画を合成する有望な能力を持つ。
本研究では,モーションガイダンスとして参照映像が提供される動作カスタマイズ問題に取り組む。
我々は,事前学習したT2V拡散モデルを特徴レベルで微調整するモーションカスタマイズフレームワークであるMotionMatcherを提案する。
論文 参考訳（メタデータ） (2025-02-18T19:12:51Z) - Mojito: Motion Trajectory and Intensity Control for Video Generation [79.85687620761186]
本稿では,テキスト・ビデオ生成のための運動軌跡と強度制御の両方を組み込んだ拡散モデルであるMojitoを紹介する。
実験は, 高精度な軌道制御と強度制御を高い計算効率で実現する上で, モジトの有効性を実証する。
論文 参考訳（メタデータ） (2024-12-12T05:26:43Z) - Tora: Trajectory-oriented Diffusion Transformer for Video Generation [12.843449269564507]
Toraは、テキスト、ビジュアル、およびトラジェクトリ条件を統合する最初のトラジェクトリ指向のDiTフレームワークである。
Toraは、様々な期間、アスペクト比、解像度で制御可能な動画を生成する。
論文 参考訳（メタデータ） (2024-07-31T15:53:20Z) - FreeTraj: Tuning-Free Trajectory Control in Video Diffusion Models [41.006754386910686]
拡散モデル自体が、トレーニングを必要とせず、生成したコンテンツの適切な制御を可能にしている、と我々は主張する。
ノイズ構成とアテンション計算の両方に関するガイダンスを付与することにより、トラジェクトリ制御可能なビデオ生成を実現するためのチューニング不要のフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-24T17:59:56Z) - Motion-Zero: Zero-Shot Moving Object Control Framework for Diffusion-Based Video Generation [10.5019872575418]
本研究では,ゼロショット移動物体軌道制御フレームワークであるMotion-Zeroを提案する。
本手法は、トレーニングプロセスなしで、様々な最先端ビデオ拡散モデルに柔軟に適用できる。
論文 参考訳（メタデータ） (2024-01-18T17:22:37Z) - TrackDiffusion: Tracklet-Conditioned Video Generation via Diffusion Models [75.20168902300166]
微粒な軌跡条件の運動制御が可能な新しい映像生成フレームワークであるTrackDiffusionを提案する。
TrackDiffusionの重要なコンポーネントは、複数のオブジェクトのフレーム間の一貫性を明確に保証するインスタンスエンハンサーである。
TrackDiffusionによって生成されたビデオシーケンスは、視覚知覚モデルのトレーニングデータとして使用できる。
論文 参考訳（メタデータ） (2023-12-01T15:24:38Z) - TLControl: Trajectory and Language Control for Human Motion Synthesis [68.09806223962323]
本稿では,人間のリアルな動き合成のための新しい手法であるTLControlを提案する。
低レベルのTrajectoryと高レベルのLanguage semanticsコントロールが組み込まれている。
インタラクティブで高品質なアニメーション生成には実用的である。
論文 参考訳（メタデータ） (2023-11-28T18:54:16Z) - Control-A-Video: Controllable Text-to-Video Diffusion Models with Motion Prior and Reward Feedback Learning [50.60891619269651]
Control-A-Videoは制御可能なT2V拡散モデルであり、テキストプロンプトやエッジや奥行きマップのような参照制御マップに条件付のビデオを生成することができる。
本稿では,拡散に基づく生成プロセスに,コンテンツの事前と動作を組み込む新しい手法を提案する。
我々のフレームワークは、制御可能なテキスト・ツー・ビデオ生成における既存の最先端手法と比較して、高品質で一貫性のあるビデオを生成する。
論文 参考訳（メタデータ） (2023-05-23T09:03:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。