論文の概要: ATI: Any Trajectory Instruction for Controllable Video Generation
- arxiv url: http://arxiv.org/abs/2505.22944v3
- Date: Tue, 10 Jun 2025 06:15:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-11 19:51:30.20025
- Title: ATI: Any Trajectory Instruction for Controllable Video Generation
- Title（参考訳）: ATI:制御可能なビデオ生成のための軌道インストラクション
- Authors: Angtian Wang, Haibin Huang, Jacob Zhiyuan Fang, Yiding Yang, Chongyang Ma,
- Abstract要約: 本稿では、カメラの動き、オブジェクトレベルの翻訳、きめ細かい局所的な動きをシームレスに統合する、動画生成におけるモーション制御のための統一的なフレームワークを提案する。
提案手法は,事前学習した画像-映像生成モデルの潜在空間にユーザ定義トラジェクトリを投影することにより,凝集性のある解を提供する。
- 参考スコア（独自算出の注目度）: 25.249489701215467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a unified framework for motion control in video generation that seamlessly integrates camera movement, object-level translation, and fine-grained local motion using trajectory-based inputs. In contrast to prior methods that address these motion types through separate modules or task-specific designs, our approach offers a cohesive solution by projecting user-defined trajectories into the latent space of pre-trained image-to-video generation models via a lightweight motion injector. Users can specify keypoints and their motion paths to control localized deformations, entire object motion, virtual camera dynamics, or combinations of these. The injected trajectory signals guide the generative process to produce temporally consistent and semantically aligned motion sequences. Our framework demonstrates superior performance across multiple video motion control tasks, including stylized motion effects (e.g., motion brushes), dynamic viewpoint changes, and precise local motion manipulation. Experiments show that our method provides significantly better controllability and visual quality compared to prior approaches and commercial solutions, while remaining broadly compatible with various state-of-the-art video generation backbones. Project page: https://anytraj.github.io/.
- Abstract（参考訳）: 本稿では,カメラの動き,オブジェクトレベルの変換,微粒な局所的な動きをトラックベース入力でシームレスに統合する,映像生成におけるモーション制御のための統一フレームワークを提案する。
本手法は,複数のモジュールやタスク固有の設計を用いて,これらの動作タイプに対処する従来の手法とは対照的に,ユーザ定義のトラジェクトリを,軽量なモーションインジェクタを介して,事前学習された画像から映像生成モデルの潜在空間に投影することにより,密着性のある解を提供する。
ユーザーはキーポイントとその移動経路を指定することで、局所的な変形、オブジェクト全体の動き、仮想カメラのダイナミックス、あるいはこれらの組み合わせを制御することができる。
注入された軌道信号は、生成過程をガイドし、時間的に一貫性があり、意味的に整合した動き列を生成する。
本フレームワークは,動作効果(例えば,モーションブラシ),動的視点変化,高精度な局所動作操作など,複数の動画動作制御タスクにおいて優れた性能を示す。
実験の結果,従来の手法や商用手法に比べ,制御性や視覚的品質が著しく向上する一方で,各種の最先端ビデオ生成バックボーンとの互換性が保たれていることがわかった。
プロジェクトページ: https://anytraj.github.io/.com
関連論文リスト
- MotionPro: A Precise Motion Controller for Image-to-Video Generation [108.63100943070592]
我々は、画像間(I2V)生成のための正確なモーションコントローラであるMotionProを提案する。
局所軌道と運動マスクは、微細な運動合成を制御するために用いられる。
WebVid-10MとMC-Benchで行った実験は、MotionProの有効性を実証している。
論文 参考訳（メタデータ） (2025-05-26T17:59:03Z) - MagicMotion: Controllable Video Generation with Dense-to-Sparse Trajectory Guidance [46.92591065065018]
トラジェクティブ制御可能なビデオ生成のための画像からビデオ生成フレームワークであるMagicMotionを紹介する。
MagicMotionは、オブジェクトの一貫性と視覚的品質を維持しながら、定義された軌道に沿ってオブジェクトを認識できる。
我々は、大規模なトラジェクトリ制御ビデオデータセットであるMagicDataと、アノテーションとフィルタリングのための自動パイプラインを提示する。
論文 参考訳（メタデータ） (2025-03-20T17:59:42Z) - C-Drag: Chain-of-Thought Driven Motion Controller for Video Generation [81.4106601222722]
トラジェクティブに基づくモーションコントロールは、制御可能なビデオ生成のための直感的で効率的なアプローチとして登場した。
我々はC-Dragという制御可能なビデオ生成のためのチェーン・オブ・ソート型モーションコントローラを提案する。
本手法は,物体認識モジュールとChain-of-Thoughtベースの動作推論モジュールを含む。
論文 参考訳（メタデータ） (2025-02-27T08:21:03Z) - MotionAgent: Fine-grained Controllable Video Generation via Motion Field Agent [58.09607975296408]
テキスト誘導画像-映像生成のための微粒なモーション制御を実現するMotionAgentを提案する。
キーとなる技術は、テキストプロンプトの動作情報を明示的な運動場に変換するモーション・フィールド・エージェントである。
我々はVBenchのサブセットを構築し、テキストと生成されたビデオの動作情報のアライメントを評価する。
論文 参考訳（メタデータ） (2025-02-05T14:26:07Z) - Motion Prompting: Controlling Video Generation with Motion Trajectories [57.049252242807874]
スパースもしくは高密度なビデオ軌跡を条件とした映像生成モデルを訓練する。
ハイレベルなユーザリクエストを,詳細なセミセンスな動作プロンプトに変換する。
我々は、カメラや物体の動き制御、画像との「相互作用」、動画転送、画像編集など、様々な応用を通してアプローチを実証する。
論文 参考訳（メタデータ） (2024-12-03T18:59:56Z) - Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。
イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
論文 参考訳（メタデータ） (2024-06-21T17:55:05Z) - Direct-a-Video: Customized Video Generation with User-Directed Camera Movement and Object Motion [34.404342332033636]
我々は、カメラのパンやズームの動きだけでなく、複数のオブジェクトのモーションを独立して指定できるシステムであるDirect-a-Videoを紹介した。
カメラの動きの定量的なパラメータを解釈するために,新しい時間的クロスアテンション層を導入する。
どちらのコンポーネントも独立して動作し、個別または複合的な制御を可能にし、オープンドメインシナリオに一般化することができる。
論文 参考訳（メタデータ） (2024-02-05T16:30:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。