論文の概要: FreeTraj: Tuning-Free Trajectory Control in Video Diffusion Models

• arxiv url: http://arxiv.org/abs/2406.16863v1
• Date: Mon, 24 Jun 2024 17:59:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 13:36:22.099918
• Title: FreeTraj: Tuning-Free Trajectory Control in Video Diffusion Models
• Title（参考訳）: FreeTraj:ビデオ拡散モデルにおけるチューニング自由軌道制御
• Authors: Haonan Qiu, Zhaoxi Chen, Zhouxia Wang, Yingqing He, Menghan Xia, Ziwei Liu,
• Abstract要約: 拡散モデル自体が、トレーニングを必要とせず、生成したコンテンツの適切な制御を可能にしている、と我々は主張する。 ノイズ構成とアテンション計算の両方に関するガイダンスを付与することにより、トラジェクトリ制御可能なビデオ生成を実現するためのチューニング不要のフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 41.006754386910686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion model has demonstrated remarkable capability in video generation, which further sparks interest in introducing trajectory control into the generation process. While existing works mainly focus on training-based methods (e.g., conditional adapter), we argue that diffusion model itself allows decent control over the generated content without requiring any training. In this study, we introduce a tuning-free framework to achieve trajectory-controllable video generation, by imposing guidance on both noise construction and attention computation. Specifically, 1) we first show several instructive phenomenons and analyze how initial noises influence the motion trajectory of generated content. 2) Subsequently, we propose FreeTraj, a tuning-free approach that enables trajectory control by modifying noise sampling and attention mechanisms. 3) Furthermore, we extend FreeTraj to facilitate longer and larger video generation with controllable trajectories. Equipped with these designs, users have the flexibility to provide trajectories manually or opt for trajectories automatically generated by the LLM trajectory planner. Extensive experiments validate the efficacy of our approach in enhancing the trajectory controllability of video diffusion models.
• Abstract（参考訳）: 拡散モデルはビデオ生成において顕著な能力を示しており、生成プロセスに軌道制御を導入することにさらに関心を喚起している。 既存の研究は主にトレーニングベースの手法(例えば条件付きアダプタ)に焦点を当てているが、拡散モデル自体がトレーニングを必要とせずに生成したコンテンツの適切な制御を可能にすると論じている。 本研究では、ノイズ構成とアテンション計算の両方に関するガイダンスを付与することにより、トラジェクトリ制御可能なビデオ生成を実現するためのチューニング不要のフレームワークを提案する。 具体的には 1) 最初はいくつかのインストラクティブな現象を示し, 初期雑音が生成したコンテンツの運動軌跡に与える影響を解析した。 次に,ノイズサンプリングやアテンション機構の変更による軌道制御を可能にする,チューニング不要な手法であるFreeTrajを提案する。 さらに、FreeTrajを拡張して、制御可能なトラジェクトリによる長大なビデオ生成を容易にする。 これらの設計により、ユーザは手動で軌跡を提供する柔軟性や、LLM軌跡プランナーが自動生成する軌跡を選択できる。 ビデオ拡散モデルの軌道制御性向上に本手法の有効性を検証した。

関連論文リスト

• TraDiffusion: Trajectory-Based Training-Free Image Generation [85.39724878576584]
  そこで我々は,TraDiffusion(トラディフュージョン)と呼ばれる,訓練のないトラジェクトリベースの制御可能なT2Iアプローチを提案する。 この手法により、マウスの軌跡を通した画像生成を無駄にガイドすることができる。
  論文  参考訳（メタデータ） (2024-08-19T07:01:43Z)
• Motion-Zero: Zero-Shot Moving Object Control Framework for Diffusion-Based Video Generation [10.951376101606357]
  本研究では,ゼロショット移動物体軌道制御フレームワークであるMotion-Zeroを提案する。 本手法は、トレーニングプロセスなしで、様々な最先端ビデオ拡散モデルに柔軟に適用できる。
  論文  参考訳（メタデータ） (2024-01-18T17:22:37Z)
• A Tricycle Model to Accurately Control an Autonomous Racecar with Locked Differential [71.53284767149685]
  自動オープンホイールレースカーの側面力学に対するロックディファレンシャルの影響をモデル化するための新しい定式化を提案する。 本稿では,マイクロステップの離散化手法を用いて,動的に線形化し,実時間実装に適した予測を行う。
  論文  参考訳（メタデータ） (2023-12-22T16:29:55Z)
• TrackDiffusion: Tracklet-Conditioned Video Generation via Diffusion Models [75.20168902300166]
  微粒な軌跡条件の運動制御が可能な新しい映像生成フレームワークであるTrackDiffusionを提案する。 TrackDiffusionの重要なコンポーネントは、複数のオブジェクトのフレーム間の一貫性を明確に保証するインスタンスエンハンサーである。 TrackDiffusionによって生成されたビデオシーケンスは、視覚知覚モデルのトレーニングデータとして使用できる。
  論文  参考訳（メタデータ） (2023-12-01T15:24:38Z)
• DragNUWA: Fine-grained Control in Video Generation by Integrating Text, Image, and Trajectory [126.4597063554213]
  DragNUWAは、オープンドメイン拡散に基づくビデオ生成モデルである。 意味的、空間的、時間的視点からビデオ内容のきめ細かい制御を提供する。 本実験はDragNUWAの有効性を検証し,ビデオ生成における微粒化制御における優れた性能を示した。
  論文  参考訳（メタデータ） (2023-08-16T01:43:41Z)
• Trace and Pace: Controllable Pedestrian Animation via Guided Trajectory Diffusion [83.88829943619656]
  本研究では,現実的な歩行者軌跡生成手法と,ユーザ定義目標を達成するために制御可能なフルボディアニメーションを提案する。 我々のガイド付き拡散モデルでは,対象とする経路,速度,特定社会集団による軌道の制約が可能である。 本稿では,アニメーションコントローラのRLトレーニング中に学習した値関数を用いて,拡散を誘導し,特定のシナリオに適した軌道を生成することを提案する。
  論文  参考訳（メタデータ） (2023-04-04T15:46:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。