論文の概要: Trajectory Attention for Fine-grained Video Motion Control

• arxiv url: http://arxiv.org/abs/2411.19324v1
• Date: Thu, 28 Nov 2024 18:59:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:19:56.810627
• Title: Trajectory Attention for Fine-grained Video Motion Control
• Title（参考訳）: 微粒な映像運動制御のための軌道注意
• Authors: Zeqi Xiao, Wenqi Ouyang, Yifan Zhou, Shuai Yang, Lei Yang, Jianlou Si, Xingang Pan,
• Abstract要約: 本稿では,細粒度カメラモーション制御のための画素トラジェクトリに沿って注目を行う新しい手法であるトラジェクトリ・アテンションを紹介する。 また,本手法は,第1フレーム誘導映像編集など,他の動画モーションコントロールタスクにも適用可能であることを示す。
• 参考スコア（独自算出の注目度）: 20.998809534747767
• License:
• Abstract: Recent advancements in video generation have been greatly driven by video diffusion models, with camera motion control emerging as a crucial challenge in creating view-customized visual content. This paper introduces trajectory attention, a novel approach that performs attention along available pixel trajectories for fine-grained camera motion control. Unlike existing methods that often yield imprecise outputs or neglect temporal correlations, our approach possesses a stronger inductive bias that seamlessly injects trajectory information into the video generation process. Importantly, our approach models trajectory attention as an auxiliary branch alongside traditional temporal attention. This design enables the original temporal attention and the trajectory attention to work in synergy, ensuring both precise motion control and new content generation capability, which is critical when the trajectory is only partially available. Experiments on camera motion control for images and videos demonstrate significant improvements in precision and long-range consistency while maintaining high-quality generation. Furthermore, we show that our approach can be extended to other video motion control tasks, such as first-frame-guided video editing, where it excels in maintaining content consistency over large spatial and temporal ranges.
• Abstract（参考訳）: 近年の映像生成の進歩は,映像拡散モデルによって大きく推進され,映像コンテンツ作成においてカメラモーションコントロールが重要な課題となっている。 本稿では,細粒度カメラモーション制御のための画素トラジェクトリに沿って注目を行う新しい手法であるトラジェクトリ・アテンションを紹介する。 不正確な出力や時間的相関を無視する既存の手法とは異なり、我々の手法はより強い帰納的バイアスを持ち、ビデオ生成プロセスに軌道情報をシームレスに注入する。 重要なことは、従来の時間的注意と共に補助枝として軌跡的注意をモデル化することである。 この設計により、もともとの時間的注意と軌道的注意が相乗効果に寄与し、正確な動き制御と新たなコンテンツ生成能力の両方が保証される。 画像とビデオのカメラモーション制御実験は、高品質な生成を維持しつつ、精度と長距離の整合性を大幅に向上させた。 さらに,本手法は,大規模な空間的・時間的範囲におけるコンテンツ一貫性の維持に優れる第1フレーム誘導映像編集など,他の動画動作制御タスクにも適用可能であることを示す。

関連論文リスト

• Training-Free Motion-Guided Video Generation with Enhanced Temporal Consistency Using Motion Consistency Loss [35.69606926024434]
  本稿では,初期雑音に基づくアプローチと新たな動きの整合性損失を組み合わせた,シンプルで効果的な解を提案する。 次に、生成したビデオに類似した特徴相関パターンを維持するために、動きの整合性損失を設計する。 このアプローチは、トレーニング不要のセットアップの利点を保ちながら、さまざまなモーションコントロールタスク間の時間的一貫性を改善する。
  論文  参考訳（メタデータ） (2025-01-13T18:53:08Z)
• VideoAnydoor: High-fidelity Video Object Insertion with Precise Motion Control [66.66226299852559]
  VideoAnydoorは、高忠実度ディテール保存と正確なモーションコントロールを備えたゼロショットビデオオブジェクト挿入フレームワークである。 詳細な外観を保ちながら、微粒な動き制御をサポートするため、我々は画素ワーパーを設計する。
  論文  参考訳（メタデータ） (2025-01-02T18:59:54Z)
• SG-I2V: Self-Guided Trajectory Control in Image-to-Video Generation [22.693060144042196]
  画像からビデオへ生成する方法は、印象的な、写真リアリスティックな品質を実現した。 オブジェクトの動きやカメラの動きなど、生成されたビデオの特定の要素を調整することは、しばしば試行錯誤の面倒なプロセスである。 本稿では,自己誘導画像生成のためのフレームワークを提案する。 我々のゼロショット法は教師なしベースラインよりも優れており、教師付きモデルでパフォーマンスギャップを狭めている。
  論文  参考訳（メタデータ） (2024-11-07T18:56:11Z)
• Live2Diff: Live Stream Translation via Uni-directional Attention in Video Diffusion Models [64.2445487645478]
  大規模言語モデルは、テキストやオーディオなどのストリーミングデータの生成において顕著な効果を示している。 本稿では,一方向の時間的注意を向けたビデオ拡散モデルを設計するための最初の試みであるLive2Diffを紹介する。
  論文  参考訳（メタデータ） (2024-07-11T17:34:51Z)
• Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
  映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。 イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
  論文  参考訳（メタデータ） (2024-06-21T17:55:05Z)
• MotionFollower: Editing Video Motion via Lightweight Score-Guided Diffusion [94.66090422753126]
  MotionFollowerは、ビデオモーション編集のための軽量なスコア誘導拡散モデルである。 優れたモーション編集性能を提供し、大きなカメラの動きとアクションのみをサポートする。 最新のモーション編集モデルであるMotionEditorと比較して、MotionFollowerはGPUメモリの約80%の削減を実現している。
  論文  参考訳（メタデータ） (2024-05-30T17:57:30Z)
• Spectral Motion Alignment for Video Motion Transfer using Diffusion Models [54.32923808964701]
  スペクトル運動アライメント(英: Spectral Motion Alignment、SMA)は、フーリエ変換とウェーブレット変換を用いて運動ベクトルを洗練・整列するフレームワークである。 SMAは周波数領域の正規化を取り入れて動きパターンを学習し、全体フレームのグローバルな動きのダイナミクスの学習を容易にする。 大規模な実験は、様々なビデオカスタマイズフレームワーク間の計算効率と互換性を維持しながら、モーション転送を改善するSMAの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-22T14:47:18Z)
• Motion-Zero: Zero-Shot Moving Object Control Framework for Diffusion-Based Video Generation [10.5019872575418]
  本研究では,ゼロショット移動物体軌道制御フレームワークであるMotion-Zeroを提案する。 本手法は、トレーニングプロセスなしで、様々な最先端ビデオ拡散モデルに柔軟に適用できる。
  論文  参考訳（メタデータ） (2024-01-18T17:22:37Z)
• TrackDiffusion: Tracklet-Conditioned Video Generation via Diffusion Models [75.20168902300166]
  微粒な軌跡条件の運動制御が可能な新しい映像生成フレームワークであるTrackDiffusionを提案する。 TrackDiffusionの重要なコンポーネントは、複数のオブジェクトのフレーム間の一貫性を明確に保証するインスタンスエンハンサーである。 TrackDiffusionによって生成されたビデオシーケンスは、視覚知覚モデルのトレーニングデータとして使用できる。
  論文  参考訳（メタデータ） (2023-12-01T15:24:38Z)
• Traffic Video Object Detection using Motion Prior [16.63738085066699]
  本稿では,先行動作を利用した2つの革新的な手法を提案し,トラヒックビデオオブジェクト検出の性能を向上する。 まず、時間情報統合を導く前に動きを利用する新しい自己認識モジュールを導入する。 次に、擬似ラベリング機構を用いて、半教師付き設定のためのノイズの多い擬似ラベルを除去する。
  論文  参考訳（メタデータ） (2023-11-16T18:59:46Z)
• Learning Variational Motion Prior for Video-based Motion Capture [31.79649766268877]
  ビデオに基づくモーションキャプチャーのための新しい変分動作先行学習手法(VMP)を提案する。 我々のフレームワークはフレームワイドポーズ推定における時間的ジッタリングと障害モードを効果的に削減できる。 公開データセットとインザワイルドビデオの両方を用いた実験により、我々のフレームワークの有効性と一般化能力が実証された。
  論文  参考訳（メタデータ） (2022-10-27T02:45:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。