論文の概要: Video Motion Transfer with Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2412.07776v1
• Date: Tue, 10 Dec 2024 18:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:39:31.332379
• Title: Video Motion Transfer with Diffusion Transformers
• Title（参考訳）: 拡散変換器を用いた動画移動
• Authors: Alexander Pondaven, Aliaksandr Siarohin, Sergey Tulyakov, Philip Torr, Fabio Pizzati,
• Abstract要約: 本稿では,参照ビデオの動作を新たに合成したものに転送する方法であるDiTFlowを提案する。 まず、トレーニング済みのDiTを用いて参照ビデオを処理し、クロスフレームアテンションマップを分析し、パッチワイズ動作信号を抽出する。 我々は、位置埋め込みを変換し、ゼロショットモーション転送能力を向上する戦略を適用した。
• 参考スコア（独自算出の注目度）: 82.4796313201512
• License:
• Abstract: We propose DiTFlow, a method for transferring the motion of a reference video to a newly synthesized one, designed specifically for Diffusion Transformers (DiT). We first process the reference video with a pre-trained DiT to analyze cross-frame attention maps and extract a patch-wise motion signal called the Attention Motion Flow (AMF). We guide the latent denoising process in an optimization-based, training-free, manner by optimizing latents with our AMF loss to generate videos reproducing the motion of the reference one. We also apply our optimization strategy to transformer positional embeddings, granting us a boost in zero-shot motion transfer capabilities. We evaluate DiTFlow against recently published methods, outperforming all across multiple metrics and human evaluation.
• Abstract（参考訳）: 本稿では,Diffusion Transformers (DiT) 用に設計された,参照ビデオの動作を新たに合成したものに転送する手法であるDiTFlowを提案する。 まず、トレーニング済みのDiTを用いて参照ビデオを処理し、フレーム横断の注目マップを分析し、アテンション・モーション・フロー(AMF)と呼ばれるパッチワイド・モーション・シグナルを抽出する。 我々は、AMFの損失で潜伏者を最適化し、参照者の動きを再現するビデオを生成することにより、潜伏を最適化した訓練不要な方法で潜伏する過程を導出する。 また、位置埋め込みの変換に最適化戦略を適用し、ゼロショットモーション転送能力を向上する。 我々は、最近公開された手法に対してDiTFlowを評価し、複数の測定値と人的評価で優れた性能を発揮した。

関連論文リスト

• Generalizable Implicit Motion Modeling for Video Frame Interpolation [51.966062283735596]
  フローベースビデオフレーム補間(VFI)における動きの重要性 本稿では,動きモデリングVFIの新規かつ効果的なアプローチである一般インプリシット・モーション・モデリング(IMM)を紹介する。 我々のGIMMは、正確にモデル化された動きを供給することによって、既存のフローベースVFIワークと容易に統合できる。
  論文  参考訳（メタデータ） (2024-07-11T17:13:15Z)
• Spectral Motion Alignment for Video Motion Transfer using Diffusion Models [54.32923808964701]
  スペクトル運動アライメント(英: Spectral Motion Alignment、SMA)は、フーリエ変換とウェーブレット変換を用いて運動ベクトルを洗練・整列するフレームワークである。 SMAは周波数領域の正規化を取り入れて動きパターンを学習し、全体フレームのグローバルな動きのダイナミクスの学習を容易にする。 大規模な実験は、様々なビデオカスタマイズフレームワーク間の計算効率と互換性を維持しながら、モーション転送を改善するSMAの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-22T14:47:18Z)
• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• Motion Flow Matching for Human Motion Synthesis and Editing [75.13665467944314]
  本研究では,効率的なサンプリングと効率性を備えた人体運動生成のための新しい生成モデルであるemphMotion Flow Matchingを提案する。 提案手法は, 従来の拡散モデルにおいて, サンプリングの複雑さを1000ステップから10ステップに減らし, テキスト・ツー・モーション・ジェネレーション・ベンチマークやアクション・ツー・モーション・ジェネレーション・ベンチマークで同等の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-14T12:57:35Z)
• MVFlow: Deep Optical Flow Estimation of Compressed Videos with Motion Vector Prior [16.633665275166706]
  圧縮ビデオにおける光フロー推定の速度と精度を向上させるために運動ベクトルを用いた光フローモデルMVFlowを提案する。 実験の結果,既存のモデルと比較して提案したMVFlowの1.09倍の精度を示し,既存のモデルと同様の精度で保存時間を短縮した。
  論文  参考訳（メタデータ） (2023-08-03T07:16:18Z)
• Boost Video Frame Interpolation via Motion Adaptation [73.42573856943923]
  ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを生成することを目的とした課題である。 既存の学習ベースのVFI手法は大きな成功を収めたが、それでも限定的な一般化能力に悩まされている。 テスト時に見えない動作に適応できる新しい最適化ベースのVFI法を提案する。
  論文  参考訳（メタデータ） (2023-06-24T10:44:02Z)
• TENET: Transformer Encoding Network for Effective Temporal Flow on Motion Prediction [11.698627151060467]
  入力符号化と軌道予測のためのトランスフォーマーに基づく手法を開発した。 我々はArgoverse 2 Motion Forecasting Challengeで最先端のBrier-minFDEスコア1.90で優勝した。
  論文  参考訳（メタデータ） (2022-06-30T08:39:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。