論文の概要: Learning Fine-Grained Motion Embedding for Landscape Animation

• arxiv url: http://arxiv.org/abs/2109.02216v1
• Date: Mon, 6 Sep 2021 02:47:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-07 16:36:43.978355
• Title: Learning Fine-Grained Motion Embedding for Landscape Animation
• Title（参考訳）: ランドスケープアニメーションのためのきめ細かい動き埋め込みの学習
• Authors: Hongwei Xue, Bei Liu, Huan Yang, Jianlong Fu, Houqiang Li, Jiebo Luo
• Abstract要約: ファイングラインド・モーション・埋め込みを学習し,高品質でリアルな映像を生成するモデルFGLAを提案する。 多様なタイムラプスビデオのトレーニングと評価を行うため、Diverseのシーンを用いた最大の高解像度タイムラプスビデオデータセットを構築した。 提案手法は,LIPISが19%,FVDが5.6%向上した。
• 参考スコア（独自算出の注目度）: 140.57889994591494
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we focus on landscape animation, which aims to generate time-lapse videos from a single landscape image. Motion is crucial for landscape animation as it determines how objects move in videos. Existing methods are able to generate appealing videos by learning motion from real time-lapse videos. However, current methods suffer from inaccurate motion generation, which leads to unrealistic video results. To tackle this problem, we propose a model named FGLA to generate high-quality and realistic videos by learning Fine-Grained motion embedding for Landscape Animation. Our model consists of two parts: (1) a motion encoder which embeds time-lapse motion in a fine-grained way. (2) a motion generator which generates realistic motion to animate input images. To train and evaluate on diverse time-lapse videos, we build the largest high-resolution Time-lapse video dataset with Diverse scenes, namely Time-lapse-D, which includes 16,874 video clips with over 10 million frames. Quantitative and qualitative experimental results demonstrate the superiority of our method. In particular, our method achieves relative improvements by 19% on LIPIS and 5.6% on FVD compared with state-of-the-art methods on our dataset. A user study carried out with 700 human subjects shows that our approach visually outperforms existing methods by a large margin.
• Abstract（参考訳）: 本稿では,風景画像からタイムラプス映像を生成するランドスケープアニメーションに焦点を当てた。 動きは、動画の中のオブジェクトの動きを決定するため、ランドスケープアニメーションにとって重要です。 既存の方法は、リアルタイムラプス動画から動きを学習することで、魅力的なビデオを生成することができる。 しかし、現在の手法は不正確な動き生成に苦しむため、非現実的なビデオ結果に繋がる。 ランドスケープアニメーションのためのファイングラインドモーション埋め込みを学習し,高品質でリアルな映像を生成するFGLAモデルを提案する。 本モデルは,(1)タイムラプス動作を微細な方法で埋め込むモーションエンコーダである。 2)アニメート入力画像に対して現実的な動きを生成するモーションジェネレータ。 さまざまなタイムラプスビデオを訓練し、評価するために、我々は、1000万フレームを超える16,874ビデオクリップを含む、さまざまなシーンを含む、最大の高解像度タイムラプスビデオデータセットを構築します。 定量的および定性的な実験結果から,本手法の優位性を示した。 特に,リピスでは19%,fvdでは5.6%改善した。 700人の被験者を対象に実施したユーザスタディでは,我々のアプローチが既存の手法よりも視覚的に優れていることが示された。

関連論文リスト

• Motion Prompting: Controlling Video Generation with Motion Trajectories [57.049252242807874]
  スパースもしくは高密度なビデオ軌跡を条件とした映像生成モデルを訓練する。 ハイレベルなユーザリクエストを,詳細なセミセンスな動作プロンプトに変換する。 我々は、カメラや物体の動き制御、画像との「相互作用」、動画転送、画像編集など、様々な応用を通してアプローチを実証する。
  論文  参考訳（メタデータ） (2024-12-03T18:59:56Z)
• Controllable Longer Image Animation with Diffusion Models [12.565739255499594]
  動画拡散モデルを用いた動き先行画像を用いたオープンドメイン制御可能な画像アニメーション手法を提案する。 本手法は動画から運動場情報を抽出することにより移動領域の運動方向と速度を正確に制御する。 本稿では,画像アニメーションタスクに特化して最適化されたノイズ再スケジュールに基づく,効率的な長周期ビデオ生成手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:08:00Z)
• VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models [58.93124686141781]
  Video Motion Customization (VMC) はビデオ拡散モデルに時間的注意層を適応させる新しいワンショットチューニング手法である。 本研究では, 連続するフレーム間の残留ベクトルを運動基準として用いた新しい運動蒸留法を提案する。 実世界のさまざまな動きや状況にまたがる最先端のビデオ生成モデルに対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-12-01T06:50:11Z)
• AnimateAnything: Fine-Grained Open Domain Image Animation with Motion Guidance [13.416296247896042]
  本稿では,映像拡散モデルに先立って動きを利用するオープンドメイン画像アニメーション手法を提案する。 本手法では,移動領域の正確な制御と移動速度を実現するため,目標となる運動領域の誘導と運動強度の誘導を導入する。 オープンドメインデータセットを用いた厳密な実験により,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-11-21T03:47:54Z)
• MotionDirector: Motion Customization of Text-to-Video Diffusion Models [24.282240656366714]
  Motion Customizationは、既存のテキストとビデオの拡散モデルを適用して、カスタマイズされたモーションでビデオを生成することを目的としている。 我々は、外見と動きの学習を分離するために、デュアルパスのLoRAsアーキテクチャを持つMotionDirectorを提案する。 また,異なる動画の外観と動きの混合や,カスタマイズされたモーションによる単一画像のアニメーションなど,さまざまなダウンストリームアプリケーションもサポートしている。
  論文  参考訳（メタデータ） (2023-10-12T16:26:18Z)
• Make-It-4D: Synthesizing a Consistent Long-Term Dynamic Scene Video from a Single Image [59.18564636990079]
  本研究では,1枚の画像のみから長期ダイナミック映像を合成する問題について検討する。 既存の方法は、一貫性のない永遠の視点を幻覚させるか、長いカメラの軌跡に苦しむかのいずれかである。 一つの画像から一貫した長期動画像を生成する新しい方法であるMake-It-4Dを提案する。
  論文  参考訳（メタデータ） (2023-08-20T12:53:50Z)
• Deep Animation Video Interpolation in the Wild [115.24454577119432]
  本研究では,アニメーション・ビデオ・コードに関する問題を初めて形式的に定義・検討する。 効果的なフレームワークであるAnimeInterpを2つの専用モジュールで粗密に提案します。 特にAnimeInterpは、野生のアニメーションシナリオに良好な知覚品質と堅牢性を示します。
  論文  参考訳（メタデータ） (2021-04-06T13:26:49Z)
• Animating Pictures with Eulerian Motion Fields [90.30598913855216]
  静止画をリアルなアニメーションループ映像に変換する完全自動手法を示す。 流れ水や吹く煙など,連続流体運動の場面を対象とする。 本稿では,前向きと後向きの両方に特徴を流し,その結果をブレンドする新しいビデオループ手法を提案する。
  論文  参考訳（メタデータ） (2020-11-30T18:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。