論文の概要: DeepLandscape: Adversarial Modeling of Landscape Video

• arxiv url: http://arxiv.org/abs/2008.09655v1
• Date: Fri, 21 Aug 2020 19:14:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 21:28:08.671850
• Title: DeepLandscape: Adversarial Modeling of Landscape Video
• Title（参考訳）: deeplandscape:ランドスケープビデオの敵対的モデリング
• Authors: Elizaveta Logacheva, Roman Suvorov, Oleg Khomenko, Anton Mashikhin and Victor Lempitsky
• Abstract要約: 静的景観画像とランドスケープアニメーションの混合でトレーニングできるランドスケープビデオの新しいモデルを構築した。 我々のモデルは、移動物体や日々の変化を生かしたリアルなタイムラプス映像を生成するのに利用できる。
• 参考スコア（独自算出の注目度）: 7.097653827655484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We build a new model of landscape videos that can be trained on a mixture of static landscape images as well as landscape animations. Our architecture extends StyleGAN model by augmenting it with parts that allow to model dynamic changes in a scene. Once trained, our model can be used to generate realistic time-lapse landscape videos with moving objects and time-of-the-day changes. Furthermore, by fitting the learned models to a static landscape image, the latter can be reenacted in a realistic way. We propose simple but necessary modifications to StyleGAN inversion procedure, which lead to in-domain latent codes and allow to manipulate real images. Quantitative comparisons and user studies suggest that our model produces more compelling animations of given photographs than previously proposed methods. The results of our approach including comparisons with prior art can be seen in supplementary materials and on the project page https://saic-mdal.github.io/deep-landscape
• Abstract（参考訳）: ランドスケープ・ビデオの新しいモデルを構築し、静的なランドスケープ・イメージとランドスケープ・アニメーションを混合してトレーニングすることができる。 我々のアーキテクチャはStyleGANモデルを拡張し、シーン内の動的変化をモデル化できるパーツを追加します。 トレーニングが終わると、私たちのモデルは、動く物体と日々の変化を伴って、リアルなタイムラプスな風景ビデオを生成するために使用できます。 さらに、学習したモデルを静的な風景画像に合わせることで、後者を現実的な方法で再現することができる。 ドメイン内潜在コードにつながり,実画像の操作を可能にする,スタイルガン逆変換手順の単純かつ必要な修正を提案する。 定量的比較とユーザ研究により,本モデルが提案手法よりも魅力的なアニメーションを生成することが示唆された。 先行技術との比較を含むアプローチの結果は補足資料やプロジェクトページ https://saic-mdal.github.io/deep-landscape で見ることができる。

関連論文リスト

• Customize-A-Video: One-Shot Motion Customization of Text-to-Video Diffusion Models [48.56724784226513]
  本研究では,単一参照ビデオからの動作をモデル化し,空間的・時間的変化のある新しい主題やシーンに適応するCustomize-A-Videoを提案する。 提案するモジュールは、ステージ化されたパイプラインでトレーニングされ、プラグイン・アンド・プレイ方式で推論され、様々な下流タスクへの容易に拡張できる。
  論文  参考訳（メタデータ） (2024-02-22T18:38:48Z)
• VASE: Object-Centric Appearance and Shape Manipulation of Real Videos [108.60416277357712]
  本研究では,オブジェクトの外観と,特にオブジェクトの精密かつ明示的な構造的変更を実行するために設計された,オブジェクト中心のフレームワークを紹介する。 我々は,事前学習した画像条件拡散モデル上にフレームワークを構築し,時間次元を扱うためのレイヤを統合するとともに,形状制御を実現するためのトレーニング戦略とアーキテクチャ修正を提案する。 我々は,画像駆動映像編集タスクにおいて,最先端技術に類似した性能を示し,新しい形状編集機能を示す手法について検討した。
  論文  参考訳（メタデータ） (2024-01-04T18:59:24Z)
• Moonshot: Towards Controllable Video Generation and Editing with Multimodal Conditions [94.03133100056372]
  Moonshotは、画像とテキストのマルチモーダル入力を同時に処理する新しいビデオ生成モデルである。 モデルは、パーソナライズされたビデオ生成、画像アニメーション、ビデオ編集など、様々な生成アプリケーションに容易に再利用できる。
  論文  参考訳（メタデータ） (2024-01-03T16:43:47Z)
• DreamVideo: Composing Your Dream Videos with Customized Subject and Motion [52.7394517692186]
  対象の静的画像からパーソナライズされたビデオを生成する新しいアプローチであるDreamVideoを紹介します。 DreamVideoは、このタスクを、トレーニング済みのビデオ拡散モデルを活用することによって、主観学習とモーション学習の2つの段階に分離する。 モーション学習では、対象のモーションパターンを効果的にモデル化するために、モーションアダプタを設計し、所定のビデオに微調整する。
  論文  参考訳（メタデータ） (2023-12-07T16:57:26Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• Geometry Driven Progressive Warping for One-Shot Face Animation [5.349852254138086]
  Face animationは、アニメーションのポーズと表情で写真リアルなポートレートビデオを作成することを目的としている。 幾何学駆動モデルを提案するとともに,3次元顔の変位マップとニューラルコードを用いた2つの幾何学的パターンをガイダンスとして提案する。 提案モデルでは,高忠実度で映像を合成し,VoxCeleb1データセットとVoxCeleb2データセットの新たな最先端結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-05T17:07:06Z)
• Future Video Synthesis with Object Motion Prediction [54.31508711871764]
  画像を直接合成するのではなく、複雑なシーンのダイナミクスを理解するように設計されている。 将来のシーンコンポーネントの出現は、背景の非剛性変形と移動物体のアフィン変換によって予測される。 CityscapesとKITTIデータセットの実験結果から、我々のモデルは視覚的品質と精度で最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2020-04-01T16:09:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。