論文の概要: Animating Pictures with Eulerian Motion Fields

• arxiv url: http://arxiv.org/abs/2011.15128v1
• Date: Mon, 30 Nov 2020 18:59:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-06 14:34:49.104078
• Title: Animating Pictures with Eulerian Motion Fields
• Title（参考訳）: ユーレリア運動場を用いたアニメーション画像
• Authors: Aleksander Holynski, Brian Curless, Steven M. Seitz, Richard Szeliski
• Abstract要約: 静止画をリアルなアニメーションループ映像に変換する完全自動手法を示す。 流れ水や吹く煙など,連続流体運動の場面を対象とする。 本稿では,前向きと後向きの両方に特徴を流し,その結果をブレンドする新しいビデオループ手法を提案する。
• 参考スコア（独自算出の注目度）: 90.30598913855216
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we demonstrate a fully automatic method for converting a still image into a realistic animated looping video. We target scenes with continuous fluid motion, such as flowing water and billowing smoke. Our method relies on the observation that this type of natural motion can be convincingly reproduced from a static Eulerian motion description, i.e. a single, temporally constant flow field that defines the immediate motion of a particle at a given 2D location. We use an image-to-image translation network to encode motion priors of natural scenes collected from online videos, so that for a new photo, we can synthesize a corresponding motion field. The image is then animated using the generated motion through a deep warping technique: pixels are encoded as deep features, those features are warped via Eulerian motion, and the resulting warped feature maps are decoded as images. In order to produce continuous, seamlessly looping video textures, we propose a novel video looping technique that flows features both forward and backward in time and then blends the results. We demonstrate the effectiveness and robustness of our method by applying it to a large collection of examples including beaches, waterfalls, and flowing rivers.
• Abstract（参考訳）: 本稿では,静止画をリアルなアニメーションループ映像に変換する完全自動手法を実証する。 流水や発煙などの連続的な流体運動を伴う場面を対象とする。 本手法は,静的ユーレリア運動記述から,このような自然運動を説得的に再現できるという観察に依存している。 与えられた2d位置における粒子の即時運動を定義する1つの時間的に一定な流れ場。 画像から画像への翻訳ネットワークを用いて,オンラインビデオから収集した自然シーンの先行動きをエンコードし,新しい写真では対応する動き場を合成できる。 ピクセルは深い特徴としてエンコードされ、それらの特徴はユーレリア運動によって歪められ、結果として得られた特徴マップは画像としてデコードされる。 連続的かつシームレスにループする映像テクスチャを生成するために,前向きと後向きの両方に特徴を流し,その結果をブレンドする新しいビデオループ技術を提案する。 本研究では,砂浜,滝,河川など多数の例に適用し,本手法の有効性とロバスト性を示す。

関連論文リスト

• AnimateAnything: Consistent and Controllable Animation for Video Generation [24.576022028967195]
  本稿では,AnimateAnythingという統合制御可能なビデオ生成手法を提案する。 様々な条件にまたがる正確で一貫したビデオ操作を容易にする。 実験により,本手法は最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-16T16:36:49Z)
• Reenact Anything: Semantic Video Motion Transfer Using Motion-Textual Inversion [9.134743677331517]
  本研究では、動きから外見を遠ざけるために、事前訓練された画像間映像モデルを提案する。 動作テキストインバージョン(Motion-textual Inversion)と呼ばれるこの手法は、画像から映像へのモデルが、主に(相対的な)画像入力から外観を抽出する、という観察を生かしている。 フレームごとの複数のテキスト/画像埋め込みトークンを含むインフレーションされたモーションテキスト埋め込みを操作することにより、高時間運動粒度を実現する。 動作参照ビデオと対象画像の間に空間的アライメントを必要とせず,様々な領域にまたがって一般化し,様々なタスクに適用することができる。
  論文  参考訳（メタデータ） (2024-08-01T10:55:20Z)
• Controllable Longer Image Animation with Diffusion Models [12.565739255499594]
  動画拡散モデルを用いた動き先行画像を用いたオープンドメイン制御可能な画像アニメーション手法を提案する。 本手法は動画から運動場情報を抽出することにより移動領域の運動方向と速度を正確に制御する。 本稿では,画像アニメーションタスクに特化して最適化されたノイズ再スケジュールに基づく,効率的な長周期ビデオ生成手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:08:00Z)
• LivePhoto: Real Image Animation with Text-guided Motion Control [51.31418077586208]
  この研究はLivePhotoという名前の実用的なシステムを示し、ユーザーが興味のある画像をテキスト記述でアニメーション化することができる。 まず、よく学習されたテキスト・ツー・イメージ・ジェネレータ(すなわち、安定拡散)がさらに入力として画像を取るのを助ける強力なベースラインを確立する。 次に、時間的モデリングのためのモーションモジュールを改良されたジェネレータに装備し、テキストとモーションのリンクをより良くするための、慎重に設計されたトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-12-05T17:59:52Z)
• VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models [58.93124686141781]
  Video Motion Customization (VMC) はビデオ拡散モデルに時間的注意層を適応させる新しいワンショットチューニング手法である。 本研究では, 連続するフレーム間の残留ベクトルを運動基準として用いた新しい運動蒸留法を提案する。 実世界のさまざまな動きや状況にまたがる最先端のビデオ生成モデルに対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-12-01T06:50:11Z)
• AnimateAnything: Fine-Grained Open Domain Image Animation with Motion Guidance [13.416296247896042]
  本稿では,映像拡散モデルに先立って動きを利用するオープンドメイン画像アニメーション手法を提案する。 本手法では,移動領域の正確な制御と移動速度を実現するため,目標となる運動領域の誘導と運動強度の誘導を導入する。 オープンドメインデータセットを用いた厳密な実験により,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-11-21T03:47:54Z)
• Generative Image Dynamics [80.70729090482575]
  本研究では,シーン動作に先立って画像空間をモデル化する手法を提案する。 我々の先行研究は、実映像から抽出した動き軌跡の収集から得られたものである。
  論文  参考訳（メタデータ） (2023-09-14T17:54:01Z)
• Controllable Animation of Fluid Elements in Still Images [9.194534529360691]
  静止画像中の流体要素のアニメーションをインタラクティブに制御し,シネマグラフを生成する手法を提案する。 画像中の流体要素の運動を定数2次元光フローマップで表現する。 我々は、改良された光フローマップを用いて、将来的なフレームを自動回帰的に生成する新しいUNetアーキテクチャを考案した。
  論文  参考訳（メタデータ） (2021-12-06T13:53:08Z)
• Learning Fine-Grained Motion Embedding for Landscape Animation [140.57889994591494]
  ファイングラインド・モーション・埋め込みを学習し,高品質でリアルな映像を生成するモデルFGLAを提案する。 多様なタイムラプスビデオのトレーニングと評価を行うため、Diverseのシーンを用いた最大の高解像度タイムラプスビデオデータセットを構築した。 提案手法は,LIPISが19%,FVDが5.6%向上した。
  論文  参考訳（メタデータ） (2021-09-06T02:47:11Z)
• First Order Motion Model for Image Animation [90.712718329677]
  画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。 我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
  論文  参考訳（メタデータ） (2020-02-29T07:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。