論文の概要: Controllable Animation of Fluid Elements in Still Images
- arxiv url: http://arxiv.org/abs/2112.03051v1
- Date: Mon, 6 Dec 2021 13:53:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-07 17:12:01.766826
- Title: Controllable Animation of Fluid Elements in Still Images
- Title（参考訳）: 静止画像における流体要素の制御可能なアニメーション
- Authors: Aniruddha Mahapatra and Kuldeep Kulkarni
- Abstract要約: 静止画像中の流体要素のアニメーションをインタラクティブに制御し,シネマグラフを生成する手法を提案する。
画像中の流体要素の運動を定数2次元光フローマップで表現する。
我々は、改良された光フローマップを用いて、将来的なフレームを自動回帰的に生成する新しいUNetアーキテクチャを考案した。
- 参考スコア（独自算出の注目度）: 1.791250726903057
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We propose a method to interactively control the animation of fluid elements
in still images to generate cinemagraphs. Specifically, we focus on the
animation of fluid elements like water, smoke, fire, which have the properties
of repeating textures and continuous fluid motion. Taking inspiration from
prior works, we represent the motion of such fluid elements in the image in the
form of a constant 2D optical flow map. To this end, we allow the user to
provide any number of arrow directions and their associated speeds along with a
mask of the regions the user wants to animate. The user-provided input arrow
directions, their corresponding speed values, and the mask are then converted
into a dense flow map representing a constant optical flow map (FD). We observe
that FD, obtained using simple exponential operations can closely approximate
the plausible motion of elements in the image. We further refine computed dense
optical flow map FD using a generative-adversarial network (GAN) to obtain a
more realistic flow map. We devise a novel UNet based architecture to
autoregressively generate future frames using the refined optical flow map by
forward-warping the input image features at different resolutions. We conduct
extensive experiments on a publicly available dataset and show that our method
is superior to the baselines in terms of qualitative and quantitative metrics.
In addition, we show the qualitative animations of the objects in directions
that did not exist in the training set and provide a way to synthesize videos
that otherwise would not exist in the real world.
- Abstract（参考訳）: 静止画中の流体要素のアニメーションをインタラクティブに制御し,シネマグラフを生成する手法を提案する。
具体的には,繰り返し発生するテクスチャと連続する流体運動の特性を有する水,煙,火などの流体要素のアニメーションに焦点を当てる。
先行研究からインスピレーションを得て、画像中のそのような流体要素の運動を、一定の2次元光フローマップの形で表現する。
この目的のために、ユーザは、ユーザがアニメーションしたい領域のマスクとともに、任意の矢印方向とその関連速度を提供することができる。
ユーザが入力した矢印方向、対応する速度値、マスクは、一定の光学フローマップ(fd)を表す密集したフローマップに変換される。
単純な指数演算を用いて得られるFDは、画像中の要素の可視運動を近似することができる。
さらに,計算された高密度光フローマップfdを生成-逆ネットワーク(gan)を用いて洗練し,より現実的なフローマップを得る。
我々は,新しいunetベースのアーキテクチャを考案し,入力画像の特徴を異なる解像度で前方に反動させることにより,改良された光フローマップを用いて,将来のフレームを自己回帰的に生成する。
我々は,公開データセット上で広範囲に実験を行い,定性的,定量的な指標から,本手法がベースラインよりも優れていることを示す。
また、トレーニングセットに存在しない方向の物体の質的アニメーションを示し、それ以外の現実世界に存在しない映像を合成する方法を提供する。
関連論文リスト
- Motion-Aware Video Frame Interpolation [49.49668436390514]
我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。
受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
論文 参考訳（メタデータ） (2024-02-05T11:00:14Z) - Motion Guidance: Diffusion-Based Image Editing with Differentiable
Motion Estimators [19.853978560075305]
モーションガイダンス(Motion Guide)は、画像の各ピクセルがどこに移動すべきかを示す、密度の高い複雑なモーションフィールドを指定できる技術である。
本手法は複雑な動きに作用し、実画像や生成された画像の高品質な編集を可能にする。
論文 参考訳（メタデータ） (2024-01-31T18:59:59Z) - MoVideo: Motion-Aware Video Generation with Diffusion Models [97.03352319694795]
本稿では,映像深度と光フローの2つの側面から動きを考慮に入れたモーションアウェア・ジェネレーション(MoVideo)フレームワークを提案する。
MoVideoは、テキスト・トゥ・ビデオと画像・トゥ・ビデオ生成の両方で最先端の結果を達成し、期待できる即時一貫性、フレームの整合性、視覚的品質を示す。
論文 参考訳（メタデータ） (2023-11-19T13:36:03Z) - Generative Image Dynamics [80.70729090482575]
本研究では,シーン動作に先立って画像空間をモデル化する手法を提案する。
我々の先行研究は、実映像から抽出した動き軌跡の収集から得られたものである。
論文 参考訳（メタデータ） (2023-09-14T17:54:01Z) - MPI-Flow: Learning Realistic Optical Flow with Multiplane Images [18.310665144874775]
実世界の画像からリアルな光フローデータセットを生成する。
高度に現実的な新しい画像を生成するため,単視点画像から多平面画像(MPI)と呼ばれる層状深度表現を構築した。
動きの現実性を確保するため,MPI内のカメラと動的物体の動きを分離できる独立な物体運動モジュールを提案する。
論文 参考訳（メタデータ） (2023-09-13T04:31:00Z) - Inferring Fluid Dynamics via Inverse Rendering [37.87293082992423]
人間は、そのようなシーンを垣間見るだけで、流体が落ちるような物理的な過程について、非常に直感的に理解することができる。
この研究は、アノテーションのないビデオから学習した写真から流体への再構成機能を実現する。
論文 参考訳（メタデータ） (2023-04-10T08:23:17Z) - Progressive Temporal Feature Alignment Network for Video Inpainting [51.26380898255555]
ビデオ畳み込みは、時間内「破損した地域」に可能な内容で埋めることを目指しています。
現在の方法は、注意、フローベースのワープ、あるいは3次元時間的畳み込みによってこの目標を達成する。
現在のフレームから抽出された特徴を、隣接するフレームから歪んだ特徴で段階的に強化する「プログレッシブ・テンポラリティ・アライメント・ネットワーク」を提案します。
論文 参考訳（メタデータ） (2021-04-08T04:50:33Z) - Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。
本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-03-04T12:45:18Z) - Animating Pictures with Eulerian Motion Fields [90.30598913855216]
静止画をリアルなアニメーションループ映像に変換する完全自動手法を示す。
流れ水や吹く煙など,連続流体運動の場面を対象とする。
本稿では,前向きと後向きの両方に特徴を流し,その結果をブレンドする新しいビデオループ手法を提案する。
論文 参考訳（メタデータ） (2020-11-30T18:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。