論文の概要: Image2Gif: Generating Continuous Realistic Animations with Warping NODEs
- arxiv url: http://arxiv.org/abs/2205.04519v1
- Date: Mon, 9 May 2022 18:39:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-12 17:21:07.567924
- Title: Image2Gif: Generating Continuous Realistic Animations with Warping NODEs
- Title（参考訳）: Image2Gif: ウォーピングノードによる連続リアルアニメーションの生成
- Authors: Jurijs Nazarovs, Zhichun Huang
- Abstract要約: 本稿では,スムーズなアニメーション(ビデオフレーム)を連続的に生成するための新しいフレームワークであるウォーピングニューラルODEを提案する。
これにより、フレーム間の無限に小さな時間ステップでアニメーションの滑らかさと現実性を達成することができる。
本稿では,GAN(Generative Adversarial Network)や損失$L$など,異なるトレーニング環境下で2フレームのアニメーションを生成する上で,我々の作業の適用例を示す。
- 参考スコア（独自算出の注目度）: 0.8218964199015377
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating smooth animations from a limited number of sequential observations
has a number of applications in vision. For example, it can be used to increase
number of frames per second, or generating a new trajectory only based on first
and last frames, e.g. a motion of face emotions. Despite the discrete observed
data (frames), the problem of generating a new trajectory is a continues
problem. In addition, to be perceptually realistic, the domain of an image
should not alter drastically through the trajectory of changes. In this paper,
we propose a new framework, Warping Neural ODE, for generating a smooth
animation (video frame interpolation) in a continuous manner, given two
("farther apart") frames, denoting the start and the end of the animation. The
key feature of our framework is utilizing the continuous spatial transformation
of the image based on the vector field, derived from a system of differential
equations. This allows us to achieve the smoothness and the realism of an
animation with infinitely small time steps between the frames. We show the
application of our work in generating an animation given two frames, in
different training settings, including Generative Adversarial Network (GAN) and
with $L_2$ loss.
- Abstract（参考訳）: 少数の連続的な観測から滑らかなアニメーションを生成することは、視覚に多くの応用をもたらす。
例えば、1秒あたりのフレーム数を増やしたり、最初のフレームと最後のフレーム(例えば顔の感情の動き)に基づいて新しいトラジェクトリを生成するのに使うことができる。
離散的な観測データ(フレーム)にもかかわらず、新しい軌道を生成する問題は継続する問題である。
さらに、知覚的に現実的になるためには、画像の領域が変化の軌跡によって大きく変わるべきではない。
本稿では,アニメーションの開始と終了を示す2つのフレーム(より離れている)が与えられた,滑らかなアニメーション(ビデオフレーム補間)を連続的に生成する,ニューラルodeをウォーピングする新しいフレームワークを提案する。
このフレームワークの重要な特徴は、微分方程式系から導かれるベクトル場に基づく画像の連続的な空間変換を利用することである。
これにより、フレーム間の無限に小さな時間ステップでアニメーションの滑らかさと現実性を達成することができる。
本稿では,GAN (Generative Adversarial Network) や$L_2$ロスなど,異なるトレーニング環境で2フレームのアニメーションを生成する上で,我々の作業の適用例を示す。
関連論文リスト
- Framer: Interactive Frame Interpolation [73.06734414930227]
Framerのターゲットは、ユーザのクリエイティビティに応じて、2つのイメージ間のスムーズな遷移フレームを生成することだ。
提案手法は,選択したキーポイントの軌道を調整し,遷移過程のカスタマイズを支援する。
ここでは,キーポイントと軌道を自動的に推定するモジュールを導入する。
論文 参考訳（メタデータ） (2024-10-24T17:59:51Z) - UniAnimate: Taming Unified Video Diffusion Models for Consistent Human Image Animation [53.16986875759286]
We present a UniAnimate framework to enable efficient and long-term human video generation。
我々は、姿勢案内やノイズビデオとともに参照画像を共通の特徴空間にマッピングする。
また、ランダムノイズ入力と第1フレーム条件入力をサポートする統一ノイズ入力を提案する。
論文 参考訳（メタデータ） (2024-06-03T10:51:10Z) - AnimateZero: Video Diffusion Models are Zero-Shot Image Animators [63.938509879469024]
我々はAnimateZeroを提案し、事前訓練されたテキスト・ビデオ拡散モデル、すなわちAnimateDiffを提案する。
外観制御のために,テキスト・ツー・イメージ(T2I)生成から中間潜伏子とその特徴を借りる。
時間的制御では、元のT2Vモデルのグローバルな時間的注意を位置補正窓の注意に置き換える。
論文 参考訳（メタデータ） (2023-12-06T13:39:35Z) - MagicAnimate: Temporally Consistent Human Image Animation using
Diffusion Model [74.84435399451573]
本稿では、特定の動きシーケンスに従って、特定の参照アイデンティティのビデオを生成することを目的とした、人間の画像アニメーションタスクについて検討する。
既存のアニメーションは、通常、フレームウォーピング技術を用いて参照画像を目標運動に向けてアニメーションする。
MagicAnimateは,時間的一貫性の向上,参照画像の忠実な保存,アニメーションの忠実性向上を目的とした,拡散に基づくフレームワークである。
論文 参考訳（メタデータ） (2023-11-27T18:32:31Z) - AnimateAnything: Fine-Grained Open Domain Image Animation with Motion
Guidance [13.416296247896042]
本稿では,映像拡散モデルに先立って動きを利用するオープンドメイン画像アニメーション手法を提案する。
本手法では,移動領域の正確な制御と移動速度を実現するため,目標となる運動領域の誘導と運動強度の誘導を導入する。
オープンドメインデータセットを用いた厳密な実験により,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2023-11-21T03:47:54Z) - Regenerating Arbitrary Video Sequences with Distillation Path-Finding [6.687073794084539]
本稿では,開始フレーム上でユーザの好みに応じて新しいシーケンスを生成するインタラクティブなフレームワークを提案する。
これを効果的に実現するために、まず、提案ネットワークであるRCFNetを用いて、与えられたビデオのフレームセットの特徴相関を学習する。
そこで我々は,ソースビデオの動作方向の知識を定式化し,スムーズかつ妥当なシーケンスを推定する新しいパスフィニングアルゴリズム,SDPFを開発した。
論文 参考訳（メタデータ） (2023-11-13T09:05:30Z) - TTVFI: Learning Trajectory-Aware Transformer for Video Frame
Interpolation [50.49396123016185]
ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを合成することを目的としている。
ビデオフレーム補間用トラジェクトリ対応トランス (TTVFI) を提案する。
提案手法は,4つの広く使用されているVFIベンチマークにおいて,他の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2022-07-19T03:37:49Z) - Wassersplines for Stylized Neural Animation [36.43240177060714]
コンピュータ生成アニメーションの多くは、メッシュをリグで操作することで生成される。
非構造密度をアニメーションする新しい推論手法であるsplinesを紹介した。
メッシュやリギングを伴わずに時間的に一貫性のあるアニメーションを生成するための,さまざまな問題に対するツールの実証を行った。
論文 参考訳（メタデータ） (2022-01-28T05:36:02Z) - Deep Animation Video Interpolation in the Wild [115.24454577119432]
本研究では,アニメーション・ビデオ・コードに関する問題を初めて形式的に定義・検討する。
効果的なフレームワークであるAnimeInterpを2つの専用モジュールで粗密に提案します。
特にAnimeInterpは、野生のアニメーションシナリオに良好な知覚品質と堅牢性を示します。
論文 参考訳（メタデータ） (2021-04-06T13:26:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。