論文の概要: Learning to Transfer Visual Effects from Videos to Images

• arxiv url: http://arxiv.org/abs/2012.01642v2
• Date: Thu, 17 Dec 2020 17:32:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-23 14:58:35.723153
• Title: Learning to Transfer Visual Effects from Videos to Images
• Title（参考訳）: 映像から映像へ視覚効果を伝達する学習
• Authors: Christopher Thomas, Yale Song, Adriana Kovashka
• Abstract要約: 本研究では,映像の集合から芸術的視覚効果(融解など)を伝達することにより,映像をアニメーション化する問題について検討する。 1)蒸留したい効果を捉える方法,2)コンテンツやスタイルよりも効果のみをソースビデオから入力画像に転送する方法,の2つの課題に対処する。
• 参考スコア（独自算出の注目度）: 49.099550510037936
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of animating images by transferring spatio-temporal visual effects (such as melting) from a collection of videos. We tackle two primary challenges in visual effect transfer: 1) how to capture the effect we wish to distill; and 2) how to ensure that only the effect, rather than content or artistic style, is transferred from the source videos to the input image. To address the first challenge, we evaluate five loss functions; the most promising one encourages the generated animations to have similar optical flow and texture motions as the source videos. To address the second challenge, we only allow our model to move existing image pixels from the previous frame, rather than predicting unconstrained pixel values. This forces any visual effects to occur using the input image's pixels, preventing unwanted artistic style or content from the source video from appearing in the output. We evaluate our method in objective and subjective settings, and show interesting qualitative results which demonstrate objects undergoing atypical transformations, such as making a face melt or a deer bloom.
• Abstract（参考訳）: 本研究では,ビデオのコレクションから時空間的効果(溶融など)を伝達することで,画像のアニメーション化の問題を研究する。 視覚効果伝達における主な課題は, 1) 蒸留したい効果を捉える方法,2) 内容や芸術的スタイルではなく, 効果のみをソースビデオから入力画像に移す方法,の2つである。 最初の課題に対処するために、我々は5つの損失関数を評価し、最も有望なものは、生成したアニメーションが、ソースビデオと似た光学的流れとテクスチャ運動を持つことを奨励する。 第2の課題に対処するために、制約のないピクセル値を予測するのではなく、既存の画像ピクセルを以前のフレームから移動させることしかできない。 これにより、入力画像のピクセルを使って視覚効果を発生させ、ソースビデオからの不要な芸術的スタイルや内容が出力に現れるのを防ぐ。 提案手法を客観的および主観的設定で評価し,顔の融解や鹿の開花などの非定型的変換対象を示す興味深い定性的な結果を示す。

関連論文リスト

• AniClipart: Clipart Animation with Text-to-Video Priors [28.76809141136148]
  AniClipartは、静的な画像をテキストからビデオへの事前案内による高品質なモーションシーケンスに変換するシステムである。 実験結果から,提案したAniClipartは既存の画像・映像生成モデルより一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2024-04-18T17:24:28Z)
• DynamiCrafter: Animating Open-domain Images with Video Diffusion Priors [63.43133768897087]
  オープンドメイン画像をアニメーションビデオに変換する手法を提案する。 鍵となるアイデアは、画像を生成プロセスに組み込むことで、テキストからビデオへの拡散モデルに先立っての動きを活用することである。 提案手法は視覚的に説得力があり、より論理的で自然な動きが得られ、入力画像への適合性が向上する。
  論文  参考訳（メタデータ） (2023-10-18T14:42:16Z)
• Copy Motion From One to Another: Fake Motion Video Generation [53.676020148034034]
  人工知能の魅力的な応用は、任意の所望の動作を行う対象者のビデオを生成することである。 現在の手法では、通常、生成されたビデオの信頼性を評価するために、L2損失のGANを用いる。 本稿では,ポーズから前景画像へのマッピングの学習を容易にする理論的動機付け型Gromov-Wasserstein損失を提案する。 本手法は,人物の複雑な動きを忠実にコピーすることで,現実的な人物映像を生成できる。
  論文  参考訳（メタデータ） (2022-05-03T08:45:22Z)
• Omnimatte: Associating Objects and Their Effects in Video [100.66205249649131]
  映像内のオブジェクトに関連するシーン効果は通常、コンピュータビジョンによって見過ごされる。 本研究では,映像におけるオブジェクトとその効果を自動的に関連付ける,この新しい問題を解決するための一歩を踏み出す。 私達のモデルは手動ラベルなしで自己監督された方法で入力ビデオでだけ訓練され、ジェネリックです---任意目的およびいろいろな効果のためのオムニマトを自動的に作り出します。
  論文  参考訳（メタデータ） (2021-05-14T17:57:08Z)
• PriorityCut: Occlusion-guided Regularization for Warp-based Image Animation [0.0]
  自己監視画像アニメーションアプローチは、駆動ビデオの動作に応じてソースイメージを警告し、塗り込みによりワーピングアーティファクトを復元する。 本稿では,ワープ画像のアニメーションに対するCutMixの効果について予備的検討を行う。 ワープ画像アニメーションを正規化するために、前景の上位Kパーセントの画素を使用する新しい拡張手法であるPriorityCutを提案する。
  論文  参考訳（メタデータ） (2021-03-22T06:05:20Z)
• Animating Pictures with Eulerian Motion Fields [90.30598913855216]
  静止画をリアルなアニメーションループ映像に変換する完全自動手法を示す。 流れ水や吹く煙など,連続流体運動の場面を対象とする。 本稿では,前向きと後向きの両方に特徴を流し,その結果をブレンドする新しいビデオループ手法を提案する。
  論文  参考訳（メタデータ） (2020-11-30T18:59:06Z)
• First Order Motion Model for Image Animation [90.712718329677]
  画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。 我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
  論文  参考訳（メタデータ） (2020-02-29T07:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。