論文の概要: AnimateAnything: Fine-Grained Open Domain Image Animation with Motion
Guidance
- arxiv url: http://arxiv.org/abs/2311.12886v2
- Date: Mon, 4 Dec 2023 05:43:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 19:00:51.986106
- Title: AnimateAnything: Fine-Grained Open Domain Image Animation with Motion
Guidance
- Title(参考訳): AnimateAnything:モーションガイド付き細粒度オープンドメイン画像アニメーション
- Authors: Zuozhuo Dai and Zhenghao Zhang and Yao Yao and Bingxue Qiu and Siyu
Zhu and Long Qin and Weizhi Wang
- Abstract要約: 本稿では,映像拡散モデルに先立って動きを利用するオープンドメイン画像アニメーション手法を提案する。
本手法では,移動領域の正確な制御と移動速度を実現するため,目標となる運動領域の誘導と運動強度の誘導を導入する。
オープンドメインデータセットを用いた厳密な実験により,本手法の有効性を検証した。
- 参考スコア(独自算出の注目度): 13.416296247896042
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Image animation is a key task in computer vision which aims to generate
dynamic visual content from static image. Recent image animation methods employ
neural based rendering technique to generate realistic animations. Despite
these advancements, achieving fine-grained and controllable image animation
guided by text remains challenging, particularly for open-domain images
captured in diverse real environments. In this paper, we introduce an open
domain image animation method that leverages the motion prior of video
diffusion model. Our approach introduces targeted motion area guidance and
motion strength guidance, enabling precise control the movable area and its
motion speed. This results in enhanced alignment between the animated visual
elements and the prompting text, thereby facilitating a fine-grained and
interactive animation generation process for intricate motion sequences. We
validate the effectiveness of our method through rigorous experiments on an
open-domain dataset, with the results showcasing its superior performance.
Project page can be found at https://animationai.github.io/AnimateAnything.
- Abstract(参考訳): 画像アニメーションは、静的画像から動的視覚コンテンツを生成することを目的としたコンピュータビジョンの重要なタスクである。
最近の画像アニメーション手法では、ニューラルネットワークによるレンダリング技術を用いてリアルなアニメーションを生成する。
これらの進歩にもかかわらず、細粒度で制御可能な画像アニメーションをテキストで導くことは、特に様々な実環境で撮影されたオープンドメイン画像にとって、依然として困難である。
本稿では,映像拡散モデルに先行する動きを利用したオープン領域画像アニメーション手法を提案する。
本手法では,移動領域と移動速度を正確に制御できる目標運動領域誘導と運動強度誘導を導入する。
これにより、アニメーションの視覚要素とプロンプトテキストとのアライメントが向上し、複雑なモーションシーケンスのための微粒でインタラクティブなアニメーション生成プロセスが容易になる。
提案手法の有効性を,オープンドメインデータセットを用いた厳密な実験により検証し,その優れた性能を示す。
プロジェクトページはhttps://animationai.github.io/animateanythingにある。
関連論文リスト
- AnimateZero: Video Diffusion Models are Zero-Shot Image Animators [63.938509879469024]
我々はAnimateZeroを提案し、事前訓練されたテキスト・ビデオ拡散モデル、すなわちAnimateDiffを提案する。
外観制御のために,テキスト・ツー・イメージ(T2I)生成から中間潜伏子とその特徴を借りる。
時間的制御では、元のT2Vモデルのグローバルな時間的注意を位置補正窓の注意に置き換える。
論文 参考訳(メタデータ) (2023-12-06T13:39:35Z) - MagicAnimate: Temporally Consistent Human Image Animation using
Diffusion Model [74.84435399451573]
本稿では、特定の動きシーケンスに従って、特定の参照アイデンティティのビデオを生成することを目的とした、人間の画像アニメーションタスクについて検討する。
既存のアニメーションは、通常、フレームウォーピング技術を用いて参照画像を目標運動に向けてアニメーションする。
MagicAnimateは,時間的一貫性の向上,参照画像の忠実な保存,アニメーションの忠実性向上を目的とした,拡散に基づくフレームワークである。
論文 参考訳(メタデータ) (2023-11-27T18:32:31Z) - Regenerating Arbitrary Video Sequences with Distillation Path-Finding [6.687073794084539]
本稿では,開始フレーム上でユーザの好みに応じて新しいシーケンスを生成するインタラクティブなフレームワークを提案する。
これを効果的に実現するために、まず、提案ネットワークであるRCFNetを用いて、与えられたビデオのフレームセットの特徴相関を学習する。
そこで我々は,ソースビデオの動作方向の知識を定式化し,スムーズかつ妥当なシーケンスを推定する新しいパスフィニングアルゴリズム,SDPFを開発した。
論文 参考訳(メタデータ) (2023-11-13T09:05:30Z) - DynamiCrafter: Animating Open-domain Images with Video Diffusion Priors [63.43133768897087]
オープンドメイン画像をアニメーションビデオに変換する手法を提案する。
鍵となるアイデアは、画像を生成プロセスに組み込むことで、テキストからビデオへの拡散モデルに先立っての動きを活用することである。
提案手法は視覚的に説得力があり、より論理的で自然な動きが得られ、入力画像への適合性が向上する。
論文 参考訳(メタデータ) (2023-10-18T14:42:16Z) - Learning Fine-Grained Motion Embedding for Landscape Animation [140.57889994591494]
ファイングラインド・モーション・埋め込みを学習し,高品質でリアルな映像を生成するモデルFGLAを提案する。
多様なタイムラプスビデオのトレーニングと評価を行うため、Diverseのシーンを用いた最大の高解像度タイムラプスビデオデータセットを構築した。
提案手法は,LIPISが19%,FVDが5.6%向上した。
論文 参考訳(メタデータ) (2021-09-06T02:47:11Z) - Animating Pictures with Eulerian Motion Fields [90.30598913855216]
静止画をリアルなアニメーションループ映像に変換する完全自動手法を示す。
流れ水や吹く煙など,連続流体運動の場面を対象とする。
本稿では,前向きと後向きの両方に特徴を流し,その結果をブレンドする新しいビデオループ手法を提案する。
論文 参考訳(メタデータ) (2020-11-30T18:59:06Z) - Going beyond Free Viewpoint: Creating Animatable Volumetric Video of
Human Performances [7.7824496657259665]
本稿では,人間の演奏の高品質な映像コンテンツ作成のためのエンドツーエンドパイプラインを提案する。
セマンティックエンリッチメントと幾何学的アニメーション能力は、3Dデータに時間的一貫性を確立することによって達成される。
ポーズ編集では、キャプチャしたデータを可能な限り活用し、キャプチャしたフレームをキネマティックに変形して所望のポーズに適合させる。
論文 参考訳(メタデータ) (2020-09-02T09:46:12Z) - A Robust Interactive Facial Animation Editing System [0.0]
直感的な制御パラメータの集合から顔のアニメーションを簡単に編集するための学習に基づく新しいアプローチを提案する。
我々は、制御パラメータを結合係数列にマップする分解能保存完全畳み込みニューラルネットワークを使用している。
提案システムは頑丈で,非専門ユーザからの粗大で誇張された編集を処理できる。
論文 参考訳(メタデータ) (2020-07-18T08:31:02Z) - First Order Motion Model for Image Animation [90.712718329677]
画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。
我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
論文 参考訳(メタデータ) (2020-02-29T07:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。