論文の概要: PriorityCut: Occlusion-guided Regularization for Warp-based Image Animation

• arxiv url: http://arxiv.org/abs/2103.11600v1
• Date: Mon, 22 Mar 2021 06:05:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-23 14:50:49.252667
• Title: PriorityCut: Occlusion-guided Regularization for Warp-based Image Animation
• Title（参考訳）: PriorityCut: Warp-based Image AnimationのためのOcclusion-guided Regularization
• Authors: Wai Ting Cheung, Gyeongsu Chae
• Abstract要約: 自己監視画像アニメーションアプローチは、駆動ビデオの動作に応じてソースイメージを警告し、塗り込みによりワーピングアーティファクトを復元する。 本稿では,ワープ画像のアニメーションに対するCutMixの効果について予備的検討を行う。 ワープ画像アニメーションを正規化するために、前景の上位Kパーセントの画素を使用する新しい拡張手法であるPriorityCutを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image animation generates a video of a source image following the motion of a driving video. State-of-the-art self-supervised image animation approaches warp the source image according to the motion of the driving video and recover the warping artifacts by inpainting. These approaches mostly use vanilla convolution for inpainting, and vanilla convolution does not distinguish between valid and invalid pixels. As a result, visual artifacts are still noticeable after inpainting. CutMix is a state-of-the-art regularization strategy that cuts and mixes patches of images and is widely studied in different computer vision tasks. Among the remaining computer vision tasks, warp-based image animation is one of the fields that the effects of CutMix have yet to be studied. This paper first presents a preliminary study on the effects of CutMix on warp-based image animation. We observed in our study that CutMix helps improve only pixel values, but disturbs the spatial relationships between pixels. Based on such observation, we propose PriorityCut, a novel augmentation approach that uses the top-k percent occluded pixels of the foreground to regularize warp-based image animation. By leveraging the domain knowledge in warp-based image animation, PriorityCut significantly reduces the warping artifacts in state-of-the-art warp-based image animation models on diverse datasets.
• Abstract（参考訳）: 画像アニメーションは、駆動映像の動作に従って、ソース画像のビデオを生成する。 State-of-the-the-the-the-art self-supervised image animation approach the source image with the Motion of the driving video and recovery the warping artifacts by inpainting。 これらのアプローチは主に塗布にバニラ畳み込みを使用し、バニラ畳み込みは有効画素と無効画素を区別しない。 その結果、ビジュアルアーティファクトは塗りつぶした後にも目に見えるようになる。 CutMixは、画像のパッチをカット・ミックスする最先端の正規化戦略であり、様々なコンピュータビジョンタスクで広く研究されている。 残りのコンピュータビジョンタスクのうち、ワープベースの画像アニメーションは、カットミックスの効果が未だ研究されていない分野の1つである。 本稿では,ワープ画像のアニメーションに対するCutMixの効果について予備的検討を行う。 我々は,CutMixが画素値だけを改善するのに役立つが,画素間の空間的関係を乱すことを観察した。 そこで本研究では,前景の最大kパーセントのオクルード画素を用いてワープベースの画像アニメーションを規則化する新しい拡張手法であるprioritycutを提案する。 warpベースの画像アニメーションのドメイン知識を活用することで、優先度カットは、さまざまなデータセット上の最先端のwarpベースの画像アニメーションモデルにおけるワーピングアーティファクトを大幅に削減する。

関連論文リスト

• Efficient Image Pre-Training with Siamese Cropped Masked Autoencoders [89.12558126877532]
  そこで我々は,SiamMAE が導入した Siamese プレトレーニングの代替手法である CropMAE を提案する。 本手法では, ビデオから抽出した従来のフレームの対から切り離して, 同一画像から抽出した画像の対を別々に抽出する。 CropMAEは、これまでで最も高いマスキング比(98.5%)を達成し、2つの目に見えるパッチのみを使用して画像の再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T16:04:19Z)
• AnimateZero: Video Diffusion Models are Zero-Shot Image Animators [63.938509879469024]
  我々はAnimateZeroを提案し、事前訓練されたテキスト・ビデオ拡散モデル、すなわちAnimateDiffを提案する。 外観制御のために,テキスト・ツー・イメージ(T2I)生成から中間潜伏子とその特徴を借りる。 時間的制御では、元のT2Vモデルのグローバルな時間的注意を位置補正窓の注意に置き換える。
  論文  参考訳（メタデータ） (2023-12-06T13:39:35Z)
• MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model [74.84435399451573]
  本稿では、特定の動きシーケンスに従って、特定の参照アイデンティティのビデオを生成することを目的とした、人間の画像アニメーションタスクについて検討する。 既存のアニメーションは、通常、フレームウォーピング技術を用いて参照画像を目標運動に向けてアニメーションする。 MagicAnimateは,時間的一貫性の向上,参照画像の忠実な保存,アニメーションの忠実性向上を目的とした,拡散に基づくフレームワークである。
  論文  参考訳（メタデータ） (2023-11-27T18:32:31Z)
• AnimateAnything: Fine-Grained Open Domain Image Animation with Motion Guidance [13.416296247896042]
  本稿では,映像拡散モデルに先立って動きを利用するオープンドメイン画像アニメーション手法を提案する。 本手法では,移動領域の正確な制御と移動速度を実現するため,目標となる運動領域の誘導と運動強度の誘導を導入する。 オープンドメインデータセットを用いた厳密な実験により,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-11-21T03:47:54Z)
• DynamiCrafter: Animating Open-domain Images with Video Diffusion Priors [63.43133768897087]
  オープンドメイン画像をアニメーションビデオに変換する手法を提案する。 鍵となるアイデアは、画像を生成プロセスに組み込むことで、テキストからビデオへの拡散モデルに先立っての動きを活用することである。 提案手法は視覚的に説得力があり、より論理的で自然な動きが得られ、入力画像への適合性が向上する。
  論文  参考訳（メタデータ） (2023-10-18T14:42:16Z)
• Thin-Plate Spline Motion Model for Image Animation [9.591298403129532]
  イメージアニメーションは、ドライビングビデオに従って、ソースイメージ内の静的オブジェクトに生命をもたらす。 近年の研究では、事前知識を使わずに、教師なし手法による任意の物体の移動を試みている。 ソース内のオブジェクトと駆動イメージの間に大きなポーズギャップがある場合、現在の教師なしメソッドにとって、これは依然として重要な課題である。
  論文  参考訳（メタデータ） (2022-03-27T18:40:55Z)
• Learning to Transfer Visual Effects from Videos to Images [49.099550510037936]
  本研究では,映像の集合から芸術的視覚効果(融解など)を伝達することにより,映像をアニメーション化する問題について検討する。 1)蒸留したい効果を捉える方法,2)コンテンツやスタイルよりも効果のみをソースビデオから入力画像に転送する方法,の2つの課題に対処する。
  論文  参考訳（メタデータ） (2020-12-03T02:10:14Z)
• A Robust Interactive Facial Animation Editing System [0.0]
  直感的な制御パラメータの集合から顔のアニメーションを簡単に編集するための学習に基づく新しいアプローチを提案する。 我々は、制御パラメータを結合係数列にマップする分解能保存完全畳み込みニューラルネットワークを使用している。 提案システムは頑丈で,非専門ユーザからの粗大で誇張された編集を処理できる。
  論文  参考訳（メタデータ） (2020-07-18T08:31:02Z)
• First Order Motion Model for Image Animation [90.712718329677]
  画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。 我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
  論文  参考訳（メタデータ） (2020-02-29T07:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。