論文の概要: AnimateAnywhere: Rouse the Background in Human Image Animation

• arxiv url: http://arxiv.org/abs/2504.19834v1
• Date: Mon, 28 Apr 2025 14:35:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.468376
• Title: AnimateAnywhere: Rouse the Background in Human Image Animation
• Title（参考訳）: AnimateAnywhere:人間のイメージアニメーションの背景
• Authors: Xiaoyu Liu, Mingshuai Yao, Yabo Zhang, Xianhui Lin, Peiran Ren, Xiaoming Li, Ming Liu, Wangmeng Zuo,
• Abstract要約: AnimateAnywhereは、カメラの軌跡を必要とせずに人間の画像アニメーションの背景を刺激するフレームワークである。 人間のポーズシーケンスから背景動きを学習するための背景動き学習装置(BML)を導入する。 実験によると、AnimateAnywhereは人間のポーズシーケンスから背景の動きを効果的に学習する。
• 参考スコア（独自算出の注目度）: 50.737139810172465
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human image animation aims to generate human videos of given characters and backgrounds that adhere to the desired pose sequence. However, existing methods focus more on human actions while neglecting the generation of background, which typically leads to static results or inharmonious movements. The community has explored camera pose-guided animation tasks, yet preparing the camera trajectory is impractical for most entertainment applications and ordinary users. As a remedy, we present an AnimateAnywhere framework, rousing the background in human image animation without requirements on camera trajectories. In particular, based on our key insight that the movement of the human body often reflects the motion of the background, we introduce a background motion learner (BML) to learn background motions from human pose sequences. To encourage the model to learn more accurate cross-frame correspondences, we further deploy an epipolar constraint on the 3D attention map. Specifically, the mask used to suppress geometrically unreasonable attention is carefully constructed by combining an epipolar mask and the current 3D attention map. Extensive experiments demonstrate that our AnimateAnywhere effectively learns the background motion from human pose sequences, achieving state-of-the-art performance in generating human animation results with vivid and realistic backgrounds. The source code and model will be available at https://github.com/liuxiaoyu1104/AnimateAnywhere.
• Abstract（参考訳）: 人間の画像アニメーションは、所望のポーズシーケンスに従属するキャラクターと背景の人間のビデオを生成することを目的としている。 しかし、既存の手法は背景の生成を無視しながら人間の行動にもっと焦点を合わせており、これは通常静的な結果や不調和な動きにつながる。 コミュニティは、カメラのポーズ誘導によるアニメーションタスクを探求してきたが、ほとんどのエンターテイメントアプリケーションや一般ユーザーにとって、カメラの軌道の準備は現実的ではない。 AnimateAnywhereフレームワークは、カメラの軌跡を必要とせずに、人間の画像アニメーションの背景を刺激する。 特に、人間の身体の動きが背景の動きを反映しているというキーとなる洞察に基づいて、人間のポーズシーケンスから背景の動きを学習するための背景運動学習装置(BML)を導入する。 モデルがより正確なクロスフレーム対応を学習できるように、我々はさらに3Dアテンションマップ上にエピポーラ制約を展開させる。 具体的には、エピポーラマスクと現在の3Dアテンションマップを組み合わせることで、幾何学的に不合理な注意を抑えるために使用されるマスクを慎重に構築する。 我々のAnimateAnywhereは、人間のポーズシーケンスから背景の動きを効果的に学習し、鮮明で現実的な背景を持つ人間のアニメーション結果を生成する上で、最先端のパフォーマンスを達成することを実証している。 ソースコードとモデルはhttps://github.com/liuxiaoyu1104/AnimateAnywhereで入手できる。

関連論文リスト

• Animating the Uncaptured: Humanoid Mesh Animation with Video Diffusion Models [71.78723353724493]
  ヒューマノイド文字のアニメーションは、様々なグラフィックス応用において不可欠である。 入力された静的な3次元ヒューマノイドメッシュの4次元アニメーションシーケンスを合成する手法を提案する。
  論文  参考訳（メタデータ） (2025-03-20T10:00:22Z)
• Learning to Animate Images from A Few Videos to Portray Delicate Human Actions [80.61838364885482]
  ビデオ生成モデルは、人間の繊細なアクションを描写するビデオに静的イメージをアニメーション化するのに依然として苦労している。 本稿では,映像をアニメーション化し,微妙な人間の行動を表現するための学習課題について,少数のビデオを用いて検討する。 本研究では、他の動画の動画特徴とフレーム間の対応を利用して、モデルに映像の再構成を強制することで、一般化可能な動きパターンを学習するFLASHを提案する。
  論文  参考訳（メタデータ） (2025-03-01T01:09:45Z)
• Move-in-2D: 2D-Conditioned Human Motion Generation [54.067588636155115]
  そこで我々は,シーンイメージに条件付けされた人間の動作シーケンスを生成する新しい手法であるMove-in-2Dを提案する。 本手法はシーンイメージとテキストプロンプトの両方を入力として受け入れ,シーンに合わせた動作シーケンスを生成する。
  論文  参考訳（メタデータ） (2024-12-17T18:58:07Z)
• HumanVid: Demystifying Training Data for Camera-controllable Human Image Animation [64.37874983401221]
  人間の画像アニメーションに適した,最初の大規模高品質データセットであるHumanVidを紹介する。 実世界のデータについては、インターネットから大量の実世界のビデオをコンパイルします。 合成データとして,10K3Dアバターを収集し,体形,肌のテクスチャ,衣服などの既存の資産を利用した。
  論文  参考訳（メタデータ） (2024-07-24T17:15:58Z)
• AnimateAnything: Fine-Grained Open Domain Image Animation with Motion Guidance [13.416296247896042]
  本稿では,映像拡散モデルに先立って動きを利用するオープンドメイン画像アニメーション手法を提案する。 本手法では,移動領域の正確な制御と移動速度を実現するため,目標となる運動領域の誘導と運動強度の誘導を導入する。 オープンドメインデータセットを用いた厳密な実験により,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-11-21T03:47:54Z)
• Action2video: Generating Videos of Human 3D Actions [31.665831044217363]
  我々は、所定のアクションカテゴリから多様で自然な人間の動きのビデオを生成するという、興味深いが挑戦的な課題に取り組むことを目的としている。 重要な問題は、視覚的な外観で現実的な複数の異なる動き列を合成する能力にある。 Action2motionallyは、所定のアクションカテゴリのもっともらしい3Dポーズシーケンスを生成し、モーション2ビデオによって処理され、レンダリングされ、2Dビデオを形成する。
  論文  参考訳（メタデータ） (2021-11-12T20:20:37Z)
• First Order Motion Model for Image Animation [90.712718329677]
  画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。 我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
  論文  参考訳（メタデータ） (2020-02-29T07:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。