論文の概要: Animate Anyone 2: High-Fidelity Character Image Animation with Environment Affordance

• arxiv url: http://arxiv.org/abs/2502.06145v1
• Date: Mon, 10 Feb 2025 04:20:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:31:50.727462
• Title: Animate Anyone 2: High-Fidelity Character Image Animation with Environment Affordance
• Title（参考訳）: Animate Anyone 2: 環境に配慮した高忠実なキャラクタ画像アニメーション
• Authors: Li Hu, Guangyuan Wang, Zhen Shen, Xin Gao, Dechao Meng, Lian Zhuo, Peng Zhang, Bang Zhang, Liefeng Bo,
• Abstract要約: Animate Anyone 2を紹介する。 本研究では,文字と環境の関係をより効果的に特徴づける形状に依存しないマスク戦略を提案する。 また、モデルがより多様な動きパターンを扱えるように、ポーズ変調戦略を導入する。
• 参考スコア（独自算出の注目度）: 30.225654002561512
• License:
• Abstract: Recent character image animation methods based on diffusion models, such as Animate Anyone, have made significant progress in generating consistent and generalizable character animations. However, these approaches fail to produce reasonable associations between characters and their environments. To address this limitation, we introduce Animate Anyone 2, aiming to animate characters with environment affordance. Beyond extracting motion signals from source video, we additionally capture environmental representations as conditional inputs. The environment is formulated as the region with the exclusion of characters and our model generates characters to populate these regions while maintaining coherence with the environmental context. We propose a shape-agnostic mask strategy that more effectively characterizes the relationship between character and environment. Furthermore, to enhance the fidelity of object interactions, we leverage an object guider to extract features of interacting objects and employ spatial blending for feature injection. We also introduce a pose modulation strategy that enables the model to handle more diverse motion patterns. Experimental results demonstrate the superior performance of the proposed method.
• Abstract（参考訳）: Animate Anyoneのような拡散モデルに基づく最近のキャラクタ画像アニメーション法は、一貫した一般化可能なキャラクタアニメーションを生成する上で大きな進歩を遂げている。 しかし、これらのアプローチはキャラクタと環境の間に合理的な関連を生じさせるには至らなかった。 この制限に対処するため,Animate Anyone 2を導入する。 映像からの映像信号の抽出以外にも,環境表現を条件入力として捉える。 環境は文字を除外した領域として定式化され,環境コンテキストとの整合性を維持しつつ,これらの領域を蓄積する文字を生成する。 本研究では,文字と環境の関係をより効果的に特徴づける形状に依存しないマスク戦略を提案する。 さらに,物体間相互作用の忠実度を高めるために,物体ガイドを用いて物体間相互作用の特徴を抽出し,空間ブレンディングを用いて特徴注入を行う。 また、モデルがより多様な動きパターンを扱えるように、ポーズ変調戦略を導入する。 実験の結果,提案手法の優れた性能が示された。

関連論文リスト

• X-Dyna: Expressive Dynamic Human Image Animation [49.896933584815926]
  X-Dynaは、単一の人間のイメージをアニメーションするための、ゼロショットで拡散ベースのパイプラインである。 対象と周辺環境の両方に対して現実的でコンテキスト対応のダイナミクスを生成する。
  論文  参考訳（メタデータ） (2025-01-17T08:10:53Z)
• AniFaceDiff: Animating Stylized Avatars via Parametric Conditioned Diffusion Models [33.39336530229545]
  本稿では,スタイリングされたアバターをアニメーション化するための新しい条件付きモジュールを組み込んだ,AniFaceDiffと呼ばれる安定拡散に基づく新しい手法を提案する。 提案手法は,入力画像の一貫性を維持しながら,対象映像からのポーズと表現を効果的に保存する。 この研究は、ポジティブなアプリケーションのための仮想スタイリングアニメーションの品質を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-06-19T07:08:48Z)
• Zero-shot High-fidelity and Pose-controllable Character Animation [89.74818983864832]
  イメージ・ツー・ビデオ(I2V)生成は、単一の画像からビデオシーケンスを作成することを目的としている。 既存のアプローチは、キャラクターの外観の不整合と細部保存の貧弱さに悩まされている。 文字アニメーションのための新しいゼロショットI2VフレームワークPoseAnimateを提案する。
  論文  参考訳（メタデータ） (2024-04-21T14:43:31Z)
• Generating Human Interaction Motions in Scenes with Text Control [66.74298145999909]
  本稿では,デノナイズ拡散モデルに基づくテキスト制御されたシーン認識動作生成手法TeSMoを提案する。 我々のアプローチは、シーンに依存しないテキスト-モーション拡散モデルの事前学習から始まります。 トレーニングを容易にするため,シーン内に注釈付きナビゲーションと対話動作を組み込む。
  論文  参考訳（メタデータ） (2024-04-16T16:04:38Z)
• Animate Your Motion: Turning Still Images into Dynamic Videos [58.63109848837741]
  本稿では,マルチモーダル入力を管理する新しい手法であるScene and Motion Conditional Diffusion (SMCD)を紹介する。 SMCDは、認識されたモーションコンディショニングモジュールを組み込み、シーン条件を統合するための様々なアプローチを調査する。 我々のデザインは映像の品質、動きの精度、セマンティック・コヒーレンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2024-03-15T10:36:24Z)
• Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation [27.700371215886683]
  拡散モデルは、その堅牢な生成能力のために、視覚世代研究の主流となっている。 本稿では,キャラクターアニメーションに適した新しいフレームワークを提案する。 トレーニングデータを拡張することにより、任意の文字をアニメーション化することが可能となり、他の画像とビデオの手法と比較して、文字アニメーションにおいて優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-11-28T12:27:15Z)
• Synthesizing Physical Character-Scene Interactions [64.26035523518846]
  仮想キャラクタとその周辺環境間のこのような相互作用を合成する必要がある。 本稿では,逆模倣学習と強化学習を用いて物理シミュレーション文字を学習するシステムを提案する。 我々のアプローチは、物理学に基づくキャラクターモーション生成を広い適用性に一歩近づいた。
  論文  参考訳（メタデータ） (2023-02-02T05:21:32Z)
• Triangular Character Animation Sampling with Motion, Emotion, and Relation [78.80083186208712]
  本稿では,キャラクターの身体の動き,表情,社会的関係を関連づけることで,アニメーションのサンプリングと合成を行う新しい枠組みを提案する。 本手法は,3次元キャラクタアニメーションの自動生成,非プレーヤキャラクタ(NPC)間のインタラクションの合成,バーチャルリアリティ(VR)におけるマシン感情インテリジェンスの向上を支援するアニメーターを提供する。
  論文  参考訳（メタデータ） (2022-03-09T18:19:03Z)
• Motion Representations for Articulated Animation [34.54825980226596]
  異なる部分からなる関節オブジェクトをアニメーション化するための新しいモーション表現を提案する。 完全に教師なしの方法で、本手法は対象部品を識別し、駆動ビデオで追跡し、主軸を考慮して動きを推定する。 我々のモデルは様々なオブジェクトをアニメートすることができ、既存のベンチマークでは従来のメソッドを大きく上回っています。
  論文  参考訳（メタデータ） (2021-04-22T18:53:56Z)
• Going beyond Free Viewpoint: Creating Animatable Volumetric Video of Human Performances [7.7824496657259665]
  本稿では,人間の演奏の高品質な映像コンテンツ作成のためのエンドツーエンドパイプラインを提案する。 セマンティックエンリッチメントと幾何学的アニメーション能力は、3Dデータに時間的一貫性を確立することによって達成される。 ポーズ編集では、キャプチャしたデータを可能な限り活用し、キャプチャしたフレームをキネマティックに変形して所望のポーズに適合させる。
  論文  参考訳（メタデータ） (2020-09-02T09:46:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。