論文の概要: MultiAnimate: A Unified Framework for Controllable Multi-Character Animation
- arxiv url: http://arxiv.org/abs/2607.13415v1
- Date: Wed, 15 Jul 2026 03:33:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.631955
- Title: MultiAnimate: A Unified Framework for Controllable Multi-Character Animation
- Title(参考訳): MultiAnimate: コントロール可能なマルチキャラクタアニメーションのための統一フレームワーク
- Abstract要約: MultiAnimateは、共有環境内で複数の文字の同時アニメーションを可能にするフレームワークである。
本稿では,複数の参照画像から外見を抽出できる識別特化参照ネットを提案する。
第二に、文字-目的結合問題に対処するために、ID対応のポーズエンコーダを実装した。
第3に,複雑な文字間インタラクションを扱うフレームワークの機能を強化する対話ガイドモジュールを導入する。
- 参考スコア(独自算出の注目度): 76.56813950148235
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in generative models and technological innovations have significantly addressed the fundamental challenges of character image animation. However, existing approaches predominantly focus on character animation from a single reference image, substantially limiting their applicability in scenarios such as multiple character interaction animation. To fill this gap, this paper introduces MultiAnimate, a comprehensive framework that enables concurrent animation of multiple characters within a shared environment while preserving both identity consistency and spatial relationships. The framework achieves these objectives through multiple well-designed mechanisms. First, we incorporate an identity-specific reference net that enables appearance extraction from multiple reference images, distinguishing MultiAnimate from existing approaches constrained to single reference inputs. Second, we implement an identity-aware pose encoder to address the character-pose binding challenge, wherein an attention mechanism enables the network to accurately differentiate and process multiple pose sequences during generation. Third, we introduce an interaction guider module that enhances the framework's capability to handle complex inter-character interactions by leveraging character-specific mask information, serving as an optional component that refines the pose sequences. Extensive experiments and ablation analyses demonstrate our framework's superiority in multiple character animation, particularly in scenarios involving complex motion sequences.
- Abstract(参考訳): 生成モデルと技術革新の最近の進歩は、キャラクタイメージアニメーションの根本的な課題に大きく取り組んできた。
しかし、既存のアプローチは、主に単一の参照画像からの文字アニメーションに焦点を当てており、複数の文字相互作用アニメーションのようなシナリオにおける適用性を著しく制限している。
このギャップを埋めるために,共有環境における複数の文字の同時アニメーションを実現するための総合的なフレームワークであるMultiAnimateを導入する。
このフレームワークは、複数のよく設計されたメカニズムによってこれらの目的を達成する。
まず、複数の参照画像から外観を抽出し、単一の参照入力に制約された既存のアプローチとMultiAnimateを区別する。
第二に、文字-目的のバインディング課題に対処するために、ID対応のポーズエンコーダを実装し、注意機構により、生成中に複数のポーズシーケンスを正確に区別し処理することができる。
第3に、文字固有のマスク情報を活用することにより、複雑な文字間相互作用を処理するフレームワークの機能を強化するインタラクションガイドモジュールを導入し、ポーズシーケンスを洗練するためのオプションコンポーネントとして機能する。
大規模な実験とアブレーション分析は、複雑な動き列を含むシナリオにおいて、複数のキャラクタアニメーションにおいて、我々のフレームワークの優位性を示す。
関連論文リスト
- GroupVideo: Multi-Identity Customized Text-to-Video Generation [53.89036635198158]
GroupVideoは、複数の個人写真を利用して、アイデンティティをカスタマイズしたビデオを生成する新しいフレームワークである。
GroupVideoにはマルチモーダルなアイデンティティアライメントが組み込まれており、セマンティックアライメントは動きの自然性を高めるセマンティックな知覚を導入している。
マルチIDビデオデータセットが不足しているため、我々は20,000のビデオの包括的な高品質なデータセットをキュレートした。
論文 参考訳(メタデータ) (2026-07-23T08:09:04Z) - AnyCrowd: Instance-Isolated Identity-Pose Binding for Arbitrary Multi-Character Animation [55.94507360511886]
我々は,任意の文字にスケール可能なトランスフォーマーベースのビデオ生成フレームワークであるAnyCrowdを提案する。
具体的には、まず、DiT処理に先立って文字インスタンスを独立してエンコードするIILR(Instance-Isolated Latent Representation)を導入し、遅延IDの絡み込みを防止する。
この不整合表現に基づいて、さらに、(i)インスタンス認識フォアグラウンドアテンション、(ii)背景中心の相互作用、(iii)世界背景調整に自己注意を分解することで、運転ポーズにアイデンティティを結合するトリステージデカップリングアテンション(TSDA)を提案する。
論文 参考訳(メタデータ) (2026-03-16T15:25:04Z) - MultiAnimate: Pose-Guided Image Animation Made Extensible [44.163219649465866]
Pose-Guided Human Image animationは、ポーズの連続によって駆動される参照キャラクタのリアルなビデオを合成することを目的としている。
映像生成のための現代拡散変換器上に構築されたマルチ文字画像アニメーションフレームワークを提案する。
提案手法は,既存の拡散ベースラインを超越したマルチキャラクタ画像アニメーションにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2026-02-25T05:06:58Z) - CoDance: An Unbind-Rebind Paradigm for Robust Multi-Subject Animation [95.46061771820412]
CoDanceはUnbind-Rebindフレームワークで、任意の被写体数、型、空間構成のアニメーションを単一のポーズシーケンスで指定できる。
そこで,テキストプロンプトからのセマンティックガイダンスと被写体マスクからの空間ガイダンスを利用して,学習した動作を意図した文字に指示するRebindモジュールを考案した。
CoDanceBenchと既存のデータセットの実験は、CoDanceがSOTAのパフォーマンスを達成し、多様な対象と空間的レイアウトにわたって顕著な一般化を示すことを示している。
論文 参考訳(メタデータ) (2026-01-16T08:53:09Z) - One-to-All Animation: Alignment-Free Character Animation and Image Pose Transfer [36.26551019954542]
高忠実度キャラクタアニメーションと画像ポーズ転送のためのフレームワークであるOne-to-All Animationを提案する。
空間的に不整合な参照を扱うために,自己監督型アウトペイントタスクとしてトレーニングを再構成する。
また、包括的アイデンティティ特徴抽出のための参照抽出器を設計する。
論文 参考訳(メタデータ) (2025-11-28T07:30:10Z) - Multi-Object Sketch Animation with Grouping and Motion Trajectory Priors [17.222592006593057]
GroupSketchは、複数オブジェクトの相互作用と複雑な動きを効果的に扱う、ベクトルスケッチアニメーションの新しい方法である。
提案手法は,高品質で時間的に一貫したアニメーションを生成する上で,既存の手法よりも優れている。
論文 参考訳(メタデータ) (2025-08-21T13:11:28Z) - Towards Multiple Character Image Animation Through Enhancing Implicit Decoupling [77.08568533331206]
文字画像アニメーションのための新しい多条件ガイドフレームワークを提案する。
我々は、モデルが暗黙的に疎結合する能力を高めるために、よく設計された入力モジュールをいくつか採用する。
本手法は,特に複雑な背景と複数の文字のシナリオにおいて,高品質なキャラクタアニメーションの生成に優れる。
論文 参考訳(メタデータ) (2024-06-05T08:03:18Z) - Zero-shot High-fidelity and Pose-controllable Character Animation [89.74818983864832]
イメージ・ツー・ビデオ(I2V)生成は、単一の画像からビデオシーケンスを作成することを目的としている。
既存のアプローチは、キャラクターの外観の不整合と細部保存の貧弱さに悩まされている。
文字アニメーションのための新しいゼロショットI2VフレームワークPoseAnimateを提案する。
論文 参考訳(メタデータ) (2024-04-21T14:43:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。