論文の概要: SCAIL-2: Unifying Controlled Character Animation with End-to-end In-Context Conditioning
- arxiv url: http://arxiv.org/abs/2606.10804v2
- Date: Wed, 10 Jun 2026 02:21:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 14:23:44.396406
- Title: SCAIL-2: Unifying Controlled Character Animation with End-to-end In-Context Conditioning
- Title（参考訳）: SCAIL-2: エンドツーエンドのIn-Contextコンディショニングによる制御された文字アニメーションの統合
- Abstract要約: 制御されたキャラクタアニメーションは、駆動シーケンスから参照キャラクタへの動作の転送を必要とする。
SCAIL-2は、これらの中間体をバイパスし、textbfend-to-endキャラクタアニメーションを実現するフレームワークである。
- 参考スコア（独自算出の注目度）: 12.196865711049561
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Controlled character animation requires transferring motion from a driving sequence to a reference character. Prior works heavily rely on intermediate representations, including pose skeletons to represent motion or masked background to represent environment, which inevitably leads to information loss. To address this, we present SCAIL-2, a framework that bypasses those intermediates and achieves \textbf{end-to-end} character animation. By directly concatenating driving videos to the sequence, the model can obtain all the required visual information from the input video. To address the lack of end-to-end data, we unify sub-tasks of character animation with decoupled conditions and then curate a pipeline to synthesize MotionPair-60K, an end-to-end motion transfer dataset containing heterogeneous tasks of character animation. To achieve the unification, we utilize in-context mask conditioning and mode-specific RoPE as soft guidance beyond textual instructions and raw visual information. To address synthetic discrepancy in detailed regions, we propose Bias-Aware DPO to construct preference items to mitigate the errors. Extensive experiments demonstrate that our method substantially outperforms existing state-of-the-art approaches in various character animation tasks. A large subset of synthetic data as well as model weights will be released at our project page: https://teal024.github.io/SCAIL-2/.
- Abstract（参考訳）: 制御されたキャラクタアニメーションは、駆動シーケンスから参照キャラクタへの動作の転送を必要とする。
以前の作品では、動きを表すポーズスケルトンや環境を表すマスクされた背景など、中間表現に大きく依存しており、必然的に情報損失につながる。
そこで本研究では,これらの中間体をバイパスし,textbf{end-to-end}文字アニメーションを実現するSCAIL-2を提案する。
ドライブビデオとシーケンスを直接結合することにより、モデルが入力ビデオから必要な視覚情報をすべて得ることができる。
エンド・ツー・エンドデータの欠如に対処するため、キャラクタアニメーションのサブタスクを分離した条件で統一し、パイプラインをキュレートしてMotionPair-60Kを合成する。
この統合を実現するために,テキスト命令や生の視覚情報を超えたソフトガイダンスとして,テキスト内マスク条件とモード固有のRoPEを利用する。
詳細な領域における合成不一致に対処するため,Bias-Aware DPOを提案する。
広範囲な実験により,本手法は様々なキャラクターアニメーションタスクにおいて,既存の最先端手法よりも大幅に優れていることが示された。
合成データの大規模なサブセットとモデルウェイトは、プロジェクトページでリリースされます。
関連論文リスト
- RASA: Disentangled Spatial-Motional Priors for Cross-Identity Character Animation [85.41886214825894]
クロスアイデンティティキャラクタアニメーションは、基準画像からターゲットアイデンティティを駆動し、駆動ビデオからソースキャラクタの動きに従うことを目的としている。
本稿では,移動制御から空間マッピングを分離するフレームワークであるReference-Aware Structure Alignment (RASA)を紹介する。
我々の研究は、不整合空間と動きの先行がロバストなキャラクターアニメーションの鍵となることを示す新しいパラダイムを確立する。
論文 参考訳（メタデータ） (2026-08-28T11:36:44Z) - Wan-Animate-2: Pushing the Application Boundaries of Character Animation [26.88580952829003]
Wan-Animate-2は、Diffusion Transformerで動画を直接消費するエンドツーエンドのキャラクターアニメーションフレームワークである。
本アーキテクチャは,中間運動抽出器を完全に取り除き,動きの忠実度とアイデンティティの保存性が向上する。
We present Wan-Animate-2-Lite, a efficientvariant that inference latency to real-time thresholds。
論文 参考訳（メタデータ） (2026-08-06T13:13:10Z) - Controllable Complex Human Motion Video Generation via Text-to-Skeleton Cascades [32.12940211414945]
両制約に対処する2段階のカスケードフレームワークを提案する。
自動回帰テキスト-スケルトンモデルでは、自然言語記述から2次元ポーズシーケンスを生成する。
ポーズ条件付きビデオ拡散モデルは、参照画像と生成されたスケルトンシーケンスからビデオを合成する。
論文 参考訳（メタデータ） (2026-03-09T07:04:29Z) - IM-Animation: An Implicit Motion Representation for Identity-decoupled Character Animation [58.297199313494]
インプシット法は、動画から直接動作の意味をキャプチャするが、動作と外観の絡み合いやアイデンティティの漏洩に悩まされる。
本稿では,フレームごとの動作をコンパクトな1次元モーショントークンに圧縮する新しい暗黙の動作表現を提案する。
本手法では,3段階のトレーニング戦略を用いて,トレーニング効率を高め,高い忠実性を確保する。
論文 参考訳（メタデータ） (2026-02-07T11:17:20Z) - AnyMoLe: Any Character Motion In-betweening Leveraging Video Diffusion Models [5.224806515926022]
外部データを持たない任意の文字に対するフレーム間の動きを生成する新しい手法であるAnyMoLeを導入する。
本手法では,文脈理解を高めるために2段階のフレーム生成プロセスを用いる。
論文 参考訳（メタデータ） (2025-03-11T13:28:59Z) - Animate Anyone 2: High-Fidelity Character Image Animation with Environment Affordance [30.225654002561512]
Animate Anyone 2を紹介する。
本研究では,文字と環境の関係をより効果的に特徴づける形状に依存しないマスク戦略を提案する。
また、モデルがより多様な動きパターンを扱えるように、ポーズ変調戦略を導入する。
論文 参考訳（メタデータ） (2025-02-10T04:20:11Z) - Zero-shot High-fidelity and Pose-controllable Character Animation [89.74818983864832]
イメージ・ツー・ビデオ(I2V)生成は、単一の画像からビデオシーケンスを作成することを目的としている。
既存のアプローチは、キャラクターの外観の不整合と細部保存の貧弱さに悩まされている。
文字アニメーションのための新しいゼロショットI2VフレームワークPoseAnimateを提案する。
論文 参考訳（メタデータ） (2024-04-21T14:43:31Z) - AnimateZoo: Zero-shot Video Generation of Cross-Species Animation via Subject Alignment [64.02822911038848]
動物アニメーションを作成するため, ゼロショット拡散に基づくビデオジェネレータAnimateZooを提案する。
AnimateZooで使われる主要なテクニックは、2つのステップを含む被写体アライメントです。
我々のモデルは、正確な動き、一貫した外観、高忠実度フレームを特徴とする映像を生成することができる。
論文 参考訳（メタデータ） (2024-04-07T12:57:41Z) - Appearance-Based Refinement for Object-Centric Motion Segmentation [85.2426540999329]
本稿では,ビデオストリームの時間的一貫性を利用して,不正確なフローベース提案を補正する外観に基づく改善手法を提案する。
提案手法では,高精度なフロー予測マスクを模範として,シーケンスレベルの選択機構を用いる。
パフォーマンスは、DAVIS、YouTube、SegTrackv2、FBMS-59など、複数のビデオセグメンテーションベンチマークで評価されている。
論文 参考訳（メタデータ） (2023-12-18T18:59:51Z) - Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation [27.700371215886683]
拡散モデルは、その堅牢な生成能力のために、視覚世代研究の主流となっている。
本稿では,キャラクターアニメーションに適した新しいフレームワークを提案する。
トレーニングデータを拡張することにより、任意の文字をアニメーション化することが可能となり、他の画像とビデオの手法と比較して、文字アニメーションにおいて優れた結果が得られる。
論文 参考訳（メタデータ） (2023-11-28T12:27:15Z) - Text-driven Video Prediction [83.04845684117835]
テキスト駆動型ビデオ予測(TVP)と呼ばれる新しいタスクを提案する。
本課題は,最初のフレームとテキストキャプションを入力として,以下のフレームを合成することを目的とする。
進行動作情報に対する因果推論におけるテキストの能力を調べるため、我々のTVPフレームワークはテキスト推論モジュール(TIM)を含む。
論文 参考訳（メタデータ） (2022-10-06T12:43:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。