論文の概要: InstanceAnimator: Multi-Instance Sketch Video Colorization

• arxiv url: http://arxiv.org/abs/2603.25357v1
• Date: Thu, 26 Mar 2026 12:01:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:48.274943
• Title: InstanceAnimator: Multi-Instance Sketch Video Colorization
• Title（参考訳）: InstanceAnimator: マルチインスタンスのSketchビデオカラー化
• Authors: Yinhan Zhang, Yue Ma, Bingyuan Wang, Kunyu Feng, Yeying Jin, Qifeng Chen, Anyi Rao, Zeyu Wang,
• Abstract要約: マルチスタンススケッチ映像のカラー化のための新しい拡散トランスフォーマフレームワークであるInstanceAnimatorを提案する。 既存の方法は、単一の参照フレームに大きく依存することによる、柔軟性のないユーザコントロール、インスタンスの制御性の低下、きめ細かい領域での詳細な忠実度低下の3つの限界に悩まされている。 インスタンスAnimatorは、ユーザ制御の強化、視覚的品質の向上、インスタンスの一貫性の向上により、優れたマルチインスタンスカラー化を実現する。
• 参考スコア（独自算出の注目度）: 54.60341071606437
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose InstanceAnimator, a novel Diffusion Transformer framework for multi-instance sketch video colorization. Existing methods suffer from three core limitations: inflexible user control due to heavy reliance on single reference frames, poor instance controllability leading to misalignment in multi-character scenarios, and degraded detail fidelity in fine-grained regions. To address these challenges, we introduce three corresponding innovations. First, a Canvas Guidance Condition eliminates workflow fragmentation by allowing free placement of reference elements and background, enabling unprecedented user flexibility. Second, an Instance Matching Mechanism resolves misalignment by integrating instance features with the sketches, ensuring precise control over multiple characters. Third, an Adaptive Decoupled Control Module enhances detail fidelity by injecting semantic features from characters, backgrounds, and text conditions into the diffusion process. Extensive experiments demonstrate that InstanceAnimator achieves superior multi-instance colorization with enhanced user control, high visual quality, and strong instance consistency.
• Abstract（参考訳）: マルチスタンススケッチ映像のカラー化のための新しい拡散トランスフォーマフレームワークであるInstanceAnimatorを提案する。 既存の手法では、単一の参照フレームに大きく依存しているため、柔軟性のないユーザコントロール、マルチキャラクタシナリオのミスアライメントにつながるインスタンス制御の貧弱、きめ細かい領域でのディテールの忠実度低下の3つの制限が課されている。 これらの課題に対処するために、私たちは3つのイノベーションを紹介します。 まず、Canvas Guidance Conditionは、参照要素とバックグラウンドを自由に配置することでワークフローの断片化をなくし、前例のないユーザの柔軟性を可能にします。 第二に、インスタンスマッチングメカニズムは、スケッチにインスタンス機能を統合することで、ミスアライメントを解決し、複数の文字を正確に制御する。 第三に、Adaptive Decoupled Control Moduleは、文字、背景、およびテキスト条件からのセマンティックな特徴を拡散プロセスに注入することで、詳細性を高める。 広範な実験により、インスタンスAnimatorは、ユーザコントロールの強化、高い視覚的品質、強力なインスタンス一貫性を備えた、優れたマルチインスタンスカラー化を実現している。

関連論文リスト

• Tri-Prompting: Video Diffusion with Unified Control over Scene, Subject, and Motion [69.64308172688368]
  Tri-Promptingは、シーン構成、マルチビューの主題整合性、モーションコントロールを統合する統合フレームワークである。 その結果,Tri-Promptingは多視点被写体識別,3次元整合性,運動精度においてPhantomやDaSなどの特殊ベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2026-03-16T17:59:05Z)
• Canvas-to-Image: Compositional Image Generation with Multimodal Controls [51.44122945214702]
  Canvas-to-Imageは、異種制御を単一のキャンバスインターフェースに統合する統合フレームワークである。 私たちのキーとなるアイデアは、多様な制御信号を単一の合成キャンバス画像にエンコードすることで、モデルが統合された視覚空間的推論を解釈できるようにすることです。
  論文  参考訳（メタデータ） (2025-11-26T18:59:56Z)
• Color3D: Controllable and Consistent 3D Colorization with Personalized Colorizer [58.94607850223466]
  静的な3Dシーンと動的な3Dシーンの両方をモノクロ入力から色づけする、高度に適応可能なフレームワークであるColor3Dを提案する。 当社のアプローチは、クロスビューとクロスタイムの一貫性を確保しながら、カラー多様性とステアビリティを維持できます。
  論文  参考訳（メタデータ） (2025-10-11T10:21:19Z)
• MultiCOIN: Multi-Modal COntrollable Video INbetweening [46.37499813275259]
  マルチモーダル制御を実現するMultiCOINを紹介した。 DiTとマルチモーダルコントロールの互換性を確保するため、すべてのモーションコントロールを共通スパース表現にマッピングする。 また,モデルがマルチモーダル制御を円滑に学習できるように,段階的な学習戦略を提案する。
  論文  参考訳（メタデータ） (2025-10-09T17:59:27Z)
• Ctrl-VI: Controllable Video Synthesis via Variational Inference [62.79016502243712]
  Ctrl-VIは、特定の要素に対して高い制御性を持つサンプルを生成するビデオ合成法である。 本手法は, 従来よりも制御性, 多様性, 3次元の整合性を向上したサンプルを生成する。
  論文  参考訳（メタデータ） (2025-10-09T01:48:16Z)
• Generating Compositional Scenes via Text-to-image RGBA Instance Generation [82.63805151691024]
  テキストから画像への拡散生成モデルは、退屈な急進的なエンジニアリングを犠牲にして高品質な画像を生成することができる。 本稿では, 粒度制御, 柔軟性, 相互作用性を考慮した新しい多段階生成パラダイムを提案する。 実験の結果,RGBA拡散モデルでは,オブジェクト属性を正確に制御した多種多様な高品質なインスタンスを生成できることがわかった。
  論文  参考訳（メタデータ） (2024-11-16T23:44:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。