論文の概要: AnimeColor: Reference-based Animation Colorization with Diffusion Transformers
- arxiv url: http://arxiv.org/abs/2507.20158v1
- Date: Sun, 27 Jul 2025 07:25:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-29 16:23:57.158905
- Title: AnimeColor: Reference-based Animation Colorization with Diffusion Transformers
- Title（参考訳）: AnimeColor:拡散変換器を用いた参照型アニメーションカラー化
- Authors: Yuhong Zhang, Liyao Wang, Han Wang, Danni Wu, Zuzeng Lin, Feng Wang, Li Song,
- Abstract要約: アニメーションのカラー化はアニメーション制作において重要な役割を担っているが、既存の手法では色精度と時間的一貫性を達成するのに苦労している。
We propose textbfAnimeColor, a novel reference-based animation colorization framework using Diffusion Transformers (DiT)。
提案手法はスケッチシーケンスをDiTに基づくビデオ拡散モデルに統合し,スケッチ制御によるアニメーション生成を可能にする。
- 参考スコア（独自算出の注目度）: 9.64847784171945
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Animation colorization plays a vital role in animation production, yet existing methods struggle to achieve color accuracy and temporal consistency. To address these challenges, we propose \textbf{AnimeColor}, a novel reference-based animation colorization framework leveraging Diffusion Transformers (DiT). Our approach integrates sketch sequences into a DiT-based video diffusion model, enabling sketch-controlled animation generation. We introduce two key components: a High-level Color Extractor (HCE) to capture semantic color information and a Low-level Color Guider (LCG) to extract fine-grained color details from reference images. These components work synergistically to guide the video diffusion process. Additionally, we employ a multi-stage training strategy to maximize the utilization of reference image color information. Extensive experiments demonstrate that AnimeColor outperforms existing methods in color accuracy, sketch alignment, temporal consistency, and visual quality. Our framework not only advances the state of the art in animation colorization but also provides a practical solution for industrial applications. The code will be made publicly available at \href{https://github.com/IamCreateAI/AnimeColor}{https://github.com/IamCreateAI/AnimeColor}.
- Abstract（参考訳）: アニメーションのカラー化はアニメーション制作において重要な役割を担っているが、既存の手法では色精度と時間的一貫性を達成するのに苦労している。
これらの課題に対処するために,Diffusion Transformers (DiT) を利用した新しい参照ベースのアニメーションカラー化フレームワークである \textbf{AnimeColor} を提案する。
提案手法はスケッチシーケンスをDiTに基づくビデオ拡散モデルに統合し,スケッチ制御によるアニメーション生成を可能にする。
セマンティックカラー情報をキャプチャするハイレベルカラーエクストラクタ(HCE)と、参照画像からきめ細かなカラー詳細を抽出する低レベルカラーガイド装置(LCG)の2つの重要なコンポーネントを紹介する。
これらのコンポーネントは、ビデオ拡散プロセスのガイドとして、相乗的に機能する。
さらに、参照画像の色情報の利用を最大化するために、多段階のトレーニング戦略を採用する。
大規模な実験により、AnimeColorは、色精度、スケッチアライメント、時間的一貫性、視覚的品質において、既存の手法よりも優れていたことが示されている。
我々のフレームワークは、アニメーションのカラー化の最先端だけでなく、産業アプリケーションにも実用的なソリューションを提供する。
コードは \href{https://github.com/IamCreateAI/AnimeColor}{https://github.com/IamCreateAI/AnimeColor} で公開される。
関連論文リスト
- Video Color Grading via Look-Up Table Generation [38.14578948732577]
本稿では,参照型ビデオカラーグレーティングフレームワークを提案する。
私たちのキーとなるアイデアは、参照シーンと入力ビデオ間の色属性アライメントのためのルックアップテーブル(LUT)を明示的に生成することです。
トレーニングの目的として、参照シーンのルック、ムード、感情などの高レベルな特徴は、入力ビデオと類似すべきである。
論文 参考訳（メタデータ） (2025-08-01T11:43:30Z) - SketchColour: Channel Concat Guided DiT-based Sketch-to-Colour Pipeline for 2D Animation [7.2542954248246305]
拡散トランスフォーマ(DiT)バックボーン上に構築された2次元アニメーションのための最初のスケッチ・ツー・カラーパイプラインであるSketchColourを紹介する。
従来のU-NetデノイザをDiTスタイルのアーキテクチャに置き換え、軽量チャネル接続アダプタを介してスケッチ情報を注入する。
本手法は,色の出血や物体の変形といった最小限の人工物を用いた時間的コヒーレントなアニメーションを生成する。
論文 参考訳（メタデータ） (2025-07-02T10:57:16Z) - Image Referenced Sketch Colorization Based on Animation Creation Workflow [28.281739343084993]
実世界のアニメーション制作にインスパイアされた拡散型フレームワークを提案する。
本手法では,スケッチをカラー参照として空間誘導とRGB画像を利用し,マスクを用いた参照画像から前景と背景を別々に抽出する。
この設計により、拡散モデルは前景や背景からの情報を独立して統合することができ、干渉を防止し、空間的アーティファクトを排除できる。
論文 参考訳（メタデータ） (2025-02-27T10:04:47Z) - AniDoc: Animation Creation Made Easier [54.97341104616779]
我々の研究は、ますます強力なAIの可能性を生かして、2Dアニメーションを制作する際のコスト削減に重点を置いている。
AniDocはビデオラインアートのカラー化ツールとして登場し、自動的にスケッチシーケンスをカラーアニメーションに変換する。
本モデルでは,一致マッチングを明示的なガイダンスとして活用し,基準文字と各ラインアートフレームの変動に強いロバスト性を与える。
論文 参考訳（メタデータ） (2024-12-18T18:59:59Z) - Paint Bucket Colorization Using Anime Character Color Design Sheets [72.66788521378864]
ネットワークがセグメント間の関係を理解することができる包摂的マッチングを導入する。
ネットワークのトレーニングパイプラインは、カラー化と連続フレームカラー化の両方のパフォーマンスを著しく向上させる。
ネットワークのトレーニングをサポートするために、PaintBucket-Characterというユニークなデータセットを開発しました。
論文 参考訳（メタデータ） (2024-10-25T09:33:27Z) - Learning Inclusion Matching for Animation Paint Bucket Colorization [76.4507878427755]
ネットワークにセグメント間の包摂関係を理解するための,学習に基づく新たな包摂的マッチングパイプラインを導入する。
提案手法では,粗いカラーワープモジュールと包括的マッチングモジュールを統合した2段階のパイプラインを特徴とする。
ネットワークのトレーニングを容易にするため,PaintBucket-Characterと呼ばれるユニークなデータセットも開発した。
論文 参考訳（メタデータ） (2024-03-27T08:32:48Z) - Control Color: Multimodal Diffusion-based Interactive Image Colorization [81.68817300796644]
Control Color (Ctrl Color) は、事前訓練された安定拡散(SD)モデルを利用する多モードカラー化手法である。
ユーザのストロークをエンコードして、局所的な色操作を正確に行うための効果的な方法を提案する。
また、カラーオーバーフローと不正確な色付けの長年の問題に対処するために、自己注意に基づく新しいモジュールとコンテンツ誘導型変形可能なオートエンコーダを導入する。
論文 参考訳（メタデータ） (2024-02-16T17:51:13Z) - BiSTNet: Semantic Image Prior Guided Bidirectional Temporal Feature
Fusion for Deep Exemplar-based Video Colorization [70.14893481468525]
本稿では,参照例の色を探索し,映像のカラー化を支援するために有効なBiSTNetを提案する。
まず、各フレームと参照例間の深い特徴空間における意味的対応を確立し、参照例からの色情報を探究する。
我々は,フレームのオブジェクト境界をモデル化するための意味情報を抽出する混合専門家ブロックを開発した。
論文 参考訳（メタデータ） (2022-12-05T13:47:15Z) - Deep Animation Video Interpolation in the Wild [115.24454577119432]
本研究では,アニメーション・ビデオ・コードに関する問題を初めて形式的に定義・検討する。
効果的なフレームワークであるAnimeInterpを2つの専用モジュールで粗密に提案します。
特にAnimeInterpは、野生のアニメーションシナリオに良好な知覚品質と堅牢性を示します。
論文 参考訳（メタデータ） (2021-04-06T13:26:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。