論文の概要: SketchColour: Channel Concat Guided DiT-based Sketch-to-Colour Pipeline for 2D Animation

• arxiv url: http://arxiv.org/abs/2507.01586v1
• Date: Wed, 02 Jul 2025 10:57:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:23:00.15672
• Title: SketchColour: Channel Concat Guided DiT-based Sketch-to-Colour Pipeline for 2D Animation
• Title（参考訳）: SketchColour:2次元アニメーションのためのチャンネルConcatガイド付きDiTベースSketch-to-Colour Pipeline
• Authors: Bryan Constantine Sadihin, Michael Hua Wang, Shei Pern Chua, Hang Su,
• Abstract要約: 拡散トランスフォーマ(DiT)バックボーン上に構築された2次元アニメーションのための最初のスケッチ・ツー・カラーパイプラインであるSketchColourを紹介する。 従来のU-NetデノイザをDiTスタイルのアーキテクチャに置き換え、軽量チャネル接続アダプタを介してスケッチ情報を注入する。 本手法は,色の出血や物体の変形といった最小限の人工物を用いた時間的コヒーレントなアニメーションを生成する。
• 参考スコア（独自算出の注目度）: 7.2542954248246305
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The production of high-quality 2D animation is highly labor-intensive process, as animators are currently required to draw and color a large number of frames by hand. We present SketchColour, the first sketch-to-colour pipeline for 2D animation built on a diffusion transformer (DiT) backbone. By replacing the conventional U-Net denoiser with a DiT-style architecture and injecting sketch information via lightweight channel-concatenation adapters accompanied with LoRA finetuning, our method natively integrates conditioning without the parameter and memory bloat of a duplicated ControlNet, greatly reducing parameter count and GPU memory usage. Evaluated on the SAKUGA dataset, SketchColour outperforms previous state-of-the-art video colourization methods across all metrics, despite using only half the training data of competing models. Our approach produces temporally coherent animations with minimal artifacts such as colour bleeding or object deformation. Our code is available at: https://bconstantine.github.io/SketchColour .
• Abstract（参考訳）: 高品質な2Dアニメーションの制作は労働集約的なプロセスであり、現在アニメーターは大量のフレームを手作業で描き色付けする必要がある。 拡散トランスフォーマ(DiT)バックボーン上に構築された2次元アニメーションのための最初のスケッチ・ツー・カラーパイプラインであるSketchColourを紹介する。 従来のU-Net denoiserをDiTスタイルのアーキテクチャに置き換え,LoRAファインタニングを伴う軽量チャネル結合アダプタを介してスケッチ情報を注入することにより,重複したコントロールネットのパラメータやメモリの肥大を伴わない条件付けをネイティブに統合し,パラメータ数やGPUメモリ使用量を大幅に削減する。 SAKUGAデータセットに基づいて評価されたSketchColourは、競合するモデルのトレーニングデータの半分しか使用していないにも関わらず、すべてのメトリクスにわたって、これまでの最先端のビデオカラー化方法よりも優れています。 本手法は,色の出血や物体の変形といった最小限の人工物を用いた時間的コヒーレントなアニメーションを生成する。 私たちのコードは以下の通りです。

関連論文リスト

• AnimeColor: Reference-based Animation Colorization with Diffusion Transformers [9.64847784171945]
  アニメーションのカラー化はアニメーション制作において重要な役割を担っているが、既存の手法では色精度と時間的一貫性を達成するのに苦労している。 We propose textbfAnimeColor, a novel reference-based animation colorization framework using Diffusion Transformers (DiT)。 提案手法はスケッチシーケンスをDiTに基づくビデオ拡散モデルに統合し,スケッチ制御によるアニメーション生成を可能にする。
  論文  参考訳（メタデータ） (2025-07-27T07:25:08Z)
• MagicColor: Multi-Instance Sketch Colorization [44.72374445094054]
  MagicColorは、マルチインスタンススケッチのカラー化のための拡散ベースのフレームワークである。 本モデルでは,手作業による調整を一切行わず,カラー化プロセスの自動化を重要視する。
  論文  参考訳（メタデータ） (2025-03-21T08:53:14Z)
• AniDoc: Animation Creation Made Easier [54.97341104616779]
  我々の研究は、ますます強力なAIの可能性を生かして、2Dアニメーションを制作する際のコスト削減に重点を置いている。 AniDocはビデオラインアートのカラー化ツールとして登場し、自動的にスケッチシーケンスをカラーアニメーションに変換する。 本モデルでは,一致マッチングを明示的なガイダンスとして活用し,基準文字と各ラインアートフレームの変動に強いロバスト性を与える。
  論文  参考訳（メタデータ） (2024-12-18T18:59:59Z)
• Paint Bucket Colorization Using Anime Character Color Design Sheets [72.66788521378864]
  ネットワークがセグメント間の関係を理解することができる包摂的マッチングを導入する。 ネットワークのトレーニングパイプラインは、カラー化と連続フレームカラー化の両方のパフォーマンスを著しく向上させる。 ネットワークのトレーニングをサポートするために、PaintBucket-Characterというユニークなデータセットを開発しました。
  論文  参考訳（メタデータ） (2024-10-25T09:33:27Z)
• Learning Inclusion Matching for Animation Paint Bucket Colorization [76.4507878427755]
  ネットワークにセグメント間の包摂関係を理解するための,学習に基づく新たな包摂的マッチングパイプラインを導入する。 提案手法では,粗いカラーワープモジュールと包括的マッチングモジュールを統合した2段階のパイプラインを特徴とする。 ネットワークのトレーニングを容易にするため,PaintBucket-Characterと呼ばれるユニークなデータセットも開発した。
  論文  参考訳（メタデータ） (2024-03-27T08:32:48Z)
• Bridging the Gap: Sketch-Aware Interpolation Network for High-Quality Animation Sketch Inbetweening [58.09847349781176]
  我々は,新しい深層学習手法であるSketch-Aware Interpolation Network (SAIN)を提案する。 このアプローチには、領域レベルの対応、ストロークレベルの対応、ピクセルレベルのダイナミクスを定式化するマルチレベルガイダンスが組み込まれている。 マルチストリームのU-Transformerは、自己/クロスアテンション機構の統合により、これらのマルチレベルガイドを使用して、スケッチ間のインテンションパターンを特徴付けるように設計されている。
  論文  参考訳（メタデータ） (2023-08-25T09:51:03Z)
• Deep Animation Video Interpolation in the Wild [115.24454577119432]
  本研究では,アニメーション・ビデオ・コードに関する問題を初めて形式的に定義・検討する。 効果的なフレームワークであるAnimeInterpを2つの専用モジュールで粗密に提案します。 特にAnimeInterpは、野生のアニメーションシナリオに良好な知覚品質と堅牢性を示します。
  論文  参考訳（メタデータ） (2021-04-06T13:26:49Z)
• Self-Supervised Sketch-to-Image Synthesis [21.40315235087551]
  本研究では,s2i合成タスクを自己教師あり学習方式で検討する。 まず,一般RGBのみのデータセットに対して,ラインスケッチを効率的に合成する非監視手法を提案する。 次に,自己教師付きオートエンコーダ(ae)を提示し,スケッチやrgb画像からコンテンツ/スタイルの特徴を分離し,スケッチやrgb画像と一致したスタイルを合成する。
  論文  参考訳（メタデータ） (2020-12-16T22:14:06Z)
• Multi-Density Sketch-to-Image Translation Network [65.4028451067947]
  入力スケッチは、粗い物体の輪郭からマイクロ構造まで幅広い範囲をカバーすることができる。 本手法は,顔の編集,マルチモーダルなスケッチ・ツー・フォト変換,アニメのカラー化など,様々な用途のデータセットで検証されている。
  論文  参考訳（メタデータ） (2020-06-18T16:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。