論文の概要: Image Referenced Sketch Colorization Based on Animation Creation Workflow
- arxiv url: http://arxiv.org/abs/2502.19937v1
- Date: Thu, 27 Feb 2025 10:04:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-28 14:56:16.115564
- Title: Image Referenced Sketch Colorization Based on Animation Creation Workflow
- Title（参考訳）: アニメーション生成ワークフローに基づく画像参照スケッチ色付け
- Authors: Dingkun Yan, Xinrui Wang, Zhuoru Li, Suguru Saito, Yusuke Iwasawa, Yutaka Matsuo, Jiaxian Guo,
- Abstract要約: 実世界のアニメーション制作にインスパイアされた拡散型フレームワークを提案する。
本手法では,スケッチをカラー参照として空間誘導とRGB画像を利用し,マスクを用いた参照画像から前景と背景を別々に抽出する。
この設計により、拡散モデルは前景や背景からの情報を独立して統合することができ、干渉を防止し、空間的アーティファクトを排除できる。
- 参考スコア（独自算出の注目度）: 28.281739343084993
- License:
- Abstract: Sketch colorization plays an important role in animation and digital illustration production tasks. However, existing methods still meet problems in that text-guided methods fail to provide accurate color and style reference, hint-guided methods still involve manual operation, and image-referenced methods are prone to cause artifacts. To address these limitations, we propose a diffusion-based framework inspired by real-world animation production workflows. Our approach leverages the sketch as the spatial guidance and an RGB image as the color reference, and separately extracts foreground and background from the reference image with spatial masks. Particularly, we introduce a split cross-attention mechanism with LoRA (Low-Rank Adaptation) modules. They are trained separately with foreground and background regions to control the corresponding embeddings for keys and values in cross-attention. This design allows the diffusion model to integrate information from foreground and background independently, preventing interference and eliminating the spatial artifacts. During inference, we design switchable inference modes for diverse use scenarios by changing modules activated in the framework. Extensive qualitative and quantitative experiments, along with user studies, demonstrate our advantages over existing methods in generating high-qualigy artifact-free results with geometric mismatched references. Ablation studies further confirm the effectiveness of each component. Codes are available at https://github.com/ tellurion-kanata/colorizeDiffusion.
- Abstract（参考訳）: スケッチのカラー化はアニメーションやデジタルイラスト制作において重要な役割を担っている。
しかし、既存の手法は、テキスト誘導法が正確な色とスタイルの参照を得られず、ヒント誘導法は手動操作を伴わず、画像参照法はアーティファクトを引き起こす傾向にある。
これらの制約に対処するために,実世界のアニメーション制作ワークフローに触発された拡散ベースのフレームワークを提案する。
提案手法では,スケッチを色基準として空間誘導とRGB画像を利用し,空間マスクを用いた参照画像から前景と背景を別々に抽出する。
特に,LoRA(Low-Rank Adaptation)モジュールを用いた分割型クロスアテンション機構を導入する。
それらはフォアグラウンドとバックグラウンドのリージョンで個別にトレーニングされ、クロスアテンションにおけるキーと値に対する対応する埋め込みを制御する。
この設計により、拡散モデルは前景や背景からの情報を独立して統合することができ、干渉を防止し、空間的アーティファクトを排除できる。
推論中は、フレームワーク内でアクティベートされたモジュールを変更することで、多様な利用シナリオの切り替え可能な推論モードを設計する。
厳密な定性的および定量的な実験は、ユーザスタディとともに、幾何学的ミスマッチした参照で高品質なアーティファクトフリーな結果を生成する上で、既存の手法よりも有利であることを示す。
アブレーション研究は各成分の有効性をさらに確認する。
コードはhttps://github.com/ tellurion-kanata/colorizeDiffusion.comで公開されている。
関連論文リスト
- MangaNinja: Line Art Colorization with Precise Reference Following [84.2001766692797]
MangaNinjiaは、ラインアートのカラー化に特化している。
文字の詳細を正確に書き起こすために、2つの思慮深い設計を取り入れる。
基準カラー画像と対象ラインアートとの対応学習を容易にするパッチシャッフルモジュールと、きめ細かい色マッチングを可能にするポイント駆動制御スキームとを備える。
論文 参考訳（メタデータ） (2025-01-14T18:59:55Z) - Paint Bucket Colorization Using Anime Character Color Design Sheets [72.66788521378864]
ネットワークがセグメント間の関係を理解することができる包摂的マッチングを導入する。
ネットワークのトレーニングパイプラインは、カラー化と連続フレームカラー化の両方のパフォーマンスを著しく向上させる。
ネットワークのトレーニングをサポートするために、PaintBucket-Characterというユニークなデータセットを開発しました。
論文 参考訳（メタデータ） (2024-10-25T09:33:27Z) - DiffUHaul: A Training-Free Method for Object Dragging in Images [78.93531472479202]
DiffUHaulと呼ばれるオブジェクトドラッグタスクのためのトレーニング不要な手法を提案する。
まず、各認知段階に注意マスキングを適用して、各生成を異なるオブジェクトにまたがってよりゆがみやすくする。
初期のデノナイジングステップでは、ソース画像とターゲット画像の注意特徴を補間して、新しいレイアウトを元の外観とスムーズに融合させる。
論文 参考訳（メタデータ） (2024-06-03T17:59:53Z) - Move Anything with Layered Scene Diffusion [77.45870343845492]
拡散サンプリング過程におけるシーン表現を最適化するために,SceneDiffusionを提案する。
我々の重要な洞察は、異なる空間配置のシーンレンダリングを共同でデノベートすることで、空間的ゆがみを得ることができることである。
生成したシーンは、移動、再サイズ、クローニング、レイヤーワイドな外観編集操作を含む、幅広い空間編集操作をサポートする。
論文 参考訳（メタデータ） (2024-04-10T17:28:16Z) - Learning Inclusion Matching for Animation Paint Bucket Colorization [76.4507878427755]
ネットワークにセグメント間の包摂関係を理解するための,学習に基づく新たな包摂的マッチングパイプラインを導入する。
提案手法では,粗いカラーワープモジュールと包括的マッチングモジュールを統合した2段階のパイプラインを特徴とする。
ネットワークのトレーニングを容易にするため,PaintBucket-Characterと呼ばれるユニークなデータセットも開発した。
論文 参考訳（メタデータ） (2024-03-27T08:32:48Z) - Control Color: Multimodal Diffusion-based Interactive Image Colorization [81.68817300796644]
Control Color (Ctrl Color) は、事前訓練された安定拡散(SD)モデルを利用する多モードカラー化手法である。
ユーザのストロークをエンコードして、局所的な色操作を正確に行うための効果的な方法を提案する。
また、カラーオーバーフローと不正確な色付けの長年の問題に対処するために、自己注意に基づく新しいモジュールとコンテンツ誘導型変形可能なオートエンコーダを導入する。
論文 参考訳（メタデータ） (2024-02-16T17:51:13Z) - ColorizeDiffusion: Adjustable Sketch Colorization with Reference Image and Text [5.675944597452309]
事前学習したCLIP画像エンコーダの異なる画像トークンを利用した画像誘導潜時拡散モデルの2つのバリエーションを紹介する。
重み付きテキスト入力を用いて結果の逐次的調整を行うための,対応する操作手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T22:46:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。