論文の概要: MagicColor: Multi-Instance Sketch Colorization

• arxiv url: http://arxiv.org/abs/2503.16948v1
• Date: Fri, 21 Mar 2025 08:53:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:56:48.315638
• Title: MagicColor: Multi-Instance Sketch Colorization
• Title（参考訳）: MagicColor: マルチインスタンスのスケッチカラー化
• Authors: Yinhan Zhang, Yue Ma, Bingyuan Wang, Qifeng Chen, Zeyu Wang,
• Abstract要約: MagicColorは、マルチインスタンススケッチのカラー化のための拡散ベースのフレームワークである。 本モデルでは,手作業による調整を一切行わず,カラー化プロセスの自動化を重要視する。
• 参考スコア（独自算出の注目度）: 44.72374445094054
• License:
• Abstract: We present \textit{MagicColor}, a diffusion-based framework for multi-instance sketch colorization. The production of multi-instance 2D line art colorization adheres to an industry-standard workflow, which consists of three crucial stages: the design of line art characters, the coloring of individual objects, and the refinement process. The artists are required to repeat the process of coloring each instance one by one, which is inaccurate and inefficient. Meanwhile, current generative methods fail to solve this task due to the challenge of multi-instance pair data collection. To tackle these challenges, we incorporate three technical designs to ensure precise character detail transcription and achieve multi-instance sketch colorization in a single forward. Specifically, we first propose the self-play training strategy to solve the lack of training data. Then we introduce an instance guider to feed the color of the instance. To achieve accurate color matching, we present fine-grained color matching with edge loss to enhance visual quality. Equipped with the proposed modules, MagicColor enables automatically transforming sketches into vividly-colored images with accurate consistency and multi-instance control. Experiments on our collected datasets show that our model outperforms existing methods regarding chromatic precision. Specifically, our model critically automates the colorization process with zero manual adjustments, so novice users can produce stylistically consistent artwork by providing reference instances and the original line art. Our code and additional details are available at https://yinhan-zhang.github.io/color
• Abstract（参考訳）: マルチインスタンススケッチのカラー化のための拡散ベースのフレームワークである \textit{MagicColor} を提案する。 マルチインスタンス2Dラインアートのカラー化は、ラインアートキャラクタの設計、個々のオブジェクトのカラー化、洗練プロセスという3つの重要な段階からなる業界標準のワークフローに準拠している。 アーティストは各インスタンスを1つずつ色づけするプロセスを繰り返しなければならないが、これは不正確で非効率である。 一方、現在の生成手法では、マルチインスタンスペアデータ収集の課題のため、この課題を解決できない。 これらの課題に対処するために,文字の詳細を正確に書き起こし,複数インスタンスのスケッチのカラー化を実現するために,3つの技術設計を取り入れた。 具体的には、まず、トレーニングデータの欠如を解決するためのセルフプレイトレーニング戦略を提案する。 次に、インスタンスの色をフィードするインスタンスガイドを導入します。 正確な色マッチングを実現するため,視覚的品質を高めるために,エッジロスによるきめ細かな色マッチングを提案する。 提案されたモジュールを装備したMagicColorは,スケッチを自動的に鮮やかな色のイメージに変換することで,正確な一貫性とマルチインスタンス制御を実現する。 収集したデータセットに対する実験により、我々のモデルは色精度に関する既存の手法よりも優れていることが示された。 特に,本モデルでは,手作業による調整をゼロにすることで,カラー化プロセスの自動化が重要となるため,初心者は参照インスタンスとオリジナルラインアートを提供することで,スタイリスティックに一貫したアートワークを作成できる。 私たちのコードと追加の詳細はhttps://yinhan-zhang.github.io/colorで確認できる。

関連論文リスト

• MangaNinja: Line Art Colorization with Precise Reference Following [84.2001766692797]
  MangaNinjiaは、ラインアートのカラー化に特化している。 文字の詳細を正確に書き起こすために、2つの思慮深い設計を取り入れる。 基準カラー画像と対象ラインアートとの対応学習を容易にするパッチシャッフルモジュールと、きめ細かい色マッチングを可能にするポイント駆動制御スキームとを備える。
  論文  参考訳（メタデータ） (2025-01-14T18:59:55Z)
• ColorFlow: Retrieval-Augmented Image Sequence Colorization [65.93834649502898]
  産業用途における画像シーケンスのカラー化に適した3段階拡散に基づくフレームワークを提案する。 IDごとの微調整や明示的なID埋め込み抽出を必要とする既存の手法とは異なり、我々は新たにRetrieval Augmented Colorization Pipelineを提案する。 パイプラインには、カラーアイデンティティ抽出のためのブランチと、カラー化のためのブランチという、デュアルブランチ設計も備えています。
  論文  参考訳（メタデータ） (2024-12-16T14:32:49Z)
• Paint Bucket Colorization Using Anime Character Color Design Sheets [72.66788521378864]
  ネットワークがセグメント間の関係を理解することができる包摂的マッチングを導入する。 ネットワークのトレーニングパイプラインは、カラー化と連続フレームカラー化の両方のパフォーマンスを著しく向上させる。 ネットワークのトレーニングをサポートするために、PaintBucket-Characterというユニークなデータセットを開発しました。
  論文  参考訳（メタデータ） (2024-10-25T09:33:27Z)
• Learning Inclusion Matching for Animation Paint Bucket Colorization [76.4507878427755]
  ネットワークにセグメント間の包摂関係を理解するための,学習に基づく新たな包摂的マッチングパイプラインを導入する。 提案手法では,粗いカラーワープモジュールと包括的マッチングモジュールを統合した2段階のパイプラインを特徴とする。 ネットワークのトレーニングを容易にするため,PaintBucket-Characterと呼ばれるユニークなデータセットも開発した。
  論文  参考訳（メタデータ） (2024-03-27T08:32:48Z)
• Control Color: Multimodal Diffusion-based Interactive Image Colorization [81.68817300796644]
  Control Color (Ctrl Color) は、事前訓練された安定拡散(SD)モデルを利用する多モードカラー化手法である。 ユーザのストロークをエンコードして、局所的な色操作を正確に行うための効果的な方法を提案する。 また、カラーオーバーフローと不正確な色付けの長年の問題に対処するために、自己注意に基づく新しいモジュールとコンテンツ誘導型変形可能なオートエンコーダを導入する。
  論文  参考訳（メタデータ） (2024-02-16T17:51:13Z)
• DiffColor: Toward High Fidelity Text-Guided Image Colorization with Diffusion Models [12.897939032560537]
  そこで我々はDiffColorと呼ばれる新しい手法を提案し、プロンプトテキストに条件付けされた鮮やかな色を復元する。 私たちはまず、CLIPベースのコントラスト損失を用いて色付き画像を生成するために、事前訓練されたテキスト・ツー・イメージ・モデルを微調整する。 次に、色付き画像とテキストプロンプトを整列した最適化されたテキスト埋め込みと、高品質な画像再構成を可能にする微調整拡散モデルを得る。 提案手法は,複数回の反復で鮮やかな多彩な色を生成でき,その構造と背景をそのままに保ちつつ,対象言語指導に適合させる。
  論文  参考訳（メタデータ） (2023-08-03T09:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。