論文の概要: AnimeDiffusion: Anime Face Line Drawing Colorization via Diffusion Models

• arxiv url: http://arxiv.org/abs/2303.11137v1
• Date: Mon, 20 Mar 2023 14:15:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 15:08:25.788162
• Title: AnimeDiffusion: Anime Face Line Drawing Colorization via Diffusion Models
• Title（参考訳）: animediffusion:拡散モデルによるアニメのフェイスライン描画色
• Authors: Yu Cao, Xiangqiao Meng, P.Y. Mok, Xueting Liu, Tong-Yee Lee, Ping Li
• Abstract要約: 本稿では,アニメの顔線描画色を自動生成する拡散モデルを用いたAnimeDiffusionという新しい手法を提案する。 我々は31696のトレーニングデータと579のテストデータを含むアニメの顔線描画カラー化ベンチマークデータセットを実行する。 アニメフェース描画のカラー化において,AnimeDiffusionは最先端のGANモデルよりも優れることを示す。
• 参考スコア（独自算出の注目度）: 24.94532405404846
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is a time-consuming and tedious work for manually colorizing anime line drawing images, which is an essential stage in cartoon animation creation pipeline. Reference-based line drawing colorization is a challenging task that relies on the precise cross-domain long-range dependency modelling between the line drawing and reference image. Existing learning methods still utilize generative adversarial networks (GANs) as one key module of their model architecture. In this paper, we propose a novel method called AnimeDiffusion using diffusion models that performs anime face line drawing colorization automatically. To the best of our knowledge, this is the first diffusion model tailored for anime content creation. In order to solve the huge training consumption problem of diffusion models, we design a hybrid training strategy, first pre-training a diffusion model with classifier-free guidance and then fine-tuning it with image reconstruction guidance. We find that with a few iterations of fine-tuning, the model shows wonderful colorization performance, as illustrated in Fig. 1. For training AnimeDiffusion, we conduct an anime face line drawing colorization benchmark dataset, which contains 31696 training data and 579 testing data. We hope this dataset can fill the gap of no available high resolution anime face dataset for colorization method evaluation. Through multiple quantitative metrics evaluated on our dataset and a user study, we demonstrate AnimeDiffusion outperforms state-of-the-art GANs-based models for anime face line drawing colorization. We also collaborate with professional artists to test and apply our AnimeDiffusion for their creation work. We release our code on https://github.com/xq-meng/AnimeDiffusion.
• Abstract（参考訳）: アニメアニメの制作パイプラインにおいて,アニメの線画を手作業で彩色する作業は,時間と手間のかかる作業である。 参照ベースのライン描画カラー化は、ライン描画と参照画像間の正確なクロスドメイン長距離依存性モデリングに依存する、難しいタスクである。 既存の学習手法では、GANをモデルアーキテクチャの1つの重要なモジュールとして用いている。 本稿では,アニメの顔線描画色を自動生成する拡散モデルを用いて,アニメ拡散という新しい手法を提案する。 私たちの知る限りでは、これはアニメコンテンツ作成に適した最初の拡散モデルです。 拡散モデルの大規模な訓練消費問題を解決するために,まず拡散モデルに分類自由指導を施し,画像再構成指導を施した微調整を行うハイブリッドトレーニング戦略を設計する。 図1に示すように、微調整を数回繰り返すと、このモデルは素晴らしい色付け性能を示します。 アニメジフフュージョンのトレーニングには,31696のトレーニングデータと579のテストデータを含む,アニメのフェイスライン描画カラー化ベンチマークデータセットを実行する。 このデータセットが、カラー化手法評価のための高解像度アニメフェイスデータセットのギャップを埋められることを願っている。 データセットとユーザスタディに基づいて評価された複数の定量的指標を用いて、アニメの顔線描画色付けのための最先端のGANモデルよりも優れたパフォーマンスを示す。 また、プロのアーティストとコラボレーションして、AnimeDiffusionを制作作業に利用しています。 私たちはコードをhttps://github.com/xq-meng/animediffusionでリリースします。

関連論文リスト

• PrefPaint: Aligning Image Inpainting Diffusion Model with Human Preference [62.72779589895124]
  画像インペイントのための拡散モデルと人間の審美基準との整合性を、強化学習フレームワークを用いて初めて試みる。 我々は、人間の好みを付加した約51,000枚の画像からなるデータセットで報酬モデルを訓練する。 画像拡張や3次元再構成などの下流タスクの塗装比較実験により, 提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-10-29T11:49:39Z)
• Paint Bucket Colorization Using Anime Character Color Design Sheets [72.66788521378864]
  ネットワークがセグメント間の関係を理解することができる包摂的マッチングを導入する。 ネットワークのトレーニングパイプラインは、カラー化と連続フレームカラー化の両方のパフォーマンスを著しく向上させる。 ネットワークのトレーニングをサポートするために、PaintBucket-Characterというユニークなデータセットを開発しました。
  論文  参考訳（メタデータ） (2024-10-25T09:33:27Z)
• FreeSeg-Diff: Training-Free Open-Vocabulary Segmentation with Diffusion Models [56.71672127740099]
  我々は,閉鎖語彙データセットのトレーニングモデルによって伝統的に解決されるイメージセグメンテーションの課題に焦点をあてる。 我々は、ゼロショットのオープン語彙セグメンテーションのために、異なる、比較的小さなオープンソース基盤モデルを活用している。 当社のアプローチ(別名FreeSeg-Diff)は、トレーニングに依存しないもので、Pascal VOCとCOCOデータセットの両方で多くのトレーニングベースのアプローチより優れています。
  論文  参考訳（メタデータ） (2024-03-29T10:38:25Z)
• Learning Inclusion Matching for Animation Paint Bucket Colorization [76.4507878427755]
  ネットワークにセグメント間の包摂関係を理解するための,学習に基づく新たな包摂的マッチングパイプラインを導入する。 提案手法では,粗いカラーワープモジュールと包括的マッチングモジュールを統合した2段階のパイプラインを特徴とする。 ネットワークのトレーニングを容易にするため,PaintBucket-Characterと呼ばれるユニークなデータセットも開発した。
  論文  参考訳（メタデータ） (2024-03-27T08:32:48Z)
• APISR: Anime Production Inspired Real-World Anime Super-Resolution [15.501488335115269]
  我々は,手描きフレームの繰り返し使用により,映像ネットワークやデータセットはアニメSRでは不要であると主張している。 代わりに,ビデオソースから最も圧縮され,最も情報に富んだフレームを選択することにより,アニメ画像収集パイプラインを提案する。 提案手法は,公開ベンチマークによる広範囲な実験により評価され,最先端のアニメデータセット学習手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-03T19:52:43Z)
• Diffutoon: High-Resolution Editable Toon Shading via Diffusion Models [25.903156244291168]
  トーンシェーディング(Toon Shading)は、アニメーションの非フォトリアリスティックレンダリングタスクの一種である。 Diffutoonは、鮮明で高解像度で拡張された動画をアニメ形式でレンダリングすることができる。
  論文  参考訳（メタデータ） (2024-01-29T15:21:37Z)
• Fine-Tuning InstructPix2Pix for Advanced Image Colorization [3.4975669723257035]
  本稿では,InstructPix2Pixモデルの微調整によるヒト画像のカラー化手法を提案する。 IMDB-WIKIデータセットを用いてモデルを微調整し、ChatGPTが生成する多様なカラー化プロンプトと白黒画像をペアリングする。 微調整後,本モデルでは,元となるInstructPix2Pixモデルを定量的に比較した。
  論文  参考訳（メタデータ） (2023-12-08T01:36:49Z)
• Deep Geometrized Cartoon Line Inbetweening [98.35956631655357]
  インベントワイニングは、2つの白黒線図の間の中間フレームを生成する。 画像全体のマッチングとワープに依存する既存のフレームメソッドは、ラインインテワイニングには適していない。 本稿では,AnimeInbetを提案する。これは幾何学的な線描画をエンドポイントにジオメトリし,グラフ融合問題としてインベントワイニングタスクを再構成する。 本手法は,線画の細部と細部を包含しながら,線画の細部と特異な構造を効果的に捉えることができる。
  論文  参考訳（メタデータ） (2023-09-28T17:50:05Z)
• Improved Diffusion-based Image Colorization via Piggybacked Models [19.807766482434563]
  既存の強力なT2I拡散モデルに基づく色付けモデルを提案する。 拡散誘導器は、潜伏拡散モデルの事前訓練された重みを組み込むように設計されている。 次に、輝度認識VQVAEは、所定のグレースケール画像に画素完全アライメントされた色付き結果を生成する。
  論文  参考訳（メタデータ） (2023-04-21T16:23:24Z)
• Learning 3D Photography Videos via Self-supervised Diffusion on Single Images [105.81348348510551]
  3D写真は、静止画を3D視覚効果のあるビデオにレンダリングする。 既存のアプローチは通常、まず単眼深度推定を行い、次に様々な視点で入力フレームを後続のフレームに描画する。 我々は、入力オブジェクトの空間と時間を拡張する、新しいタスク、out-animationを提案する。
  論文  参考訳（メタデータ） (2023-02-21T16:18:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。