論文の概要: AnimeDiffusion: Anime Face Line Drawing Colorization via Diffusion
Models
- arxiv url: http://arxiv.org/abs/2303.11137v1
- Date: Mon, 20 Mar 2023 14:15:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-21 15:08:25.788162
- Title: AnimeDiffusion: Anime Face Line Drawing Colorization via Diffusion
Models
- Title(参考訳): animediffusion:拡散モデルによるアニメのフェイスライン描画色
- Authors: Yu Cao, Xiangqiao Meng, P.Y. Mok, Xueting Liu, Tong-Yee Lee, Ping Li
- Abstract要約: 本稿では,アニメの顔線描画色を自動生成する拡散モデルを用いたAnimeDiffusionという新しい手法を提案する。
我々は31696のトレーニングデータと579のテストデータを含むアニメの顔線描画カラー化ベンチマークデータセットを実行する。
アニメフェース描画のカラー化において,AnimeDiffusionは最先端のGANモデルよりも優れることを示す。
- 参考スコア(独自算出の注目度): 24.94532405404846
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is a time-consuming and tedious work for manually colorizing anime line
drawing images, which is an essential stage in cartoon animation creation
pipeline. Reference-based line drawing colorization is a challenging task that
relies on the precise cross-domain long-range dependency modelling between the
line drawing and reference image. Existing learning methods still utilize
generative adversarial networks (GANs) as one key module of their model
architecture. In this paper, we propose a novel method called AnimeDiffusion
using diffusion models that performs anime face line drawing colorization
automatically. To the best of our knowledge, this is the first diffusion model
tailored for anime content creation. In order to solve the huge training
consumption problem of diffusion models, we design a hybrid training strategy,
first pre-training a diffusion model with classifier-free guidance and then
fine-tuning it with image reconstruction guidance. We find that with a few
iterations of fine-tuning, the model shows wonderful colorization performance,
as illustrated in Fig. 1. For training AnimeDiffusion, we conduct an anime face
line drawing colorization benchmark dataset, which contains 31696 training data
and 579 testing data. We hope this dataset can fill the gap of no available
high resolution anime face dataset for colorization method evaluation. Through
multiple quantitative metrics evaluated on our dataset and a user study, we
demonstrate AnimeDiffusion outperforms state-of-the-art GANs-based models for
anime face line drawing colorization. We also collaborate with professional
artists to test and apply our AnimeDiffusion for their creation work. We
release our code on https://github.com/xq-meng/AnimeDiffusion.
- Abstract(参考訳): アニメアニメの制作パイプラインにおいて,アニメの線画を手作業で彩色する作業は,時間と手間のかかる作業である。
参照ベースのライン描画カラー化は、ライン描画と参照画像間の正確なクロスドメイン長距離依存性モデリングに依存する、難しいタスクである。
既存の学習手法では、GANをモデルアーキテクチャの1つの重要なモジュールとして用いている。
本稿では,アニメの顔線描画色を自動生成する拡散モデルを用いて,アニメ拡散という新しい手法を提案する。
私たちの知る限りでは、これはアニメコンテンツ作成に適した最初の拡散モデルです。
拡散モデルの大規模な訓練消費問題を解決するために,まず拡散モデルに分類自由指導を施し,画像再構成指導を施した微調整を行うハイブリッドトレーニング戦略を設計する。
図1に示すように、微調整を数回繰り返すと、このモデルは素晴らしい色付け性能を示します。
アニメジフフュージョンのトレーニングには,31696のトレーニングデータと579のテストデータを含む,アニメのフェイスライン描画カラー化ベンチマークデータセットを実行する。
このデータセットが、カラー化手法評価のための高解像度アニメフェイスデータセットのギャップを埋められることを願っている。
データセットとユーザスタディに基づいて評価された複数の定量的指標を用いて、アニメの顔線描画色付けのための最先端のGANモデルよりも優れたパフォーマンスを示す。
また、プロのアーティストとコラボレーションして、AnimeDiffusionを制作作業に利用しています。
私たちはコードをhttps://github.com/xq-meng/animediffusionでリリースします。
関連論文リスト
- Direct Consistency Optimization for Compositional Text-to-Image
Personalization [73.94505688626651]
テキスト・ツー・イメージ(T2I)拡散モデルは、いくつかの個人画像に微調整された場合、高い一貫性で視覚を生成することができる。
本稿では,参照画像との整合性を最大化しつつ,事前学習したモデルからの偏差を補償することにより,T2Iモデルを微調整する。
論文 参考訳(メタデータ) (2024-02-19T09:52:41Z) - Diffutoon: High-Resolution Editable Toon Shading via Diffusion Models [25.903156244291168]
トーンシェーディング(Toon Shading)は、アニメーションの非フォトリアリスティックレンダリングタスクの一種である。
Diffutoonは、鮮明で高解像度で拡張された動画をアニメ形式でレンダリングすることができる。
論文 参考訳(メタデータ) (2024-01-29T15:21:37Z) - Fine-Tuning InstructPix2Pix for Advanced Image Colorization [3.4975669723257035]
本稿では,InstructPix2Pixモデルの微調整によるヒト画像のカラー化手法を提案する。
IMDB-WIKIデータセットを用いてモデルを微調整し、ChatGPTが生成する多様なカラー化プロンプトと白黒画像をペアリングする。
微調整後,本モデルでは,元となるInstructPix2Pixモデルを定量的に比較した。
論文 参考訳(メタデータ) (2023-12-08T01:36:49Z) - Portrait Diffusion: Training-free Face Stylization with
Chain-of-Painting [64.43760427752532]
顔のスタイリゼーション(face stylization)とは、顔の特定の肖像画スタイルへの変換を指す。
現在の手法では、ファインチューン事前訓練された生成モデルに対するサンプルベースの適応アプローチが必要とされる。
本稿では,ポートレートディフュージョン(Portrait Diffusion)という,トレーニング不要な顔スタイル化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-03T06:48:35Z) - Deep Geometrized Cartoon Line Inbetweening [98.35956631655357]
インベントワイニングは、2つの白黒線図の間の中間フレームを生成する。
画像全体のマッチングとワープに依存する既存のフレームメソッドは、ラインインテワイニングには適していない。
本稿では,AnimeInbetを提案する。これは幾何学的な線描画をエンドポイントにジオメトリし,グラフ融合問題としてインベントワイニングタスクを再構成する。
本手法は,線画の細部と細部を包含しながら,線画の細部と特異な構造を効果的に捉えることができる。
論文 参考訳(メタデータ) (2023-09-28T17:50:05Z) - DiffSketching: Sketch Control Image Synthesis with Diffusion Models [10.172753521953386]
スケッチ・ツー・イメージ合成のためのディープラーニングモデルは、視覚的な詳細なしに歪んだ入力スケッチを克服する必要がある。
我々のモデルは、クロスドメイン制約を通じてスケッチにマッチし、画像合成をより正確に導くために分類器を使用する。
我々のモデルは、生成品質と人的評価の点でGANベースの手法に勝ることができ、大規模なスケッチ画像データセットに依存しない。
論文 参考訳(メタデータ) (2023-05-30T07:59:23Z) - LLM-grounded Diffusion: Enhancing Prompt Understanding of Text-to-Image
Diffusion Models with Large Language Models [62.75006608940132]
本研究は,テキストから画像への拡散モデルにおいて,迅速な理解能力を高めることを提案する。
提案手法は,新たな2段階プロセスにおいて,事前訓練された大規模言語モデルを用いてグラウンドド生成を行う。
提案手法は,画像の正確な生成において,ベース拡散モデルといくつかの強いベースラインを著しく上回る。
論文 参考訳(メタデータ) (2023-05-23T03:59:06Z) - Improved Diffusion-based Image Colorization via Piggybacked Models [19.807766482434563]
既存の強力なT2I拡散モデルに基づく色付けモデルを提案する。
拡散誘導器は、潜伏拡散モデルの事前訓練された重みを組み込むように設計されている。
次に、輝度認識VQVAEは、所定のグレースケール画像に画素完全アライメントされた色付き結果を生成する。
論文 参考訳(メタデータ) (2023-04-21T16:23:24Z) - Learning 3D Photography Videos via Self-supervised Diffusion on Single
Images [105.81348348510551]
3D写真は、静止画を3D視覚効果のあるビデオにレンダリングする。
既存のアプローチは通常、まず単眼深度推定を行い、次に様々な視点で入力フレームを後続のフレームに描画する。
我々は、入力オブジェクトの空間と時間を拡張する、新しいタスク、out-animationを提案する。
論文 参考訳(メタデータ) (2023-02-21T16:18:40Z) - Diffusion Art or Digital Forgery? Investigating Data Replication in
Diffusion Models [53.03978584040557]
生成した画像とトレーニングサンプルを比較し、コンテンツが複製されたことを検知する画像検索フレームワークについて検討する。
フレームワークをオックスフォード花、Celeb-A、ImageNet、LAIONなど複数のデータセットでトレーニングされた拡散モデルに適用することにより、トレーニングセットのサイズがコンテンツ複製の速度にどのように影響するかを議論する。
論文 参考訳(メタデータ) (2022-12-07T18:58:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。