論文の概要: Line Art Correlation Matching Feature Transfer Network for Automatic Animation Colorization

• arxiv url: http://arxiv.org/abs/2004.06718v3
• Date: Tue, 10 Nov 2020 09:03:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 10:16:14.724765
• Title: Line Art Correlation Matching Feature Transfer Network for Automatic Animation Colorization
• Title（参考訳）: 自動アニメーションカラー化のための線画相関マッチング特徴転送ネットワーク
• Authors: Zhang Qian, Wang Bo, Wen Wei, Li Hai, Liu Jun Hui
• Abstract要約: 色付き参照特徴を学習可能な方法で整列させるための相関マッチング特徴伝達モデル(CMFT)を提案する。 これにより、ジェネレータはディープセマンティックコードから徐々にコンテンツにレイヤーワイドの同期機能を転送できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic animation line art colorization is a challenging computer vision problem, since the information of the line art is highly sparse and abstracted and there exists a strict requirement for the color and style consistency between frames. Recently, a lot of Generative Adversarial Network (GAN) based image-to-image translation methods for single line art colorization have emerged. They can generate perceptually appealing results conditioned on line art images. However, these methods can not be adopted for the purpose of animation colorization because there is a lack of consideration of the in-between frame consistency. Existing methods simply input the previous colored frame as a reference to color the next line art, which will mislead the colorization due to the spatial misalignment of the previous colored frame and the next line art especially at positions where apparent changes happen. To address these challenges, we design a kind of correlation matching feature transfer model (called CMFT) to align the colored reference feature in a learnable way and integrate the model into an U-Net based generator in a coarse-to-fine manner. This enables the generator to transfer the layer-wise synchronized features from the deep semantic code to the content progressively. Extension evaluation shows that CMFT model can effectively improve the in-between consistency and the quality of colored frames especially when the motion is intense and diverse.
• Abstract（参考訳）: 自動アニメーションラインアートのカラー化は、ラインアートの情報は多様で抽象化されており、フレーム間の色とスタイル一貫性の厳格な要件が存在するため、コンピュータビジョンの問題である。 近年,GAN(Generative Adversarial Network)を用いた一線アートカラー化のための画像と画像の変換手法が数多く登場している。 ラインアート画像に条件づけられた知覚的に魅力的な結果を生成することができる。 しかし,これらの手法はフレーム間の整合性を考慮していないため,アニメーションのカラー化のためには適用できない。 既存の方法では、従来のカラーフレームを次のラインアートへの参照として入力するだけで、特に明らかな変化が生じる位置において、前のカラーフレームと次のラインアートの空間的ずれによる着色を誤解させる。 これらの課題に対処するために,色付き参照特徴を学習可能な方法で整列させるための相関マッチング特徴伝達モデル(cmft)を設計し,このモデルをu-netベースの生成器に統合する。 これにより、ジェネレータはディープセマンティックコードから徐々にコンテンツにレイヤーワイドの同期機能を転送できる。 拡張評価の結果,CMFTモデルでは,特に動きが強く多様である場合に,フレーム間の一貫性と品質を効果的に向上できることがわかった。

関連論文リスト

• Paint Bucket Colorization Using Anime Character Color Design Sheets [72.66788521378864]
  ネットワークがセグメント間の関係を理解することができる包摂的マッチングを導入する。 ネットワークのトレーニングパイプラインは、カラー化と連続フレームカラー化の両方のパフォーマンスを著しく向上させる。 ネットワークのトレーニングをサポートするために、PaintBucket-Characterというユニークなデータセットを開発しました。
  論文  参考訳（メタデータ） (2024-10-25T09:33:27Z)
• Automatic Controllable Colorization via Imagination [55.489416987587305]
  本稿では,反復的な編集と修正が可能な自動色付けフレームワークを提案する。 グレースケール画像内のコンテンツを理解することにより、トレーニング済みの画像生成モデルを用いて、同じコンテンツを含む複数の画像を生成する。 これらの画像は、人間の専門家の過程を模倣して、色付けの参考となる。
  論文  参考訳（メタデータ） (2024-04-08T16:46:07Z)
• Learning Inclusion Matching for Animation Paint Bucket Colorization [76.4507878427755]
  ネットワークにセグメント間の包摂関係を理解するための,学習に基づく新たな包摂的マッチングパイプラインを導入する。 提案手法では,粗いカラーワープモジュールと包括的マッチングモジュールを統合した2段階のパイプラインを特徴とする。 ネットワークのトレーニングを容易にするため,PaintBucket-Characterと呼ばれるユニークなデータセットも開発した。
  論文  参考訳（メタデータ） (2024-03-27T08:32:48Z)
• Control Color: Multimodal Diffusion-based Interactive Image Colorization [81.68817300796644]
  Control Color (Ctrl Color) は、事前訓練された安定拡散(SD)モデルを利用する多モードカラー化手法である。 ユーザのストロークをエンコードして、局所的な色操作を正確に行うための効果的な方法を提案する。 また、カラーオーバーフローと不正確な色付けの長年の問題に対処するために、自己注意に基づく新しいモジュールとコンテンツ誘導型変形可能なオートエンコーダを導入する。
  論文  参考訳（メタデータ） (2024-02-16T17:51:13Z)
• Diffusing Colors: Image Colorization with Text Guided Diffusion [11.727899027933466]
  粒状テキストプロンプトを用いた画像拡散技術を利用した新しい画像カラー化フレームワークを提案する。 本手法は,視覚的品質とセマンティック・コヒーレンスの観点から,既存の技術よりも優れた自動化と制御のバランスを与える。 我々のアプローチは、特に色強調と歴史的イメージのカラー化の可能性を秘めている。
  論文  参考訳（メタデータ） (2023-12-07T08:59:20Z)
• Temporal Consistent Automatic Video Colorization via Semantic Correspondence [12.107878178519128]
  本稿では,セマンティック対応と自動ビデオカラー化を組み合わせた新しい映像カラー化フレームワークを提案する。 NTIRE 2023ビデオカラー化チャレンジでは,色分布一貫性(CDC)最適化トラックで3位にランクインした。
  論文  参考訳（メタデータ） (2023-05-13T12:06:09Z)
• QuantArt: Quantizing Image Style Transfer Towards High Visual Fidelity [94.5479418998225]
  視覚的忠実度の高いスタイリングのためのQuantArtと呼ばれる新しいスタイル転送フレームワークを提案する。 本フレームワークは,既存のスタイル転送方式と比較して,視覚的忠実度を著しく向上させる。
  論文  参考訳（メタデータ） (2022-12-20T17:09:53Z)
• Deep Line Art Video Colorization with a Few References [49.7139016311314]
  そこで本稿では,対象の参照画像と同一のカラースタイルでラインアートビデオを自動的に色付けする深層アーキテクチャを提案する。 本フレームワークはカラートランスフォーメーションネットワークと時間制約ネットワークから構成される。 本モデルでは,少量のサンプルでパラメータを微調整することで,より優れたカラー化を実現することができる。
  論文  参考訳（メタデータ） (2020-03-24T06:57:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。