論文の概要: Line Art Correlation Matching Feature Transfer Network for Automatic
Animation Colorization
- arxiv url: http://arxiv.org/abs/2004.06718v3
- Date: Tue, 10 Nov 2020 09:03:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 10:16:14.724765
- Title: Line Art Correlation Matching Feature Transfer Network for Automatic
Animation Colorization
- Title(参考訳): 自動アニメーションカラー化のための線画相関マッチング特徴転送ネットワーク
- Authors: Zhang Qian, Wang Bo, Wen Wei, Li Hai, Liu Jun Hui
- Abstract要約: 色付き参照特徴を学習可能な方法で整列させるための相関マッチング特徴伝達モデル(CMFT)を提案する。
これにより、ジェネレータはディープセマンティックコードから徐々にコンテンツにレイヤーワイドの同期機能を転送できる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic animation line art colorization is a challenging computer vision
problem, since the information of the line art is highly sparse and abstracted
and there exists a strict requirement for the color and style consistency
between frames. Recently, a lot of Generative Adversarial Network (GAN) based
image-to-image translation methods for single line art colorization have
emerged. They can generate perceptually appealing results conditioned on line
art images. However, these methods can not be adopted for the purpose of
animation colorization because there is a lack of consideration of the
in-between frame consistency. Existing methods simply input the previous
colored frame as a reference to color the next line art, which will mislead the
colorization due to the spatial misalignment of the previous colored frame and
the next line art especially at positions where apparent changes happen. To
address these challenges, we design a kind of correlation matching feature
transfer model (called CMFT) to align the colored reference feature in a
learnable way and integrate the model into an U-Net based generator in a
coarse-to-fine manner. This enables the generator to transfer the layer-wise
synchronized features from the deep semantic code to the content progressively.
Extension evaluation shows that CMFT model can effectively improve the
in-between consistency and the quality of colored frames especially when the
motion is intense and diverse.
- Abstract(参考訳): 自動アニメーションラインアートのカラー化は、ラインアートの情報は多様で抽象化されており、フレーム間の色とスタイル一貫性の厳格な要件が存在するため、コンピュータビジョンの問題である。
近年,GAN(Generative Adversarial Network)を用いた一線アートカラー化のための画像と画像の変換手法が数多く登場している。
ラインアート画像に条件づけられた知覚的に魅力的な結果を生成することができる。
しかし,これらの手法はフレーム間の整合性を考慮していないため,アニメーションのカラー化のためには適用できない。
既存の方法では、従来のカラーフレームを次のラインアートへの参照として入力するだけで、特に明らかな変化が生じる位置において、前のカラーフレームと次のラインアートの空間的ずれによる着色を誤解させる。
これらの課題に対処するために,色付き参照特徴を学習可能な方法で整列させるための相関マッチング特徴伝達モデル(cmft)を設計し,このモデルをu-netベースの生成器に統合する。
これにより、ジェネレータはディープセマンティックコードから徐々にコンテンツにレイヤーワイドの同期機能を転送できる。
拡張評価の結果,CMFTモデルでは,特に動きが強く多様である場合に,フレーム間の一貫性と品質を効果的に向上できることがわかった。
関連論文リスト
- Control Color: Multimodal Diffusion-based Interactive Image Colorization [81.68817300796644]
Control Color (Ctrl Color) は、事前訓練された安定拡散(SD)モデルを利用する多モードカラー化手法である。
ユーザのストロークをエンコードして、局所的な色操作を正確に行うための効果的な方法を提案する。
また、カラーオーバーフローと不正確な色付けの長年の問題に対処するために、自己注意に基づく新しいモジュールとコンテンツ誘導型変形可能なオートエンコーダを導入する。
論文 参考訳(メタデータ) (2024-02-16T17:51:13Z) - Diffusing Colors: Image Colorization with Text Guided Diffusion [11.727899027933466]
粒状テキストプロンプトを用いた画像拡散技術を利用した新しい画像カラー化フレームワークを提案する。
本手法は,視覚的品質とセマンティック・コヒーレンスの観点から,既存の技術よりも優れた自動化と制御のバランスを与える。
我々のアプローチは、特に色強調と歴史的イメージのカラー化の可能性を秘めている。
論文 参考訳(メタデータ) (2023-12-07T08:59:20Z) - Video Colorization with Pre-trained Text-to-Image Diffusion Models [19.807766482434563]
ビデオカラー化のための事前訓練されたテキストから画像への潜時拡散モデルの適応であるColorDiffuserを提案する。
本稿では,時間的コヒーレンスを高め,フレーム間の色付けの鮮明さを維持するための2つの新しい手法を提案する。
論文 参考訳(メタデータ) (2023-06-02T17:58:00Z) - Temporal Consistent Automatic Video Colorization via Semantic
Correspondence [12.107878178519128]
本稿では,セマンティック対応と自動ビデオカラー化を組み合わせた新しい映像カラー化フレームワークを提案する。
NTIRE 2023ビデオカラー化チャレンジでは,色分布一貫性(CDC)最適化トラックで3位にランクインした。
論文 参考訳(メタデータ) (2023-05-13T12:06:09Z) - Attention-Aware Anime Line Drawing Colorization [10.924683447616273]
本稿では,チャンネルワイド・空間ワイド・コンボリューショナル・アテンション・モジュールを用いたアニメラインドローイングカラー化のための注目モデルを提案する。
提案手法は,より正確な線構造と意味的色情報を用いて,他のSOTA法よりも優れている。
論文 参考訳(メタデータ) (2022-12-21T12:50:31Z) - QuantArt: Quantizing Image Style Transfer Towards High Visual Fidelity [94.5479418998225]
視覚的忠実度の高いスタイリングのためのQuantArtと呼ばれる新しいスタイル転送フレームワークを提案する。
本フレームワークは,既存のスタイル転送方式と比較して,視覚的忠実度を著しく向上させる。
論文 参考訳(メタデータ) (2022-12-20T17:09:53Z) - BiSTNet: Semantic Image Prior Guided Bidirectional Temporal Feature
Fusion for Deep Exemplar-based Video Colorization [70.14893481468525]
本稿では,参照例の色を探索し,映像のカラー化を支援するために有効なBiSTNetを提案する。
まず、各フレームと参照例間の深い特徴空間における意味的対応を確立し、参照例からの色情報を探究する。
我々は,フレームのオブジェクト境界をモデル化するための意味情報を抽出する混合専門家ブロックを開発した。
論文 参考訳(メタデータ) (2022-12-05T13:47:15Z) - HistoGAN: Controlling Colors of GAN-Generated and Real Images via Color
Histograms [52.77252727786091]
HistoGANは、GAN生成画像の色を制御するための色ヒストグラムに基づく方法である。
我々は、HistoGANを拡張して、実画像を再色する方法を示す。
論文 参考訳(メタデータ) (2020-11-23T21:14:19Z) - Image Morphing with Perceptual Constraints and STN Alignment [70.38273150435928]
本稿では,一対の入力画像で動作する条件付きGANモーフィングフレームワークを提案する。
特別なトレーニングプロトコルは、知覚的類似性損失と組み合わせてフレームのシーケンスを生成し、時間とともにスムーズな変換を促進する。
我々は、古典的かつ潜時的な空間変形技術との比較を行い、自己スーパービジョンのための一連の画像から、我々のネットワークが視覚的に楽しむモーフィング効果を生成することを実証する。
論文 参考訳(メタデータ) (2020-04-29T10:49:10Z) - Deep Line Art Video Colorization with a Few References [49.7139016311314]
そこで本稿では,対象の参照画像と同一のカラースタイルでラインアートビデオを自動的に色付けする深層アーキテクチャを提案する。
本フレームワークはカラートランスフォーメーションネットワークと時間制約ネットワークから構成される。
本モデルでは,少量のサンプルでパラメータを微調整することで,より優れたカラー化を実現することができる。
論文 参考訳(メタデータ) (2020-03-24T06:57:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。