論文の概要: Deep Line Art Video Colorization with a Few References
- arxiv url: http://arxiv.org/abs/2003.10685v2
- Date: Mon, 30 Mar 2020 07:34:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 09:19:19.766532
- Title: Deep Line Art Video Colorization with a Few References
- Title(参考訳): 少ない基準による深線アート映像のカラー化
- Authors: Min Shi, Jia-Qi Zhang, Shu-Yu Chen, Lin Gao, Yu-Kun Lai, Fang-Lue
Zhang
- Abstract要約: そこで本稿では,対象の参照画像と同一のカラースタイルでラインアートビデオを自動的に色付けする深層アーキテクチャを提案する。
本フレームワークはカラートランスフォーメーションネットワークと時間制約ネットワークから構成される。
本モデルでは,少量のサンプルでパラメータを微調整することで,より優れたカラー化を実現することができる。
- 参考スコア(独自算出の注目度): 49.7139016311314
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Coloring line art images based on the colors of reference images is an
important stage in animation production, which is time-consuming and tedious.
In this paper, we propose a deep architecture to automatically color line art
videos with the same color style as the given reference images. Our framework
consists of a color transform network and a temporal constraint network. The
color transform network takes the target line art images as well as the line
art and color images of one or more reference images as input, and generates
corresponding target color images. To cope with larger differences between the
target line art image and reference color images, our architecture utilizes
non-local similarity matching to determine the region correspondences between
the target image and the reference images, which are used to transform the
local color information from the references to the target. To ensure global
color style consistency, we further incorporate Adaptive Instance Normalization
(AdaIN) with the transformation parameters obtained from a style embedding
vector that describes the global color style of the references, extracted by an
embedder. The temporal constraint network takes the reference images and the
target image together in chronological order, and learns the spatiotemporal
features through 3D convolution to ensure the temporal consistency of the
target image and the reference image. Our model can achieve even better
coloring results by fine-tuning the parameters with only a small amount of
samples when dealing with an animation of a new style. To evaluate our method,
we build a line art coloring dataset. Experiments show that our method achieves
the best performance on line art video coloring compared to the
state-of-the-art methods and other baselines.
- Abstract(参考訳): 基準画像の色に基づくラインアート画像のカラー化は,時間と手間のかかるアニメーション制作において重要な段階である。
本稿では,対象の参照画像と同一のカラースタイルでラインアート映像を自動的に色付けする深層アーキテクチャを提案する。
我々のフレームワークはカラー変換ネットワークと時間制約ネットワークで構成されている。
カラー変換ネットワークは、1つ以上の基準画像のラインアート及びカラー画像とを入力として対象ラインアート画像を取り込み、対応するターゲットカラー画像を生成する。
対象のラインアート画像と参照カラー画像とのより大きな差異に対処するため,本アーキテクチャでは,非局所類似性マッチングを用いて,対象画像と参照画像との地域対応を判定し,その局所色情報を対象への参照から変換する。
グローバルカラースタイル一貫性を確保するため,我々はさらに,埋め込み器によって抽出された参照のグローバルカラースタイルを記述するスタイル埋め込みベクトルから得られる変換パラメータに適応インスタンス正規化(adain)を組み込む。
時間制約ネットワークは、基準画像と対象画像とを時系列的に組み合わせて3次元畳み込みにより時空間特徴を学習し、対象画像と基準画像の時間的一貫性を確保する。
我々のモデルは,新しいスタイルのアニメーションを扱う際に,少数のサンプルでパラメータを微調整することで,より優れたカラー化を実現することができる。
本手法を評価するため,ラインアートカラー化データセットを構築した。
実験により,最先端の手法や他のベースラインと比較して,ラインアートカラー化における最高の性能が得られた。
関連論文リスト
- Control Color: Multimodal Diffusion-based Interactive Image Colorization [81.68817300796644]
Control Color (Ctrl Color) は、事前訓練された安定拡散(SD)モデルを利用する多モードカラー化手法である。
ユーザのストロークをエンコードして、局所的な色操作を正確に行うための効果的な方法を提案する。
また、カラーオーバーフローと不正確な色付けの長年の問題に対処するために、自己注意に基づく新しいモジュールとコンテンツ誘導型変形可能なオートエンコーダを導入する。
論文 参考訳(メタデータ) (2024-02-16T17:51:13Z) - Temporal Consistent Automatic Video Colorization via Semantic
Correspondence [12.107878178519128]
本稿では,セマンティック対応と自動ビデオカラー化を組み合わせた新しい映像カラー化フレームワークを提案する。
NTIRE 2023ビデオカラー化チャレンジでは,色分布一貫性(CDC)最適化トラックで3位にランクインした。
論文 参考訳(メタデータ) (2023-05-13T12:06:09Z) - MMC: Multi-Modal Colorization of Images using Textual Descriptions [22.666387184216678]
本稿では、2つの入力(グレースケール画像と各エンコードされたテキスト記述)を受信し、関連する色成分を予測しようとするディープネットワークを提案する。
また、画像中の各オブジェクトを予測し、個々の記述で色付けし、それらの属性を色付けプロセスに組み込む。
提案手法は,LPIPS,PSNR,SSIMの指標を用いて,既存のカラー化手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-04-24T10:53:13Z) - BiSTNet: Semantic Image Prior Guided Bidirectional Temporal Feature
Fusion for Deep Exemplar-based Video Colorization [70.14893481468525]
本稿では,参照例の色を探索し,映像のカラー化を支援するために有効なBiSTNetを提案する。
まず、各フレームと参照例間の深い特徴空間における意味的対応を確立し、参照例からの色情報を探究する。
我々は,フレームのオブジェクト境界をモデル化するための意味情報を抽出する混合専門家ブロックを開発した。
論文 参考訳(メタデータ) (2022-12-05T13:47:15Z) - iColoriT: Towards Propagating Local Hint to the Right Region in
Interactive Colorization by Leveraging Vision Transformer [29.426206281291755]
iColoriT は,ユーザヒントを関連領域に伝達する新しい点対話型カラー化視覚変換器である。
提案手法は,デコーダアーキテクチャを置き換える効率的なアップサンプリング技術であるピクセルシャッフルを利用して,リアルタイムに画像のカラー化を行う。
論文 参考訳(メタデータ) (2022-07-14T11:40:32Z) - Detecting Recolored Image by Spatial Correlation [60.08643417333974]
画像のリカラー化は、画像の色値を操作して新しいスタイルを与える、新たな編集技術である。
本稿では,空間相関の観点から,従来型と深層学習による再色検出の汎用的検出能力を示す解を探索する。
提案手法は,複数のベンチマークデータセット上での最先端検出精度を実現し,未知の種類の再色法を適切に一般化する。
論文 参考訳(メタデータ) (2022-04-23T01:54:06Z) - CAMS: Color-Aware Multi-Style Transfer [46.550390398057985]
スタイル転送は、ソースイメージ("content"イメージ)の外観を操作して、ターゲットの"style"イメージの類似したテクスチャと色を共有することを目的としている。
スタイルの転送を支援するために一般的に用いられるアプローチは、グラム行列最適化に基づいている。
スタイルと生成した画像のスタイルと色との相関を保ちながら、美的満足な結果を生成する色認識多形転写法を提案する。
論文 参考訳(メタデータ) (2021-06-26T01:15:09Z) - HistoGAN: Controlling Colors of GAN-Generated and Real Images via Color
Histograms [52.77252727786091]
HistoGANは、GAN生成画像の色を制御するための色ヒストグラムに基づく方法である。
我々は、HistoGANを拡張して、実画像を再色する方法を示す。
論文 参考訳(メタデータ) (2020-11-23T21:14:19Z) - Reference-Based Sketch Image Colorization using Augmented-Self Reference
and Dense Semantic Correspondence [32.848390767305276]
本稿では,すでに色のついた参照画像が与えられたスケッチ画像の自動着色作業に取り組む。
仮想参照として幾何学的歪みを持つ同一画像を有効利用することにより、色付き出力画像の基底真理を確保できる。
論文 参考訳(メタデータ) (2020-05-11T15:52:50Z) - Line Art Correlation Matching Feature Transfer Network for Automatic
Animation Colorization [0.0]
色付き参照特徴を学習可能な方法で整列させるための相関マッチング特徴伝達モデル(CMFT)を提案する。
これにより、ジェネレータはディープセマンティックコードから徐々にコンテンツにレイヤーワイドの同期機能を転送できる。
論文 参考訳(メタデータ) (2020-04-14T06:50:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。