論文の概要: Deep Line Art Video Colorization with a Few References

• arxiv url: http://arxiv.org/abs/2003.10685v2
• Date: Mon, 30 Mar 2020 07:34:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 09:19:19.766532
• Title: Deep Line Art Video Colorization with a Few References
• Title（参考訳）: 少ない基準による深線アート映像のカラー化
• Authors: Min Shi, Jia-Qi Zhang, Shu-Yu Chen, Lin Gao, Yu-Kun Lai, Fang-Lue Zhang
• Abstract要約: そこで本稿では,対象の参照画像と同一のカラースタイルでラインアートビデオを自動的に色付けする深層アーキテクチャを提案する。 本フレームワークはカラートランスフォーメーションネットワークと時間制約ネットワークから構成される。 本モデルでは,少量のサンプルでパラメータを微調整することで,より優れたカラー化を実現することができる。
• 参考スコア（独自算出の注目度）: 49.7139016311314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coloring line art images based on the colors of reference images is an important stage in animation production, which is time-consuming and tedious. In this paper, we propose a deep architecture to automatically color line art videos with the same color style as the given reference images. Our framework consists of a color transform network and a temporal constraint network. The color transform network takes the target line art images as well as the line art and color images of one or more reference images as input, and generates corresponding target color images. To cope with larger differences between the target line art image and reference color images, our architecture utilizes non-local similarity matching to determine the region correspondences between the target image and the reference images, which are used to transform the local color information from the references to the target. To ensure global color style consistency, we further incorporate Adaptive Instance Normalization (AdaIN) with the transformation parameters obtained from a style embedding vector that describes the global color style of the references, extracted by an embedder. The temporal constraint network takes the reference images and the target image together in chronological order, and learns the spatiotemporal features through 3D convolution to ensure the temporal consistency of the target image and the reference image. Our model can achieve even better coloring results by fine-tuning the parameters with only a small amount of samples when dealing with an animation of a new style. To evaluate our method, we build a line art coloring dataset. Experiments show that our method achieves the best performance on line art video coloring compared to the state-of-the-art methods and other baselines.
• Abstract（参考訳）: 基準画像の色に基づくラインアート画像のカラー化は,時間と手間のかかるアニメーション制作において重要な段階である。 本稿では,対象の参照画像と同一のカラースタイルでラインアート映像を自動的に色付けする深層アーキテクチャを提案する。 我々のフレームワークはカラー変換ネットワークと時間制約ネットワークで構成されている。 カラー変換ネットワークは、1つ以上の基準画像のラインアート及びカラー画像とを入力として対象ラインアート画像を取り込み、対応するターゲットカラー画像を生成する。 対象のラインアート画像と参照カラー画像とのより大きな差異に対処するため,本アーキテクチャでは,非局所類似性マッチングを用いて,対象画像と参照画像との地域対応を判定し,その局所色情報を対象への参照から変換する。 グローバルカラースタイル一貫性を確保するため,我々はさらに,埋め込み器によって抽出された参照のグローバルカラースタイルを記述するスタイル埋め込みベクトルから得られる変換パラメータに適応インスタンス正規化(adain)を組み込む。 時間制約ネットワークは、基準画像と対象画像とを時系列的に組み合わせて3次元畳み込みにより時空間特徴を学習し、対象画像と基準画像の時間的一貫性を確保する。 我々のモデルは,新しいスタイルのアニメーションを扱う際に,少数のサンプルでパラメータを微調整することで,より優れたカラー化を実現することができる。 本手法を評価するため,ラインアートカラー化データセットを構築した。 実験により,最先端の手法や他のベースラインと比較して,ラインアートカラー化における最高の性能が得られた。

関連論文リスト

• Paint Bucket Colorization Using Anime Character Color Design Sheets [72.66788521378864]
  ネットワークがセグメント間の関係を理解することができる包摂的マッチングを導入する。 ネットワークのトレーニングパイプラインは、カラー化と連続フレームカラー化の両方のパフォーマンスを著しく向上させる。 ネットワークのトレーニングをサポートするために、PaintBucket-Characterというユニークなデータセットを開発しました。
  論文  参考訳（メタデータ） (2024-10-25T09:33:27Z)
• Palette-based Color Transfer between Images [9.471264982229508]
  そこで我々は,新しいカラースキームを自動生成できるパレットベースのカラートランスファー手法を提案する。 再設計されたパレットベースのクラスタリング手法により、色分布に応じて画素を異なるセグメントに分類することができる。 本手法は, 自然リアリズム, 色整合性, 一般性, 堅牢性の観点から, ピア法に対して有意な優位性を示す。
  論文  参考訳（メタデータ） (2024-05-14T01:41:19Z)
• Automatic Controllable Colorization via Imagination [55.489416987587305]
  本稿では,反復的な編集と修正が可能な自動色付けフレームワークを提案する。 グレースケール画像内のコンテンツを理解することにより、トレーニング済みの画像生成モデルを用いて、同じコンテンツを含む複数の画像を生成する。 これらの画像は、人間の専門家の過程を模倣して、色付けの参考となる。
  論文  参考訳（メタデータ） (2024-04-08T16:46:07Z)
• Learning Inclusion Matching for Animation Paint Bucket Colorization [76.4507878427755]
  ネットワークにセグメント間の包摂関係を理解するための,学習に基づく新たな包摂的マッチングパイプラインを導入する。 提案手法では,粗いカラーワープモジュールと包括的マッチングモジュールを統合した2段階のパイプラインを特徴とする。 ネットワークのトレーニングを容易にするため,PaintBucket-Characterと呼ばれるユニークなデータセットも開発した。
  論文  参考訳（メタデータ） (2024-03-27T08:32:48Z)
• BiSTNet: Semantic Image Prior Guided Bidirectional Temporal Feature Fusion for Deep Exemplar-based Video Colorization [70.14893481468525]
  本稿では,参照例の色を探索し,映像のカラー化を支援するために有効なBiSTNetを提案する。 まず、各フレームと参照例間の深い特徴空間における意味的対応を確立し、参照例からの色情報を探究する。 我々は,フレームのオブジェクト境界をモデル化するための意味情報を抽出する混合専門家ブロックを開発した。
  論文  参考訳（メタデータ） (2022-12-05T13:47:15Z)
• iColoriT: Towards Propagating Local Hint to the Right Region in Interactive Colorization by Leveraging Vision Transformer [29.426206281291755]
  iColoriT は,ユーザヒントを関連領域に伝達する新しい点対話型カラー化視覚変換器である。 提案手法は,デコーダアーキテクチャを置き換える効率的なアップサンプリング技術であるピクセルシャッフルを利用して,リアルタイムに画像のカラー化を行う。
  論文  参考訳（メタデータ） (2022-07-14T11:40:32Z)
• HistoGAN: Controlling Colors of GAN-Generated and Real Images via Color Histograms [52.77252727786091]
  HistoGANは、GAN生成画像の色を制御するための色ヒストグラムに基づく方法である。 我々は、HistoGANを拡張して、実画像を再色する方法を示す。
  論文  参考訳（メタデータ） (2020-11-23T21:14:19Z)
• Reference-Based Sketch Image Colorization using Augmented-Self Reference and Dense Semantic Correspondence [32.848390767305276]
  本稿では,すでに色のついた参照画像が与えられたスケッチ画像の自動着色作業に取り組む。 仮想参照として幾何学的歪みを持つ同一画像を有効利用することにより、色付き出力画像の基底真理を確保できる。
  論文  参考訳（メタデータ） (2020-05-11T15:52:50Z)
• Line Art Correlation Matching Feature Transfer Network for Automatic Animation Colorization [0.0]
  色付き参照特徴を学習可能な方法で整列させるための相関マッチング特徴伝達モデル(CMFT)を提案する。 これにより、ジェネレータはディープセマンティックコードから徐々にコンテンツにレイヤーワイドの同期機能を転送できる。
  論文  参考訳（メタデータ） (2020-04-14T06:50:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。