論文の概要: Reference-Based Sketch Image Colorization using Augmented-Self Reference and Dense Semantic Correspondence

• arxiv url: http://arxiv.org/abs/2005.05207v1
• Date: Mon, 11 May 2020 15:52:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-04 20:28:32.193278
• Title: Reference-Based Sketch Image Colorization using Augmented-Self Reference and Dense Semantic Correspondence
• Title（参考訳）: 自己参照と密接な意味対応を用いた参照に基づくスケッチ画像のカラー化
• Authors: Junsoo Lee, Eungyeup Kim, Yunsung Lee, Dongjun Kim, Jaehyuk Chang, Jaegul Choo
• Abstract要約: 本稿では,すでに色のついた参照画像が与えられたスケッチ画像の自動着色作業に取り組む。 仮想参照として幾何学的歪みを持つ同一画像を有効利用することにより、色付き出力画像の基底真理を確保できる。
• 参考スコア（独自算出の注目度）: 32.848390767305276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper tackles the automatic colorization task of a sketch image given an already-colored reference image. Colorizing a sketch image is in high demand in comics, animation, and other content creation applications, but it suffers from information scarcity of a sketch image. To address this, a reference image can render the colorization process in a reliable and user-driven manner. However, it is difficult to prepare for a training data set that has a sufficient amount of semantically meaningful pairs of images as well as the ground truth for a colored image reflecting a given reference (e.g., coloring a sketch of an originally blue car given a reference green car). To tackle this challenge, we propose to utilize the identical image with geometric distortion as a virtual reference, which makes it possible to secure the ground truth for a colored output image. Furthermore, it naturally provides the ground truth for dense semantic correspondence, which we utilize in our internal attention mechanism for color transfer from reference to sketch input. We demonstrate the effectiveness of our approach in various types of sketch image colorization via quantitative as well as qualitative evaluation against existing methods.
• Abstract（参考訳）: 本稿では,すでに色のついた参照画像が与えられたスケッチ画像の自動着色作業に取り組む。 スケッチ画像のカラー化は、漫画、アニメーション、その他のコンテンツ制作アプリケーションでは高い需要があるが、スケッチ画像の情報不足に悩まされている。 これを解決するために、参照画像は、信頼性とユーザ主導の方法で色付けプロセスをレンダリングすることができる。 しかし、与えられた参照を反映する色付き画像(例えば、基準グリーンカーに与えられた元の青い車のスケッチを着色するなど)に対して、意味的に意味のある画像のペアを十分に有する訓練データセットを作成することは困難である。 この課題に対処するために,仮想参照として幾何学的歪みを持つ同一画像を有効利用し,色付き出力画像に対する基底真理を確保することを提案する。 さらに,本手法は,筆跡からスケッチ入力への色移動に,内部の注意機構を利用する密接な意味対応のための基礎的真理を提供する。 提案手法の有効性を,様々な種類のスケッチ画像の定量化および既存手法に対する定性評価により示す。

関連論文リスト

• Palette-based Color Transfer between Images [9.471264982229508]
  そこで我々は,新しいカラースキームを自動生成できるパレットベースのカラートランスファー手法を提案する。 再設計されたパレットベースのクラスタリング手法により、色分布に応じて画素を異なるセグメントに分類することができる。 本手法は, 自然リアリズム, 色整合性, 一般性, 堅牢性の観点から, ピア法に対して有意な優位性を示す。
  論文  参考訳（メタデータ） (2024-05-14T01:41:19Z)
• Automatic Controllable Colorization via Imagination [55.489416987587305]
  本稿では,反復的な編集と修正が可能な自動色付けフレームワークを提案する。 グレースケール画像内のコンテンツを理解することにより、トレーニング済みの画像生成モデルを用いて、同じコンテンツを含む複数の画像を生成する。 これらの画像は、人間の専門家の過程を模倣して、色付けの参考となる。
  論文  参考訳（メタデータ） (2024-04-08T16:46:07Z)
• Learning Inclusion Matching for Animation Paint Bucket Colorization [76.4507878427755]
  ネットワークにセグメント間の包摂関係を理解するための,学習に基づく新たな包摂的マッチングパイプラインを導入する。 提案手法では,粗いカラーワープモジュールと包括的マッチングモジュールを統合した2段階のパイプラインを特徴とする。 ネットワークのトレーニングを容易にするため,PaintBucket-Characterと呼ばれるユニークなデータセットも開発した。
  論文  参考訳（メタデータ） (2024-03-27T08:32:48Z)
• Control Color: Multimodal Diffusion-based Interactive Image Colorization [81.68817300796644]
  Control Color (Ctrl Color) は、事前訓練された安定拡散(SD)モデルを利用する多モードカラー化手法である。 ユーザのストロークをエンコードして、局所的な色操作を正確に行うための効果的な方法を提案する。 また、カラーオーバーフローと不正確な色付けの長年の問題に対処するために、自己注意に基づく新しいモジュールとコンテンツ誘導型変形可能なオートエンコーダを導入する。
  論文  参考訳（メタデータ） (2024-02-16T17:51:13Z)
• ColorizeDiffusion: Adjustable Sketch Colorization with Reference Image and Text [5.675944597452309]
  事前学習したCLIP画像エンコーダの異なる画像トークンを利用した画像誘導潜時拡散モデルの2つのバリエーションを紹介する。 重み付きテキスト入力を用いて結果の逐次的調整を行うための,対応する操作手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T22:46:12Z)
• Text-Guided Scene Sketch-to-Photo Synthesis [5.431298869139175]
  テキストガイダンスを用いたシーンレベルのスケッチ・ツー・フォト合成手法を提案する。 モデルのトレーニングには,写真の集合から自己教師付き学習を用いる。 実験により,カラー画像から抽出されていないオリジナルスケッチ画像を視覚的品質の高い写真に変換することを確認した。
  論文  参考訳（メタデータ） (2023-02-14T08:13:36Z)
• XCI-Sketch: Extraction of Color Information from Images for Generation of Colored Outlines and Sketches [0.0]
  そこで本研究では,彩色スケッチを模倣する2つの手法を提案する。 第1の方法は、k平均色クラスタリングによる画像処理技術を適用することで、カラーアウトラインスケッチを描画する。 第2の方法は、生成逆数ネットワークを用いて、以前は観測されていなかった画像から色付きスケッチを生成できるモデルを開発する。
  論文  参考訳（メタデータ） (2021-08-26T02:27:55Z)
• Towards Photorealistic Colorization by Imagination [48.82757902812846]
  本稿では,人間の想像力を模倣した画像の自動色付け手法を提案する。 我々の研究は、最先端の画像カラー化手法よりも、よりカラフルで多彩な結果をもたらす。
  論文  参考訳（メタデータ） (2021-08-20T14:28:37Z)
• Semantic-driven Colorization [78.88814849391352]
  最近の着色は、白黒画像の着色を学習しながら意味情報を暗黙的に予測する。 そこで本研究では,まず,人間の動作をシミュレートして,画像の理解を学習し,色づけする。
  論文  参考訳（メタデータ） (2020-06-13T08:13:30Z)
• Deep Line Art Video Colorization with a Few References [49.7139016311314]
  そこで本稿では,対象の参照画像と同一のカラースタイルでラインアートビデオを自動的に色付けする深層アーキテクチャを提案する。 本フレームワークはカラートランスフォーメーションネットワークと時間制約ネットワークから構成される。 本モデルでは,少量のサンプルでパラメータを微調整することで,より優れたカラー化を実現することができる。
  論文  参考訳（メタデータ） (2020-03-24T06:57:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。