論文の概要: Color2Style: Real-Time Exemplar-Based Image Colorization with
Self-Reference Learning and Deep Feature Modulation
- arxiv url: http://arxiv.org/abs/2106.08017v1
- Date: Tue, 15 Jun 2021 10:05:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-16 15:03:15.667454
- Title: Color2Style: Real-Time Exemplar-Based Image Colorization with
Self-Reference Learning and Deep Feature Modulation
- Title（参考訳）: Color2Style: 自己参照学習とDeep Feature Modulationによる実時間模擬画像のカラー化
- Authors: Hengyuan Zhao, Wenhao Wu, Yihao Liu, Dongliang He
- Abstract要約: 色を鮮やかな色で満たしてグレースケールの画像媒体を復活させるため,カラーカラー化手法としてColor2Styleを提案する。
提案手法は,参照画像から抽出した色埋め込みを入力されたグレースケール画像の深部表現に注入する,単純だが効果的な深部特徴変調(DFM)モジュールを利用する。
- 参考スコア（独自算出の注目度）: 29.270149925368674
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Legacy black-and-white photos are riddled with people's nostalgia and
glorious memories of the past. To better relive the elapsed frozen moments, in
this paper, we present a deep exemplar-based image colorization approach named
Color2Style to resurrect these grayscale image media by filling them with
vibrant colors. Generally, for exemplar-based colorization, unsupervised and
unpaired training are usually adopted, due to the difficulty of obtaining input
and ground truth image pairs. To train an exemplar-based colorization model,
current algorithms usually strive to achieve two procedures: i) retrieving a
large number of reference images with high similarity in advance, which is
inevitably time-consuming and tedious; ii) designing complicated modules to
transfer the colors of the reference image to the grayscale image, by
calculating and leveraging the deep semantic correspondence between them (e.g.,
non-local operation). Contrary to the previous methods, we solve and simplify
the above two steps in one end-to-end learning procedure. First, we adopt a
self-augmented self-reference training scheme, where the reference image is
generated by graphical transformations from the original colorful one whereby
the training can be formulated in a paired manner. Second, instead of computing
complex and inexplicable correspondence maps, our method exploits a simple yet
effective deep feature modulation (DFM) module, which injects the color
embeddings extracted from the reference image into the deep representations of
the input grayscale image. Such design is much more lightweight and
intelligible, achieving appealing performance with real-time processing speed.
Moreover, our model does not require multifarious loss functions and
regularization terms like existing methods, but only two widely used loss
functions. Codes and models will be available at
https://github.com/zhaohengyuan1/Color2Style.
- Abstract（参考訳）: 古き良き白黒の写真は、人々の懐かしさと過去の栄光に満ちています。
そこで,本論文では,色鮮やかな色で満たして,これらのグレースケールの画像媒体を再現する,Color2Styleという画像カラー化手法を提案する。
一般に、例示ベースの色付けでは、入力と基底の真理のペアを得るのが困難であるため、教師なし・ペアなしの訓練が採用されることが多い。
模範的なカラー化モデルを訓練するために、現在のアルゴリズムは通常、2つの手順を達成しようと試みている: i) 事前に高い類似性を持つ多数の参照画像を取得すること; i) 参照画像の色をグレースケール画像に転送するために複雑なモジュールを設計し、それら間の深い意味的対応(例えば、非局所操作)を計算し、活用すること。
従来の方法とは対照的に,1つのエンドツーエンド学習手順において,上記の2つのステップを解いて単純化する。
まず,原色からグラフィカルな変換によって参照画像を生成する自己表現型自己参照型学習方式を採用し,ペア方式でトレーニングを定式化する。
第2に,複雑な対応マップを演算する代わりに,入力されたグレースケール画像の奥行き表現に基準画像から抽出された色埋め込みを注入する,単純で効果的なdfm(deep feature modulation)モジュールを利用する。
このような設計はより軽量で知性が高く、リアルタイム処理速度で魅力的な性能を実現している。
さらに, 本モデルは, 多元的損失関数や既存手法のような正規化項を必要としないが, 広く用いられている損失関数は2つしかない。
コードとモデルはhttps://github.com/zhaohengyuan1/Color2Styleで入手できる。
関連論文リスト
- Training-free Color-Style Disentanglement for Constrained Text-to-Image Synthesis [16.634138745034733]
そこで本研究では,参照画像から色とスタイル属性のテキスト・ツー・イメージを分離する,最初のトレーニングフリーでテスト時間のみの手法を提案する。
論文 参考訳（メタデータ） (2024-09-04T04:16:58Z) - Automatic Controllable Colorization via Imagination [55.489416987587305]
本稿では,反復的な編集と修正が可能な自動色付けフレームワークを提案する。
グレースケール画像内のコンテンツを理解することにより、トレーニング済みの画像生成モデルを用いて、同じコンテンツを含む複数の画像を生成する。
これらの画像は、人間の専門家の過程を模倣して、色付けの参考となる。
論文 参考訳（メタデータ） (2024-04-08T16:46:07Z) - Control Color: Multimodal Diffusion-based Interactive Image Colorization [81.68817300796644]
Control Color (Ctrl Color) は、事前訓練された安定拡散(SD)モデルを利用する多モードカラー化手法である。
ユーザのストロークをエンコードして、局所的な色操作を正確に行うための効果的な方法を提案する。
また、カラーオーバーフローと不正確な色付けの長年の問題に対処するために、自己注意に基づく新しいモジュールとコンテンツ誘導型変形可能なオートエンコーダを導入する。
論文 参考訳（メタデータ） (2024-02-16T17:51:13Z) - UniGS: Unified Representation for Image Generation and Segmentation [105.08152635402858]
カラーマップを使用してエンティティレベルのマスクを表現し、さまざまなエンティティ番号の課題に対処します。
マスク表現を支援するために、位置認識カラーパレットとプログレッシブ二分法モジュールを含む2つの新しいモジュールが提案されている。
論文 参考訳（メタデータ） (2023-12-04T15:59:27Z) - Incorporating Ensemble and Transfer Learning For An End-To-End
Auto-Colorized Image Detection Model [0.0]
本稿では,移動学習とアンサンブル学習の利点を組み合わせた新たな手法を提案する。
提案したモデルは、94.55%から99.13%の精度で有望な結果を示す。
論文 参考訳（メタデータ） (2023-09-25T19:22:57Z) - Improved Diffusion-based Image Colorization via Piggybacked Models [19.807766482434563]
既存の強力なT2I拡散モデルに基づく色付けモデルを提案する。
拡散誘導器は、潜伏拡散モデルの事前訓練された重みを組み込むように設計されている。
次に、輝度認識VQVAEは、所定のグレースケール画像に画素完全アライメントされた色付き結果を生成する。
論文 参考訳（メタデータ） (2023-04-21T16:23:24Z) - BiSTNet: Semantic Image Prior Guided Bidirectional Temporal Feature
Fusion for Deep Exemplar-based Video Colorization [70.14893481468525]
本稿では,参照例の色を探索し,映像のカラー化を支援するために有効なBiSTNetを提案する。
まず、各フレームと参照例間の深い特徴空間における意味的対応を確立し、参照例からの色情報を探究する。
我々は,フレームのオブジェクト境界をモデル化するための意味情報を抽出する混合専門家ブロックを開発した。
論文 参考訳（メタデータ） (2022-12-05T13:47:15Z) - ParaColorizer: Realistic Image Colorization using Parallel Generative
Networks [1.7778609937758327]
グレースケール画像のカラー化は、情報復元のためのAIの魅力的な応用である。
並列なGANベースのカラー化フレームワークを提案する。
マルチモーダル問題を評価するために一般的に使用される非知覚的評価指標の欠点を示す。
論文 参考訳（メタデータ） (2022-08-17T13:49:44Z) - Detecting Recolored Image by Spatial Correlation [60.08643417333974]
画像のリカラー化は、画像の色値を操作して新しいスタイルを与える、新たな編集技術である。
本稿では,空間相関の観点から,従来型と深層学習による再色検出の汎用的検出能力を示す解を探索する。
提案手法は,複数のベンチマークデータセット上での最先端検出精度を実現し,未知の種類の再色法を適切に一般化する。
論文 参考訳（メタデータ） (2022-04-23T01:54:06Z) - Semantic-Sparse Colorization Network for Deep Exemplar-based
Colorization [23.301799487207035]
模範的なカラー化アプローチは、対象のグレースケール画像に対して可視色を提供するために、参照画像に依存する。
本研究では,グローバルな画像スタイルとセマンティックな色の両方をグレースケールに転送するセマンティック・スパースカラー化ネットワーク(SSCN)を提案する。
我々のネットワークは、あいまいなマッチング問題を緩和しつつ、グローバルカラーとローカルカラーのバランスを完全にとることができる。
論文 参考訳（メタデータ） (2021-12-02T15:35:10Z) - Instance-aware Image Colorization [51.12040118366072]
本稿では,インスタンス認識のカラー化を実現する手法を提案する。
我々のネットワークアーキテクチャは、市販のオブジェクト検出器を利用して、収穫されたオブジェクト画像を取得する。
類似したネットワークを用いて、フルイメージの特徴を抽出し、融合モジュールを適用して最終色を予測する。
論文 参考訳（メタデータ） (2020-05-21T17:59:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。