論文の概要: DiffColor: Toward High Fidelity Text-Guided Image Colorization with
Diffusion Models
- arxiv url: http://arxiv.org/abs/2308.01655v1
- Date: Thu, 3 Aug 2023 09:38:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-04 14:27:05.037597
- Title: DiffColor: Toward High Fidelity Text-Guided Image Colorization with
Diffusion Models
- Title(参考訳): DiffColor:拡散モデルによる高忠実テキストガイド画像のカラー化に向けて
- Authors: Jianxin Lin, Peng Xiao, Yijun Wang, Rongju Zhang, Xiangxiang Zeng
- Abstract要約: そこで我々はDiffColorと呼ばれる新しい手法を提案し、プロンプトテキストに条件付けされた鮮やかな色を復元する。
私たちはまず、CLIPベースのコントラスト損失を用いて色付き画像を生成するために、事前訓練されたテキスト・ツー・イメージ・モデルを微調整する。
次に、色付き画像とテキストプロンプトを整列した最適化されたテキスト埋め込みと、高品質な画像再構成を可能にする微調整拡散モデルを得る。
提案手法は,複数回の反復で鮮やかな多彩な色を生成でき,その構造と背景をそのままに保ちつつ,対象言語指導に適合させる。
- 参考スコア(独自算出の注目度): 12.897939032560537
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent data-driven image colorization methods have enabled automatic or
reference-based colorization, while still suffering from unsatisfactory and
inaccurate object-level color control. To address these issues, we propose a
new method called DiffColor that leverages the power of pre-trained diffusion
models to recover vivid colors conditioned on a prompt text, without any
additional inputs. DiffColor mainly contains two stages: colorization with
generative color prior and in-context controllable colorization. Specifically,
we first fine-tune a pre-trained text-to-image model to generate colorized
images using a CLIP-based contrastive loss. Then we try to obtain an optimized
text embedding aligning the colorized image and the text prompt, and a
fine-tuned diffusion model enabling high-quality image reconstruction. Our
method can produce vivid and diverse colors with a few iterations, and keep the
structure and background intact while having colors well-aligned with the
target language guidance. Moreover, our method allows for in-context
colorization, i.e., producing different colorization results by modifying
prompt texts without any fine-tuning, and can achieve object-level controllable
colorization results. Extensive experiments and user studies demonstrate that
DiffColor outperforms previous works in terms of visual quality, color
fidelity, and diversity of colorization options.
- Abstract(参考訳): 最近のデータ駆動画像のカラー化手法は、不満足で不正確なオブジェクトレベルのカラー制御に苦しむ一方で、自動または参照ベースのカラー化を可能にしている。
これらの問題に対処するために,DiffColor という新しい手法を提案する。これは事前学習した拡散モデルのパワーを利用して,追加の入力を伴わずに,プロンプトテキストに条件付けされた鮮やかな色を復元する。
DiffColorは主に、生成色による色付けと、文脈内制御可能な色付けの2段階を含む。
具体的には,まず,事前学習したテキストから画像への変換モデルを微調整し,クリップベースのコントラスト損失を用いてカラー画像を生成する。
次に,カラー化画像とテキストプロンプトを整合させた最適化されたテキスト埋め込みと,高品質な画像再構成を可能にする微調整拡散モデルを得る。
本手法は,数回の反復で鮮やかで多彩な色を生成でき,対象言語ガイダンスとよく一致しながら構造や背景を維持できる。
さらに、本手法では、微調整なしでプロンプトテキストを変更して異なる色化結果を生成することができるため、オブジェクトレベルの制御可能な色化結果が得られる。
広範な実験とユーザー研究により、diffcolorは、視覚品質、色再現性、色付けオプションの多様性の観点から、以前の作品よりも優れていることが示されている。
関連論文リスト
- Control Color: Multimodal Diffusion-based Interactive Image Colorization [81.68817300796644]
Control Color (Ctrl Color) は、事前訓練された安定拡散(SD)モデルを利用する多モードカラー化手法である。
ユーザのストロークをエンコードして、局所的な色操作を正確に行うための効果的な方法を提案する。
また、カラーオーバーフローと不正確な色付けの長年の問題に対処するために、自己注意に基づく新しいモジュールとコンテンツ誘導型変形可能なオートエンコーダを導入する。
論文 参考訳(メタデータ) (2024-02-16T17:51:13Z) - Diffusing Colors: Image Colorization with Text Guided Diffusion [11.727899027933466]
粒状テキストプロンプトを用いた画像拡散技術を利用した新しい画像カラー化フレームワークを提案する。
本手法は,視覚的品質とセマンティック・コヒーレンスの観点から,既存の技術よりも優れた自動化と制御のバランスを与える。
我々のアプローチは、特に色強調と歴史的イメージのカラー化の可能性を秘めている。
論文 参考訳(メタデータ) (2023-12-07T08:59:20Z) - Improving Video Colorization by Test-Time Tuning [79.67548221384202]
テスト時間チューニングによる映像の着色性向上を目的とした,効果的な手法を提案する。
提案手法は,テスト中に追加のトレーニングサンプルを構築するための基準を利用して,PSNRにおいて平均13dBの性能向上を実現している。
論文 参考訳(メタデータ) (2023-06-25T05:36:40Z) - L-CAD: Language-based Colorization with Any-level Descriptions using
Diffusion Priors [62.80068955192816]
我々は,任意のレベルの記述で言語ベースの色付けを行う統一モデルを提案する。
我々は、その頑健な言語理解と豊かな色優先のために、事前訓練されたモダリティ生成モデルを活用する。
提案した新しいサンプリング戦略により,多様な複雑なシナリオにおいて,インスタンス認識のカラー化を実現する。
論文 参考訳(メタデータ) (2023-05-24T14:57:42Z) - MMC: Multi-Modal Colorization of Images using Textual Descriptions [22.666387184216678]
本稿では、2つの入力(グレースケール画像と各エンコードされたテキスト記述)を受信し、関連する色成分を予測しようとするディープネットワークを提案する。
また、画像中の各オブジェクトを予測し、個々の記述で色付けし、それらの属性を色付けプロセスに組み込む。
提案手法は,LPIPS,PSNR,SSIMの指標を用いて,既存のカラー化手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-04-24T10:53:13Z) - Improved Diffusion-based Image Colorization via Piggybacked Models [19.807766482434563]
既存の強力なT2I拡散モデルに基づく色付けモデルを提案する。
拡散誘導器は、潜伏拡散モデルの事前訓練された重みを組み込むように設計されている。
次に、輝度認識VQVAEは、所定のグレースケール画像に画素完全アライメントされた色付き結果を生成する。
論文 参考訳(メタデータ) (2023-04-21T16:23:24Z) - BiSTNet: Semantic Image Prior Guided Bidirectional Temporal Feature
Fusion for Deep Exemplar-based Video Colorization [70.14893481468525]
本稿では,参照例の色を探索し,映像のカラー化を支援するために有効なBiSTNetを提案する。
まず、各フレームと参照例間の深い特徴空間における意味的対応を確立し、参照例からの色情報を探究する。
我々は,フレームのオブジェクト境界をモデル化するための意味情報を抽出する混合専門家ブロックを開発した。
論文 参考訳(メタデータ) (2022-12-05T13:47:15Z) - TIC: Text-Guided Image Colorization [24.317541784957285]
本稿では、2つの入力(グレースケール画像と各エンコードされたテキスト記述)を取り込み、関連する色域を予測しようとする新しいディープネットワークを提案する。
各テキスト記述にはシーンに存在するオブジェクトの色情報が含まれているので、テキストエンコーディングは予測された色の全体的な品質を改善するのに役立つ。
提案手法を異なる指標を用いて評価した結果,定性的にも定量的にも,最先端のカラー化アルゴリズムよりも優れていることがわかった。
論文 参考訳(メタデータ) (2022-08-04T18:40:20Z) - Image Colorization: A Survey and Dataset [78.89573261114428]
本稿では,最先端の深層学習に基づく画像着色技術に関する包括的調査を行う。
既存の着色技法を7つのクラスに分類し、その性能を規定する重要な要因について論じる。
既存のデータセットと新しいデータセットを用いて、既存の画像のカラー化手法を広範囲に実験的に評価する。
論文 参考訳(メタデータ) (2020-08-25T01:22:52Z) - Instance-aware Image Colorization [51.12040118366072]
本稿では,インスタンス認識のカラー化を実現する手法を提案する。
我々のネットワークアーキテクチャは、市販のオブジェクト検出器を利用して、収穫されたオブジェクト画像を取得する。
類似したネットワークを用いて、フルイメージの特徴を抽出し、融合モジュールを適用して最終色を予測する。
論文 参考訳(メタデータ) (2020-05-21T17:59:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。