論文の概要: TIC: Text-Guided Image Colorization

• arxiv url: http://arxiv.org/abs/2208.02843v1
• Date: Thu, 4 Aug 2022 18:40:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-08 12:37:06.441793
• Title: TIC: Text-Guided Image Colorization
• Title（参考訳）: TIC:テキストガイド画像のカラー化
• Authors: Subhankar Ghosh, Prasun Roy, Saumik Bhattacharya, Umapada Pal, Michael Blumenstein
• Abstract要約: 本稿では、2つの入力(グレースケール画像と各エンコードされたテキスト記述)を取り込み、関連する色域を予測しようとする新しいディープネットワークを提案する。 各テキスト記述にはシーンに存在するオブジェクトの色情報が含まれているので、テキストエンコーディングは予測された色の全体的な品質を改善するのに役立つ。 提案手法を異なる指標を用いて評価した結果,定性的にも定量的にも,最先端のカラー化アルゴリズムよりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 24.317541784957285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image colorization is a well-known problem in computer vision. However, due to the ill-posed nature of the task, image colorization is inherently challenging. Though several attempts have been made by researchers to make the colorization pipeline automatic, these processes often produce unrealistic results due to a lack of conditioning. In this work, we attempt to integrate textual descriptions as an auxiliary condition, along with the grayscale image that is to be colorized, to improve the fidelity of the colorization process. To the best of our knowledge, this is one of the first attempts to incorporate textual conditioning in the colorization pipeline. To do so, we have proposed a novel deep network that takes two inputs (the grayscale image and the respective encoded text description) and tries to predict the relevant color gamut. As the respective textual descriptions contain color information of the objects present in the scene, the text encoding helps to improve the overall quality of the predicted colors. We have evaluated our proposed model using different metrics and found that it outperforms the state-of-the-art colorization algorithms both qualitatively and quantitatively.
• Abstract（参考訳）: 画像のカラー化はコンピュータビジョンにおいてよく知られた問題である。 しかし、課題の性質が不適切であるため、画像の着色は本質的に困難である。 カラー化パイプラインを自動化しようとする研究者による試みはいくつかあるが、条件付けの欠如により、しばしば非現実的な結果をもたらす。 本研究では,カラー化されるグレースケール画像とともに,補助条件としてテキスト記述を統合することにより,カラー化プロセスの忠実性を向上させる。 私たちの知る限りでは、これはカラー化パイプラインにテキストコンディショニングを組み込む最初の試みの1つです。 そこで我々は、2つの入力(グレースケール画像と各エンコードされたテキスト記述)を取り込み、関連する色域を予測しようとする新しいディープネットワークを提案する。 各テキスト記述にはシーンに存在するオブジェクトの色情報が含まれているため、テキストエンコーディングは予測された色全体の品質を改善するのに役立つ。 提案手法は,異なる指標を用いて評価し,質的および定量的に,最先端の着色アルゴリズムに勝ることを見出した。

関連論文リスト

• Automatic Controllable Colorization via Imagination [55.489416987587305]
  本稿では,反復的な編集と修正が可能な自動色付けフレームワークを提案する。 グレースケール画像内のコンテンツを理解することにより、トレーニング済みの画像生成モデルを用いて、同じコンテンツを含む複数の画像を生成する。 これらの画像は、人間の専門家の過程を模倣して、色付けの参考となる。
  論文  参考訳（メタデータ） (2024-04-08T16:46:07Z)
• Control Color: Multimodal Diffusion-based Interactive Image Colorization [81.68817300796644]
  Control Color (Ctrl Color) は、事前訓練された安定拡散(SD)モデルを利用する多モードカラー化手法である。 ユーザのストロークをエンコードして、局所的な色操作を正確に行うための効果的な方法を提案する。 また、カラーオーバーフローと不正確な色付けの長年の問題に対処するために、自己注意に基づく新しいモジュールとコンテンツ誘導型変形可能なオートエンコーダを導入する。
  論文  参考訳（メタデータ） (2024-02-16T17:51:13Z)
• Audio-Infused Automatic Image Colorization by Exploiting Audio Scene Semantics [54.980359694044566]
  本論文は,同一シーンに関する付加的な意味情報を含む対応する音声を活用しようとするものである。 実験により、音声誘導は自動着色性能を効果的に向上できることが示された。
  論文  参考訳（メタデータ） (2024-01-24T07:22:05Z)
• Diffusing Colors: Image Colorization with Text Guided Diffusion [11.727899027933466]
  粒状テキストプロンプトを用いた画像拡散技術を利用した新しい画像カラー化フレームワークを提案する。 本手法は,視覚的品質とセマンティック・コヒーレンスの観点から,既存の技術よりも優れた自動化と制御のバランスを与える。 我々のアプローチは、特に色強調と歴史的イメージのカラー化の可能性を秘めている。
  論文  参考訳（メタデータ） (2023-12-07T08:59:20Z)
• DiffColor: Toward High Fidelity Text-Guided Image Colorization with Diffusion Models [12.897939032560537]
  そこで我々はDiffColorと呼ばれる新しい手法を提案し、プロンプトテキストに条件付けされた鮮やかな色を復元する。 私たちはまず、CLIPベースのコントラスト損失を用いて色付き画像を生成するために、事前訓練されたテキスト・ツー・イメージ・モデルを微調整する。 次に、色付き画像とテキストプロンプトを整列した最適化されたテキスト埋め込みと、高品質な画像再構成を可能にする微調整拡散モデルを得る。 提案手法は,複数回の反復で鮮やかな多彩な色を生成でき,その構造と背景をそのままに保ちつつ,対象言語指導に適合させる。
  論文  参考訳（メタデータ） (2023-08-03T09:38:35Z)
• MMC: Multi-Modal Colorization of Images using Textual Descriptions [22.666387184216678]
  本稿では、2つの入力(グレースケール画像と各エンコードされたテキスト記述)を受信し、関連する色成分を予測しようとするディープネットワークを提案する。 また、画像中の各オブジェクトを予測し、個々の記述で色付けし、それらの属性を色付けプロセスに組み込む。 提案手法は,LPIPS,PSNR,SSIMの指標を用いて,既存のカラー化手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-24T10:53:13Z)
• Improved Diffusion-based Image Colorization via Piggybacked Models [19.807766482434563]
  既存の強力なT2I拡散モデルに基づく色付けモデルを提案する。 拡散誘導器は、潜伏拡散モデルの事前訓練された重みを組み込むように設計されている。 次に、輝度認識VQVAEは、所定のグレースケール画像に画素完全アライメントされた色付き結果を生成する。
  論文  参考訳（メタデータ） (2023-04-21T16:23:24Z)
• Semantic-Sparse Colorization Network for Deep Exemplar-based Colorization [23.301799487207035]
  模範的なカラー化アプローチは、対象のグレースケール画像に対して可視色を提供するために、参照画像に依存する。 本研究では,グローバルな画像スタイルとセマンティックな色の両方をグレースケールに転送するセマンティック・スパースカラー化ネットワーク(SSCN)を提案する。 我々のネットワークは、あいまいなマッチング問題を緩和しつつ、グローバルカラーとローカルカラーのバランスを完全にとることができる。
  論文  参考訳（メタデータ） (2021-12-02T15:35:10Z)
• Image Colorization: A Survey and Dataset [94.59768013860668]
  本稿では,最先端の深層学習に基づく画像着色技術に関する包括的調査を行う。 既存の着色技法を7つのクラスに分類し、その性能を規定する重要な要因について論じる。 我々は既存のデータセットと提案した画像の両方を用いて、既存の画像のカラー化手法を広範囲に実験的に評価する。
  論文  参考訳（メタデータ） (2020-08-25T01:22:52Z)
• Semantic-driven Colorization [78.88814849391352]
  最近の着色は、白黒画像の着色を学習しながら意味情報を暗黙的に予測する。 そこで本研究では,まず,人間の動作をシミュレートして,画像の理解を学習し,色づけする。
  論文  参考訳（メタデータ） (2020-06-13T08:13:30Z)
• Learning to Structure an Image with Few Colors [59.34619548026885]
  そこで,カラー量子化ネットワークであるColorCNNを提案する。 1ビットのカラースペース(すなわち2色)だけで、提案されたネットワークはCIFAR10データセット上で82.1%のトップ-1の精度を達成した。 アプリケーションの場合、PNGでエンコードされた場合、提案したカラー量子化は、極低ビットレート方式の他の画像圧縮方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-17T17:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。