論文の概要: DDColor: Towards Photo-Realistic and Semantic-Aware Image Colorization via Dual Decoders

• arxiv url: http://arxiv.org/abs/2212.11613v2
• Date: Fri, 23 Dec 2022 09:13:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 13:57:12.810645
• Title: DDColor: Towards Photo-Realistic and Semantic-Aware Image Colorization via Dual Decoders
• Title（参考訳）: ddcolor:デュアルデコーダによるフォトリアリスティック・セマンティックアウェア画像のカラー化に向けて
• Authors: Xiaoyang Kang, Tao Yang, Wenqi Ouyang, Peiran Ren, Lingzhi Li, Xuansong Xie
• Abstract要約: DDColorは、画像カラー化のためのデュアルデコーダを備えた新しいエンドツーエンドメソッドである。 提案したDDColorは,既存の最先端技術よりも優れた性能を実現している。
• 参考スコア（独自算出の注目度）: 15.98422107195274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic image colorization is a particularly challenging problem. Due to the high illness of the problem and multi-modal uncertainty, directly training a deep neural network usually leads to incorrect semantic colors and low color richness. Existing transformer-based methods can deliver better results but highly depend on hand-crafted dataset-level empirical distribution priors. In this work, we propose DDColor, a new end-to-end method with dual decoders, for image colorization. More specifically, we design a multi-scale image decoder and a transformer-based color decoder. The former manages to restore the spatial resolution of the image, while the latter establishes the correlation between semantic representations and color queries via cross-attention. The two decoders incorporate to learn semantic-aware color embedding by leveraging the multi-scale visual features. With the help of these two decoders, our method succeeds in producing semantically consistent and visually plausible colorization results without any additional priors. In addition, a simple but effective colorfulness loss is introduced to further improve the color richness of generated results. Our extensive experiments demonstrate that the proposed DDColor achieves significantly superior performance to existing state-of-the-art works both quantitatively and qualitatively. Codes will be made publicly available at https://github.com/piddnad/DDColor.
• Abstract（参考訳）: 画像の自動着色は特に難しい問題である。 問題の高い病気とマルチモーダル不確実性のため、ディープニューラルネットワークを直接トレーニングすることは、通常、誤った意味的色と低い色豊かさをもたらす。 既存のトランスフォーマーベースのメソッドは、より良い結果を提供できるが、手作りのデータセットレベルの経験的分散に強く依存する。 本研究では,画像のカラー化のためのデュアルデコーダを用いた新しいエンドツーエンド手法DDColorを提案する。 具体的には、マルチスケール画像デコーダとトランスフォーマーベースのカラーデコーダを設計する。 前者は画像の空間分解能を回復し、後者はクロスアテンションによって意味表現と色問合せの相関を確立する。 2つのデコーダは、マルチスケールの視覚的特徴を活用して意味認識色埋め込みを学ぶために組み込まれている。 この2つのデコーダの助けを借りて,提案手法は意味的に一貫性があり,視覚的に有理な色化結果を生成することに成功した。 さらに、生成した結果の色豊かさをさらに向上するために、単純だが効果的な色度損失を導入する。 提案したDDColorは,既存の最先端技術よりも定量的かつ定性的に優れた性能を発揮することを示す。 コードはhttps://github.com/piddnad/DDColor.comで公開される。

関連論文リスト

• Underwater Organism Color Enhancement via Color Code Decomposition, Adaptation and Interpolation [24.96772289126242]
  そこで本稿では,範囲制御可能なカラー出力を提供しながら,水中画像を強化するTextitColorCodeという手法を提案する。 我々のアプローチは、教師付きトレーニングを通じて水中画像を基準強調画像に復元し、色と内容コードに分解することである。 カラーコードはガウス分布に従うように明示的に制約され、効率的なサンプリングと推論が可能である。
  論文  参考訳（メタデータ） (2024-09-29T12:24:34Z)
• FDCE-Net: Underwater Image Enhancement with Embedding Frequency and Dual Color Encoder [49.79611204954311]
  水中画像は、低明度、色の変化、ぼやけた詳細、吸光光によるノイズ、水や懸濁粒子による散乱などの様々な問題に悩まされることが多い。 従来の水中画像強調法(UIE)は主に空間領域の強調に焦点を当てており、画像固有の周波数領域情報を無視している。
  論文  参考訳（メタデータ） (2024-04-27T15:16:34Z)
• Control Color: Multimodal Diffusion-based Interactive Image Colorization [81.68817300796644]
  Control Color (Ctrl Color) は、事前訓練された安定拡散(SD)モデルを利用する多モードカラー化手法である。 ユーザのストロークをエンコードして、局所的な色操作を正確に行うための効果的な方法を提案する。 また、カラーオーバーフローと不正確な色付けの長年の問題に対処するために、自己注意に基づく新しいモジュールとコンテンツ誘導型変形可能なオートエンコーダを導入する。
  論文  参考訳（メタデータ） (2024-02-16T17:51:13Z)
• You Only Need One Color Space: An Efficient Network for Low-light Image Enhancement [50.37253008333166]
  低照度画像強調(LLIE)タスクは、劣化した低照度画像から詳細と視覚情報を復元する傾向がある。 水平/垂直インテンシティ(HVI)と呼ばれる新しいトレーニング可能なカラー空間を提案する。 輝度と色をRGBチャネルから切り離して、拡張中の不安定性を緩和するだけでなく、トレーニング可能なパラメータによって異なる照明範囲の低照度画像にも適応する。
  論文  参考訳（メタデータ） (2024-02-08T16:47:43Z)
• Diffusing Colors: Image Colorization with Text Guided Diffusion [11.727899027933466]
  粒状テキストプロンプトを用いた画像拡散技術を利用した新しい画像カラー化フレームワークを提案する。 本手法は,視覚的品質とセマンティック・コヒーレンスの観点から,既存の技術よりも優れた自動化と制御のバランスを与える。 我々のアプローチは、特に色強調と歴史的イメージのカラー化の可能性を秘めている。
  論文  参考訳（メタデータ） (2023-12-07T08:59:20Z)
• Improved Diffusion-based Image Colorization via Piggybacked Models [19.807766482434563]
  既存の強力なT2I拡散モデルに基づく色付けモデルを提案する。 拡散誘導器は、潜伏拡散モデルの事前訓練された重みを組み込むように設計されている。 次に、輝度認識VQVAEは、所定のグレースケール画像に画素完全アライメントされた色付き結果を生成する。
  論文  参考訳（メタデータ） (2023-04-21T16:23:24Z)
• Detecting Recolored Image by Spatial Correlation [60.08643417333974]
  画像のリカラー化は、画像の色値を操作して新しいスタイルを与える、新たな編集技術である。 本稿では,空間相関の観点から,従来型と深層学習による再色検出の汎用的検出能力を示す解を探索する。 提案手法は,複数のベンチマークデータセット上での最先端検出精度を実現し,未知の種類の再色法を適切に一般化する。
  論文  参考訳（メタデータ） (2022-04-23T01:54:06Z)
• Towards Vivid and Diverse Image Colorization with Generative Color Prior [17.087464490162073]
  最近のディープラーニングベースの手法は、画像のカラー化を低コストで行うことができる。 我々は,事前学習されたGAN(Generative Adversarial Networks)にカプセル化されている,豊かで多様な色を活かして鮮やかな色を復元することを目的としている。 先進的なデザインと繊細なデザインの強力な生成色のおかげで、我々の手法は1つの前進パスで鮮やかな色を作り出すことができた。
  論文  参考訳（メタデータ） (2021-08-19T17:49:21Z)
• Instance-aware Image Colorization [51.12040118366072]
  本稿では,インスタンス認識のカラー化を実現する手法を提案する。 我々のネットワークアーキテクチャは、市販のオブジェクト検出器を利用して、収穫されたオブジェクト画像を取得する。 類似したネットワークを用いて、フルイメージの特徴を抽出し、融合モジュールを適用して最終色を予測する。
  論文  参考訳（メタデータ） (2020-05-21T17:59:23Z)
• Learning to Structure an Image with Few Colors [59.34619548026885]
  そこで,カラー量子化ネットワークであるColorCNNを提案する。 1ビットのカラースペース(すなわち2色)だけで、提案されたネットワークはCIFAR10データセット上で82.1%のトップ-1の精度を達成した。 アプリケーションの場合、PNGでエンコードされた場合、提案したカラー量子化は、極低ビットレート方式の他の画像圧縮方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-17T17:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。