論文の概要: Multimodal Semantic-Aware Automatic Colorization with Diffusion Prior

• arxiv url: http://arxiv.org/abs/2404.16678v1
• Date: Thu, 25 Apr 2024 15:28:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 13:20:37.312098
• Title: Multimodal Semantic-Aware Automatic Colorization with Diffusion Prior
• Title（参考訳）: 拡散前におけるマルチモーダルセマンティック・アウェア自動着色
• Authors: Han Wang, Xinning Chai, Yiwen Wang, Yuhong Zhang, Rong Xie, Li Song,
• Abstract要約: 色を可塑性意味論で合成する前に拡散の異常な生成能力を利用する。 モデルが画像の内容を理解し、飽和色を提供するのに役立つため、マルチモーダルなハイレベルセマンティクスを前もって採用する。 輝度対応デコーダは細部を復元し、全体的な視覚的品質を向上させるように設計されている。
• 参考スコア（独自算出の注目度）: 15.188673173327658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Colorizing grayscale images offers an engaging visual experience. Existing automatic colorization methods often fail to generate satisfactory results due to incorrect semantic colors and unsaturated colors. In this work, we propose an automatic colorization pipeline to overcome these challenges. We leverage the extraordinary generative ability of the diffusion prior to synthesize color with plausible semantics. To overcome the artifacts introduced by the diffusion prior, we apply the luminance conditional guidance. Moreover, we adopt multimodal high-level semantic priors to help the model understand the image content and deliver saturated colors. Besides, a luminance-aware decoder is designed to restore details and enhance overall visual quality. The proposed pipeline synthesizes saturated colors while maintaining plausible semantics. Experiments indicate that our proposed method considers both diversity and fidelity, surpassing previous methods in terms of perceptual realism and gain most human preference.
• Abstract（参考訳）: グレースケールの画像のカラー化は、魅力的なビジュアル体験を提供する。 既存の自動着色法は、誤ったセマンティックカラーと不飽和色のために満足な結果が得られないことが多い。 本研究では,これらの課題を克服するための自動着色パイプラインを提案する。 色を可塑性意味論で合成する前に拡散の異常な生成能力を利用する。 拡散前に導入されたアーティファクトを克服するため,輝度条件ガイダンスを適用した。 さらに,モデルが画像の内容を理解し,飽和色を提供するのを助けるために,マルチモーダルなハイレベルセマンティクスを前もって採用する。 さらに、輝度認識デコーダは詳細を復元し、全体的な視覚的品質を向上させるように設計されている。 提案したパイプラインは、可塑性セマンティクスを維持しながら飽和色を合成する。 実験の結果,提案手法は多様性と忠実さの両方を考慮し,知覚的リアリズムの観点から従来の手法を超越し,人間の嗜好を最も多く得ていることが示唆された。

関連論文リスト

• Automatic Controllable Colorization via Imagination [55.489416987587305]
  本稿では,反復的な編集と修正が可能な自動色付けフレームワークを提案する。 グレースケール画像内のコンテンツを理解することにより、トレーニング済みの画像生成モデルを用いて、同じコンテンツを含む複数の画像を生成する。 これらの画像は、人間の専門家の過程を模倣して、色付けの参考となる。
  論文  参考訳（メタデータ） (2024-04-08T16:46:07Z)
• Control Color: Multimodal Diffusion-based Interactive Image Colorization [81.68817300796644]
  Control Color (Ctrl Color) は、事前訓練された安定拡散(SD)モデルを利用する多モードカラー化手法である。 ユーザのストロークをエンコードして、局所的な色操作を正確に行うための効果的な方法を提案する。 また、カラーオーバーフローと不正確な色付けの長年の問題に対処するために、自己注意に基づく新しいモジュールとコンテンツ誘導型変形可能なオートエンコーダを導入する。
  論文  参考訳（メタデータ） (2024-02-16T17:51:13Z)
• Diffusing Colors: Image Colorization with Text Guided Diffusion [11.727899027933466]
  粒状テキストプロンプトを用いた画像拡散技術を利用した新しい画像カラー化フレームワークを提案する。 本手法は,視覚的品質とセマンティック・コヒーレンスの観点から,既存の技術よりも優れた自動化と制御のバランスを与える。 我々のアプローチは、特に色強調と歴史的イメージのカラー化の可能性を秘めている。
  論文  参考訳（メタデータ） (2023-12-07T08:59:20Z)
• Improved Diffusion-based Image Colorization via Piggybacked Models [19.807766482434563]
  既存の強力なT2I拡散モデルに基づく色付けモデルを提案する。 拡散誘導器は、潜伏拡散モデルの事前訓練された重みを組み込むように設計されている。 次に、輝度認識VQVAEは、所定のグレースケール画像に画素完全アライメントされた色付き結果を生成する。
  論文  参考訳（メタデータ） (2023-04-21T16:23:24Z)
• DDColor: Towards Photo-Realistic Image Colorization via Dual Decoders [19.560271615736212]
  DDColorは画像カラー化のためのデュアルデコーダを備えたエンドツーエンドの手法である。 我々のアプローチには、ピクセルデコーダとクエリベースのカラーデコーダが含まれる。 我々の2つのデコーダは、色とマルチスケールの意味表現の相関を確立するために協力する。
  論文  参考訳（メタデータ） (2022-12-22T11:17:57Z)
• PalGAN: Image Colorization with Palette Generative Adversarial Networks [51.59276436217957]
  そこで本研究では,パレット推定とカラーアテンションを統合した新しいGANベースのカラー化手法PalGANを提案する。 PalGANは、定量的評価と視覚比較において最先端の成果を上げ、顕著な多様性、コントラスト、およびエッジ保存の外観を提供する。
  論文  参考訳（メタデータ） (2022-10-20T12:28:31Z)
• Towards Vivid and Diverse Image Colorization with Generative Color Prior [17.087464490162073]
  最近のディープラーニングベースの手法は、画像のカラー化を低コストで行うことができる。 我々は,事前学習されたGAN(Generative Adversarial Networks)にカプセル化されている,豊かで多様な色を活かして鮮やかな色を復元することを目的としている。 先進的なデザインと繊細なデザインの強力な生成色のおかげで、我々の手法は1つの前進パスで鮮やかな色を作り出すことができた。
  論文  参考訳（メタデータ） (2021-08-19T17:49:21Z)
• Guided Colorization Using Mono-Color Image Pairs [6.729108277517129]
  モノクロ画像は通常、より優れた信号対雑音比(SNR)とよりリッチなテクスチャを持つ。 モノクロ画像とカラー画像とをカラー化するモノクロ画像強調アルゴリズムを提案する。 実験結果から,本アルゴリズムはより高精細度で高精細度な色画像をモノカラー画像対から効率よく復元できることが示唆された。
  論文  参考訳（メタデータ） (2021-08-17T07:00:28Z)
• Underwater Image Enhancement via Medium Transmission-Guided Multi-Color Space Embedding [88.46682991985907]
  本稿では,Ucolor と呼ばれる媒体透過誘導多色空間埋め込みによる水中画像強調ネットワークを提案する。 当社のネットワークは、複数の色空間を埋め込むことにより、水中画像の視覚的品質を効果的に改善できます。
  論文  参考訳（メタデータ） (2021-04-27T07:35:30Z)
• Degrade is Upgrade: Learning Degradation for Low-light Image Enhancement [52.49231695707198]
  2段階の工程で細部と色を精錬しながら、内在的な劣化と低照度画像を照らし出す。 カラー画像の定式化に触発されて,まず低照度入力からの劣化を推定し,環境照明色の歪みをシミュレーションし,そのコンテンツを精錬して拡散照明色の損失を回復した。 LOL1000データセットではPSNRで0.95dB、ExDarkデータセットでは3.18%のmAPでSOTAを上回った。
  論文  参考訳（メタデータ） (2021-03-19T04:00:27Z)
• Semantic-driven Colorization [78.88814849391352]
  最近の着色は、白黒画像の着色を学習しながら意味情報を暗黙的に予測する。 そこで本研究では,まず,人間の動作をシミュレートして,画像の理解を学習し,色づけする。
  論文  参考訳（メタデータ） (2020-06-13T08:13:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。