論文の概要: Dequantization and Color Transfer with Diffusion Models

• arxiv url: http://arxiv.org/abs/2307.02698v4
• Date: Sat, 21 Sep 2024 22:05:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 14:51:04.093698
• Title: Dequantization and Color Transfer with Diffusion Models
• Title（参考訳）: 拡散モデルによる色調の定式化と色移動
• Authors: Vaibhav Vavilala, Faaris Shaik, David Forsyth,
• Abstract要約: 量子化されたイメージは、パッチベースの編集とパレット転送を簡単に抽象化する。 提案モデルでは,ユーザが求めているカラーパレットを尊重する自然な画像を生成できることが示される。 本手法は,画像のテクスチャを尊重しながら,画像のパッチを塗り替えることによって,別の実用的な編集に拡張することができる。
• 参考スコア（独自算出の注目度）: 5.228564799458042
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We demonstrate an image dequantizing diffusion model that enables novel image edits on natural images. We propose operating on quantized images because they offer easy abstraction for patch-based edits and palette transfer. In particular, we show that color palettes can make the output of the diffusion model easier to control and interpret. We first establish that existing image restoration methods are not sufficient, such as JPEG noise reduction models. We then demonstrate that our model can generate natural images that respect the color palette the user asked for. For palette transfer, we propose a method based on weighted bipartite matching. We then show that our model generates plausible images even after extreme palette transfers, respecting user query. Our method can optionally condition on the source texture in part or all of the image. In doing so, we overcome a common problem in existing image colorization methods that are unable to produce colors with a different luminance than the input. We evaluate several possibilities for texture conditioning and their trade-offs, including luminance, image gradients, and thresholded gradients, the latter of which performed best in maintaining texture and color control simultaneously. Our method can be usefully extended to another practical edit: recoloring patches of an image while respecting the source texture. Our procedure is supported by several qualitative and quantitative evaluations.
• Abstract（参考訳）: 自然画像の新規な画像編集を可能にする拡散モデルを提案する。 パッチベースの編集やパレット転送を簡単に抽象化できるため,量子化画像の操作を提案する。 特に,カラーパレットが拡散モデルの出力を制御し,解釈しやすくすることを示す。 まず,JPEGノイズ低減モデルなど,既存の画像復元手法では不十分であることが確認された。 次に、我々のモデルが、ユーザが要求したカラーパレットを尊重する自然な画像を生成できることを実証する。 パレット転送のために,重み付き二分節マッチングに基づく手法を提案する。 そこで本モデルでは, 極端なパレット転送後であっても, ユーザクエリを尊重して, 可視画像を生成することを示す。 本手法は、画像の一部または全部のソーステクスチャを任意に条件付けすることができる。 これにより、入力と異なる輝度で色を生成できない既存の画像カラー化手法において、一般的な問題を克服する。 テクスチャコンディショニングや,輝度,画像勾配,しきい値勾配など,テクスチャコンディショニングとトレードオフの可能性を評価し,テクスチャコンディショニングとカラーコントロールの両立に最善を尽くした。 本手法は,画像のテクスチャを尊重しながら,画像のパッチを塗り替えることによって,別の実用的な編集に拡張することができる。 我々の手順は、いくつかの質的、定量的な評価によって支えられている。

関連論文リスト

• Training-free Color-Style Disentanglement for Constrained Text-to-Image Synthesis [16.634138745034733]
  そこで本研究では,参照画像から色とスタイル属性のテキスト・ツー・イメージを分離する,最初のトレーニングフリーでテスト時間のみの手法を提案する。
  論文  参考訳（メタデータ） (2024-09-04T04:16:58Z)
• Palette-based Color Transfer between Images [9.471264982229508]
  そこで我々は,新しいカラースキームを自動生成できるパレットベースのカラートランスファー手法を提案する。 再設計されたパレットベースのクラスタリング手法により、色分布に応じて画素を異なるセグメントに分類することができる。 本手法は, 自然リアリズム, 色整合性, 一般性, 堅牢性の観点から, ピア法に対して有意な優位性を示す。
  論文  参考訳（メタデータ） (2024-05-14T01:41:19Z)
• Automatic Controllable Colorization via Imagination [55.489416987587305]
  本稿では,反復的な編集と修正が可能な自動色付けフレームワークを提案する。 グレースケール画像内のコンテンツを理解することにより、トレーニング済みの画像生成モデルを用いて、同じコンテンツを含む複数の画像を生成する。 これらの画像は、人間の専門家の過程を模倣して、色付けの参考となる。
  論文  参考訳（メタデータ） (2024-04-08T16:46:07Z)
• Control Color: Multimodal Diffusion-based Interactive Image Colorization [81.68817300796644]
  Control Color (Ctrl Color) は、事前訓練された安定拡散(SD)モデルを利用する多モードカラー化手法である。 ユーザのストロークをエンコードして、局所的な色操作を正確に行うための効果的な方法を提案する。 また、カラーオーバーフローと不正確な色付けの長年の問題に対処するために、自己注意に基づく新しいモジュールとコンテンツ誘導型変形可能なオートエンコーダを導入する。
  論文  参考訳（メタデータ） (2024-02-16T17:51:13Z)
• Image Inpainting via Tractable Steering of Diffusion Models [54.13818673257381]
  本稿では,トラクタブル確率モデル(TPM)の制約後部を正確に,かつ効率的に計算する能力を活用することを提案する。 具体的には、確率回路(PC)と呼ばれる表現型TPMのクラスを採用する。 提案手法は, 画像の全体的な品質とセマンティックコヒーレンスを, 計算オーバーヘッドを10%加えるだけで一貫的に改善できることを示す。
  論文  参考訳（メタデータ） (2023-11-28T21:14:02Z)
• PalGAN: Image Colorization with Palette Generative Adversarial Networks [51.59276436217957]
  そこで本研究では,パレット推定とカラーアテンションを統合した新しいGANベースのカラー化手法PalGANを提案する。 PalGANは、定量的評価と視覚比較において最先端の成果を上げ、顕著な多様性、コントラスト、およびエッジ保存の外観を提供する。
  論文  参考訳（メタデータ） (2022-10-20T12:28:31Z)
• Palette: Image-to-Image Diffusion Models [50.268441533631176]
  我々は条件付き拡散モデルを用いた画像から画像への変換のためのシンプルで一般的なフレームワークであるPaletteを紹介する。 4つの困難な画像から画像への変換タスクにおいて、Paletteは強力なGANと回帰ベースラインを上回っている。 本稿では、FID、インセプションスコア、事前訓練されたResNet-50の分類精度、参照画像に対する知覚距離などのサンプル品質スコアについて報告する。
  論文  参考訳（メタデータ） (2021-11-10T17:49:29Z)
• Generative Probabilistic Image Colorization [2.110198946293069]
  本稿では,音の劣化の各ステップを逆転させる確率モデル列を訓練する拡散型生成法を提案する。 入力として線引き画像が与えられた場合、本手法は複数の候補色付き画像を提案する。 提案手法は,色条件の画像生成タスクだけでなく,実用的な画像補完や塗装タスクにも有効である。
  論文  参考訳（メタデータ） (2021-09-29T16:10:12Z)
• Texture for Colors: Natural Representations of Colors Using Variable Bit-Depth Textures [13.180922099929765]
  そこで本研究では,画像の強度だけでなく,元の色も表わす2値テクスチャの組に画像が変換される自動手法を提案する。 このシステムは、様々な画像ソースでテストすると、美的にバイナリイメージを満足させる。
  論文  参考訳（メタデータ） (2021-05-04T21:22:02Z)
• In&Out : Diverse Image Outpainting via GAN Inversion [89.84841983778672]
  image outpaintingは、利用可能なコンテンツを超えて、入力画像の意味的に一貫した拡張を求める。 本研究では、生成的対向ネットワークの反転の観点から問題を定式化する。 私達の発電機はイメージの彼らの共同潜入コードそして個々の位置で調節されるマイクロ パッチをレンダリングします。
  論文  参考訳（メタデータ） (2021-04-01T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。