論文の概要: Dequantization and Color Transfer with Diffusion Models
- arxiv url: http://arxiv.org/abs/2307.02698v4
- Date: Sat, 21 Sep 2024 22:05:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-26 02:44:54.979382
- Title: Dequantization and Color Transfer with Diffusion Models
- Title(参考訳): 拡散モデルによる色調の定式化と色移動
- Authors: Vaibhav Vavilala, Faaris Shaik, David Forsyth,
- Abstract要約: 量子化されたイメージは、パッチベースの編集とパレット転送を簡単に抽象化する。
提案モデルでは,ユーザが求めているカラーパレットを尊重する自然な画像を生成できることが示される。
本手法は,画像のテクスチャを尊重しながら,画像のパッチを塗り替えることによって,別の実用的な編集に拡張することができる。
- 参考スコア(独自算出の注目度): 5.228564799458042
- License:
- Abstract: We demonstrate an image dequantizing diffusion model that enables novel image edits on natural images. We propose operating on quantized images because they offer easy abstraction for patch-based edits and palette transfer. In particular, we show that color palettes can make the output of the diffusion model easier to control and interpret. We first establish that existing image restoration methods are not sufficient, such as JPEG noise reduction models. We then demonstrate that our model can generate natural images that respect the color palette the user asked for. For palette transfer, we propose a method based on weighted bipartite matching. We then show that our model generates plausible images even after extreme palette transfers, respecting user query. Our method can optionally condition on the source texture in part or all of the image. In doing so, we overcome a common problem in existing image colorization methods that are unable to produce colors with a different luminance than the input. We evaluate several possibilities for texture conditioning and their trade-offs, including luminance, image gradients, and thresholded gradients, the latter of which performed best in maintaining texture and color control simultaneously. Our method can be usefully extended to another practical edit: recoloring patches of an image while respecting the source texture. Our procedure is supported by several qualitative and quantitative evaluations.
- Abstract(参考訳): 自然画像の新規な画像編集を可能にする拡散モデルを提案する。
パッチベースの編集やパレット転送を簡単に抽象化できるため,量子化画像の操作を提案する。
特に,カラーパレットが拡散モデルの出力を制御し,解釈しやすくすることを示す。
まず,JPEGノイズ低減モデルなど,既存の画像復元手法では不十分であることが確認された。
次に、我々のモデルが、ユーザが要求したカラーパレットを尊重する自然な画像を生成できることを実証する。
パレット転送のために,重み付き二分節マッチングに基づく手法を提案する。
そこで本モデルでは, 極端なパレット転送後であっても, ユーザクエリを尊重して, 可視画像を生成することを示す。
本手法は、画像の一部または全部のソーステクスチャを任意に条件付けすることができる。
これにより、入力と異なる輝度で色を生成できない既存の画像カラー化手法において、一般的な問題を克服する。
テクスチャコンディショニングや,輝度,画像勾配,しきい値勾配など,テクスチャコンディショニングとトレードオフの可能性を評価し,テクスチャコンディショニングとカラーコントロールの両立に最善を尽くした。
本手法は,画像のテクスチャを尊重しながら,画像のパッチを塗り替えることによって,別の実用的な編集に拡張することができる。
我々の手順は、いくつかの質的、定量的な評価によって支えられている。
関連論文リスト
- Palette-based Color Transfer between Images [9.471264982229508]
そこで我々は,新しいカラースキームを自動生成できるパレットベースのカラートランスファー手法を提案する。
再設計されたパレットベースのクラスタリング手法により、色分布に応じて画素を異なるセグメントに分類することができる。
本手法は, 自然リアリズム, 色整合性, 一般性, 堅牢性の観点から, ピア法に対して有意な優位性を示す。
論文 参考訳(メタデータ) (2024-05-14T01:41:19Z) - Learning Inclusion Matching for Animation Paint Bucket Colorization [76.4507878427755]
ネットワークにセグメント間の包摂関係を理解するための,学習に基づく新たな包摂的マッチングパイプラインを導入する。
提案手法では,粗いカラーワープモジュールと包括的マッチングモジュールを統合した2段階のパイプラインを特徴とする。
ネットワークのトレーニングを容易にするため,PaintBucket-Characterと呼ばれるユニークなデータセットも開発した。
論文 参考訳(メタデータ) (2024-03-27T08:32:48Z) - Control Color: Multimodal Diffusion-based Interactive Image Colorization [81.68817300796644]
Control Color (Ctrl Color) は、事前訓練された安定拡散(SD)モデルを利用する多モードカラー化手法である。
ユーザのストロークをエンコードして、局所的な色操作を正確に行うための効果的な方法を提案する。
また、カラーオーバーフローと不正確な色付けの長年の問題に対処するために、自己注意に基づく新しいモジュールとコンテンツ誘導型変形可能なオートエンコーダを導入する。
論文 参考訳(メタデータ) (2024-02-16T17:51:13Z) - DragonDiffusion: Enabling Drag-style Manipulation on Diffusion Models [66.43179841884098]
本研究では,DiffusionモデルにおけるDragスタイルの操作を可能にする新しい画像編集手法DragonDiffusionを提案する。
提案手法は,オブジェクト移動,オブジェクトのリサイズ,オブジェクトの外観置換,コンテンツドラッグングなど,生成された画像や実際の画像に対する様々な編集モードを実現する。
論文 参考訳(メタデータ) (2023-07-05T16:43:56Z) - Improved Diffusion-based Image Colorization via Piggybacked Models [19.807766482434563]
既存の強力なT2I拡散モデルに基づく色付けモデルを提案する。
拡散誘導器は、潜伏拡散モデルの事前訓練された重みを組み込むように設計されている。
次に、輝度認識VQVAEは、所定のグレースケール画像に画素完全アライメントされた色付き結果を生成する。
論文 参考訳(メタデータ) (2023-04-21T16:23:24Z) - RecolorNeRF: Layer Decomposed Radiance Fields for Efficient Color
Editing of 3D Scenes [21.284044381058575]
本稿では,ニューラルラジアンスフィールドのための新しいユーザフレンドリーなカラー編集手法であるRecolorNeRFを提案する。
私たちのキーとなるアイデアは、シーンを純粋な色の層に分解し、パレットを形成することです。
効率的なパレットベースの編集をサポートするには、各レイヤの色を可能な限り表現する必要がある。
論文 参考訳(メタデータ) (2023-01-19T09:18:06Z) - PalGAN: Image Colorization with Palette Generative Adversarial Networks [51.59276436217957]
そこで本研究では,パレット推定とカラーアテンションを統合した新しいGANベースのカラー化手法PalGANを提案する。
PalGANは、定量的評価と視覚比較において最先端の成果を上げ、顕著な多様性、コントラスト、およびエッジ保存の外観を提供する。
論文 参考訳(メタデータ) (2022-10-20T12:28:31Z) - Flexible Portrait Image Editing with Fine-Grained Control [12.32304366243904]
我々は,1つのニューラルネットワークモデルを用いて,ジオメトリ,色,光,影のきめ細かい編集を支援する肖像画編集法を開発した。
生成者は、エッジマップ、カラーパレット、スライダー、マスクなどの変換された条件入力をユーザが直接編集できる。
本手法の有効性をCelebAMask-HQデータセット上で評価し,色/色/影/光の編集,手描きのスケッチから画像への変換,色変換など,幅広いタスクで検証した。
論文 参考訳(メタデータ) (2022-04-04T08:39:37Z) - Interactive Style Transfer: All is Your Palette [74.06681967115594]
本稿では,ユーザが対話的に調和したスタイルのイメージを作成できる,図形的な対話型スタイル転送(IST)手法を提案する。
私たちのISTメソッドは、どこからでもブラシやディップスタイルとして機能し、ターゲットのコンテンツイメージの任意の領域にペイントします。
論文 参考訳(メタデータ) (2022-03-25T06:38:46Z) - Multi-Density Sketch-to-Image Translation Network [65.4028451067947]
入力スケッチは、粗い物体の輪郭からマイクロ構造まで幅広い範囲をカバーすることができる。
本手法は,顔の編集,マルチモーダルなスケッチ・ツー・フォト変換,アニメのカラー化など,様々な用途のデータセットで検証されている。
論文 参考訳(メタデータ) (2020-06-18T16:21:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。