論文の概要: Applying a Color Palette with Local Control using Diffusion Models
- arxiv url: http://arxiv.org/abs/2307.02698v3
- Date: Sat, 2 Sep 2023 18:28:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 04:14:07.825810
- Title: Applying a Color Palette with Local Control using Diffusion Models
- Title(参考訳): 拡散モデルを用いた局所制御によるカラーパレットの適用
- Authors: Vaibhav Vavilala and David Forsyth
- Abstract要約: ベクトル量子化のパイプライン、マッチング、および(拡散モデルを用いて)dequantization''が極端なパレット転送を成功させることを示す。
我々は,Yu-Gi-Ohカードアートデータセットに挑戦する手法を実証する。
- 参考スコア(独自算出の注目度): 6.942167888954434
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We demonstrate two novel editing procedures in the context of fantasy art.
Palette transfer applies a specified reference palette to a given image. For
fantasy art, the desired change in palette can be very large, leading to huge
changes in the ``look'' of the art. We show that a pipeline of vector
quantization; matching; and ``dequantization'' (using a diffusion model)
produces successful extreme palette transfers. A novel training loss measures
the match between color distribution in control and generated images even when
a ground truth target is not available. This measurably improves performance.
Segment control allows an artist to move one or more image segments, and to
optionally specify the desired color of the result. The combination of these
two types of edit yields valuable workflows. We demonstrate our methods on the
challenging Yu-Gi-Oh card art dataset.
- Abstract(参考訳): ファンタジーアートの文脈における2つの新しい編集手順を実証する。
パレット転送は、指定された参照パレットを所定の画像に適用する。
ファンタジーアートでは、パレットの望ましい変化が非常に大きくなり、芸術の『展望』に大きな変化をもたらす。
ベクトル量子化のパイプライン,マッチング,および ''dequantization'' (拡散モデルを用いて) が極端なパレット転送を成功させることを示す。
新たなトレーニング損失は、グラウンド真理目標が利用できない場合でも、制御中の色分布と生成された画像との一致を測定する。
これにより性能が向上する。
セグメント制御により、アーティストは1つ以上の画像セグメントを移動でき、任意に結果の色を指定することができる。
これら2種類の編集の組み合わせは、貴重なワークフローをもたらす。
我々は,Yu-Gi-Ohカードアートデータセットに挑戦する手法を実証する。
関連論文リスト
- Control Color: Multimodal Diffusion-based Interactive Image Colorization [81.68817300796644]
Control Color (Ctrl Color) は、事前訓練された安定拡散(SD)モデルを利用する多モードカラー化手法である。
ユーザのストロークをエンコードして、局所的な色操作を正確に行うための効果的な方法を提案する。
また、カラーオーバーフローと不正確な色付けの長年の問題に対処するために、自己注意に基づく新しいモジュールとコンテンツ誘導型変形可能なオートエンコーダを導入する。
論文 参考訳(メタデータ) (2024-02-16T17:51:13Z) - Stable Diffusion Reference Only: Image Prompt and Blueprint Jointly
Guided Multi-Condition Diffusion Model for Secondary Painting [23.202786877523728]
本稿では,2種類の条件付き画像のみを正確な制御生成に用いるイメージ・ツー・イメージ・セルフ教師付きモデルである,安定拡散参照(Stable Diffusion Reference)を提案する。
第1の条件付き画像は、画像プロンプトとして機能し、生成に必要な概念情報と色情報を提供する。
第2のタイプは青写真であり、生成された画像の視覚構造を制御する。
論文 参考訳(メタデータ) (2023-11-04T07:53:59Z) - DragonDiffusion: Enabling Drag-style Manipulation on Diffusion Models [66.43179841884098]
本研究では,DiffusionモデルにおけるDragスタイルの操作を可能にする新しい画像編集手法DragonDiffusionを提案する。
提案手法は,オブジェクト移動,オブジェクトのリサイズ,オブジェクトの外観置換,コンテンツドラッグングなど,生成された画像や実際の画像に対する様々な編集モードを実現する。
論文 参考訳(メタデータ) (2023-07-05T16:43:56Z) - DragDiffusion: Harnessing Diffusion Models for Interactive Point-based
Image Editing [98.30393804479152]
DragGANは、ピクセルレベルの精度で印象的な編集結果を実現する、インタラクティブなポイントベースの画像編集フレームワークである。
大規模な事前学習拡散モデルを利用することで、実画像と拡散画像の両方における対話的点ベース編集の適用性を大幅に向上する。
本稿では,対話的点ベース画像編集手法の性能を評価するため,DragBenchというベンチマークデータセットを提案する。
論文 参考訳(メタデータ) (2023-06-26T06:04:09Z) - Improved Diffusion-based Image Colorization via Piggybacked Models [19.807766482434563]
既存の強力なT2I拡散モデルに基づく色付けモデルを提案する。
拡散誘導器は、潜伏拡散モデルの事前訓練された重みを組み込むように設計されている。
次に、輝度認識VQVAEは、所定のグレースケール画像に画素完全アライメントされた色付き結果を生成する。
論文 参考訳(メタデータ) (2023-04-21T16:23:24Z) - RecolorNeRF: Layer Decomposed Radiance Fields for Efficient Color
Editing of 3D Scenes [21.284044381058575]
本稿では,ニューラルラジアンスフィールドのための新しいユーザフレンドリーなカラー編集手法であるRecolorNeRFを提案する。
私たちのキーとなるアイデアは、シーンを純粋な色の層に分解し、パレットを形成することです。
効率的なパレットベースの編集をサポートするには、各レイヤの色を可能な限り表現する必要がある。
論文 参考訳(メタデータ) (2023-01-19T09:18:06Z) - PalGAN: Image Colorization with Palette Generative Adversarial Networks [51.59276436217957]
そこで本研究では,パレット推定とカラーアテンションを統合した新しいGANベースのカラー化手法PalGANを提案する。
PalGANは、定量的評価と視覚比較において最先端の成果を上げ、顕著な多様性、コントラスト、およびエッジ保存の外観を提供する。
論文 参考訳(メタデータ) (2022-10-20T12:28:31Z) - Flexible Portrait Image Editing with Fine-Grained Control [12.32304366243904]
我々は,1つのニューラルネットワークモデルを用いて,ジオメトリ,色,光,影のきめ細かい編集を支援する肖像画編集法を開発した。
生成者は、エッジマップ、カラーパレット、スライダー、マスクなどの変換された条件入力をユーザが直接編集できる。
本手法の有効性をCelebAMask-HQデータセット上で評価し,色/色/影/光の編集,手描きのスケッチから画像への変換,色変換など,幅広いタスクで検証した。
論文 参考訳(メタデータ) (2022-04-04T08:39:37Z) - Interactive Style Transfer: All is Your Palette [74.06681967115594]
本稿では,ユーザが対話的に調和したスタイルのイメージを作成できる,図形的な対話型スタイル転送(IST)手法を提案する。
私たちのISTメソッドは、どこからでもブラシやディップスタイルとして機能し、ターゲットのコンテンツイメージの任意の領域にペイントします。
論文 参考訳(メタデータ) (2022-03-25T06:38:46Z) - Multi-Density Sketch-to-Image Translation Network [65.4028451067947]
入力スケッチは、粗い物体の輪郭からマイクロ構造まで幅広い範囲をカバーすることができる。
本手法は,顔の編集,マルチモーダルなスケッチ・ツー・フォト変換,アニメのカラー化など,様々な用途のデータセットで検証されている。
論文 参考訳(メタデータ) (2020-06-18T16:21:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。