論文の概要: ColorwAI: Generative Colorways of Textiles through GAN and Diffusion Disentanglement
- arxiv url: http://arxiv.org/abs/2407.11514v1
- Date: Tue, 16 Jul 2024 08:51:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 15:52:20.930795
- Title: ColorwAI: Generative Colorways of Textiles through GAN and Diffusion Disentanglement
- Title(参考訳): ColorwAI: GANと拡散遠絡による織物の創成色調
- Authors: Ludovica Schaerf, Andrea Alfarano, Eric Postma,
- Abstract要約: StyleGAN と Diffusion のカラーアンタングルを用いた「世代別カラーウェイ」の創出が提案されている。
StyleGANのW空間は、人間の色の概念と最もよく一致している。
そこで本研究では,色道創出のための創造システムを考案し,専門家のアンケートや創造理論を通じて評価することを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Colorway creation is the task of generating textile samples in alternate color variations maintaining an underlying pattern. The individuation of a suitable color palette for a colorway is a complex creative task, responding to client and market needs, stylistic and cultural specifications, and mood. We introduce a modification of this task, the "generative colorway" creation, that includes minimal shape modifications, and propose a framework, "ColorwAI", to tackle this task using color disentanglement on StyleGAN and Diffusion. We introduce a variation of the InterfaceGAN method for supervised disentanglement, ShapleyVec. We use Shapley values to subselect a few dimensions of the detected latent direction. Moreover, we introduce a general framework to adopt common disentanglement methods on any architecture with a semantic latent space and test it on Diffusion and GANs. We interpret the color representations within the models' latent space. We find StyleGAN's W space to be the most aligned with human notions of color. Finally, we suggest that disentanglement can solicit a creative system for colorway creation, and evaluate it through expert questionnaires and creativity theory.
- Abstract(参考訳): カラーウェイ生成は、下層のパターンを維持した交互な色変化で繊維サンプルを生成するタスクである。
カラーウェイに適したカラーパレットの分割は、クライアントと市場のニーズ、スタイルと文化の仕様、ムードに応じて複雑な創造的なタスクである。
本稿では,最小形状修正を含む「生成色道」作成という課題の修正を紹介し,StyleGAN と Diffusion のカラーアンタングルを用いて,この課題に対処するためのフレームワーク "ColorwAI" を提案する。
教師付きディコンタングルメントのためのInterfaceGAN法のバリエーションであるShapleyVecを紹介する。
検出された遅延方向のいくつかの次元をサブセレクトするために、Shapley値を使用する。
さらに, セマンティックな潜在空間を持つ任意のアーキテクチャ上で, 共通不整合法を採用し, 拡散とGANで検証する一般的なフレームワークを提案する。
モデルの潜在空間における色表現を解釈する。
StyleGANのW空間は、人間の色の概念と最もよく一致している。
最後に,色道創出のための創造的システムと,専門的なアンケートや創造的理論を通じて評価することを提案する。
関連論文リスト
- ColorPeel: Color Prompt Learning with Diffusion Models via Color and Shape Disentanglement [20.45850285936787]
ユーザが選択した色に合わせて、特定の色プロンプトを学習することを提案する。
我々の手法はColorPeelと呼ばれ、T2Iモデルが新しいカラープロンプトを剥がすのに役立ちます。
本研究は,T2Iモデルの精度と汎用性向上に向けた重要な一歩である。
論文 参考訳(メタデータ) (2024-07-09T19:26:34Z) - Image Captioning via Dynamic Path Customization [100.15412641586525]
画像キャプションのための新しい動的トランスフォーマーネットワーク(DTNet)を提案する。
提案するDTNetの有効性を検証するため,MS-COCOデータセットの広範な実験を行い,新しい最先端性能を実現する。
論文 参考訳(メタデータ) (2024-06-01T07:23:21Z) - SketchDeco: Decorating B&W Sketches with Colour [80.90808879991182]
本稿では,色彩の普遍的な幼児期活動に触発された,色彩のスケッチ化への新たなアプローチを紹介する。
精度と利便性のバランスを考慮し,地域マスクとカラーパレットを用いて直感的なユーザコントロールを実現する。
論文 参考訳(メタデータ) (2024-05-29T02:53:59Z) - Control Color: Multimodal Diffusion-based Interactive Image Colorization [81.68817300796644]
Control Color (Ctrl Color) は、事前訓練された安定拡散(SD)モデルを利用する多モードカラー化手法である。
ユーザのストロークをエンコードして、局所的な色操作を正確に行うための効果的な方法を提案する。
また、カラーオーバーフローと不正確な色付けの長年の問題に対処するために、自己注意に基づく新しいモジュールとコンテンツ誘導型変形可能なオートエンコーダを導入する。
論文 参考訳(メタデータ) (2024-02-16T17:51:13Z) - DiffColor: Toward High Fidelity Text-Guided Image Colorization with
Diffusion Models [12.897939032560537]
そこで我々はDiffColorと呼ばれる新しい手法を提案し、プロンプトテキストに条件付けされた鮮やかな色を復元する。
私たちはまず、CLIPベースのコントラスト損失を用いて色付き画像を生成するために、事前訓練されたテキスト・ツー・イメージ・モデルを微調整する。
次に、色付き画像とテキストプロンプトを整列した最適化されたテキスト埋め込みと、高品質な画像再構成を可能にする微調整拡散モデルを得る。
提案手法は,複数回の反復で鮮やかな多彩な色を生成でき,その構造と背景をそのままに保ちつつ,対象言語指導に適合させる。
論文 参考訳(メタデータ) (2023-08-03T09:38:35Z) - L-CAD: Language-based Colorization with Any-level Descriptions using
Diffusion Priors [62.80068955192816]
我々は,任意のレベルの記述で言語ベースの色付けを行う統一モデルを提案する。
我々は、その頑健な言語理解と豊かな色優先のために、事前訓練されたモダリティ生成モデルを活用する。
提案した新しいサンプリング戦略により,多様な複雑なシナリオにおいて,インスタンス認識のカラー化を実現する。
論文 参考訳(メタデータ) (2023-05-24T14:57:42Z) - Spatial Steerability of GANs via Self-Supervision from Discriminator [123.27117057804732]
本稿では,GANの空間的ステアビリティを向上させるための自己教師型アプローチを提案する。
具体的には、空間帰納バイアスとして生成モデルの中間層に符号化されるランダムなガウス熱マップを設計する。
推論中、ユーザは直感的に空間のヒートマップと対話し、シーンのレイアウトを調整したり、移動したり、オブジェクトを削除したりすることで、出力画像を編集することができる。
論文 参考訳(メタデータ) (2023-01-20T07:36:29Z) - Fantastic Style Channels and Where to Find Them: A Submodular Framework
for Discovering Diverse Directions in GANs [0.0]
StyleGAN2は、リッチでゆがみのある潜在空間のために、様々な画像生成および操作タスクを可能にした。
そこで我々は,StyleGAN2の潜在空間において,最も代表的で多様な方向のサブセットを見つけるための,新しいサブモジュラー・フレームワークを設計する。
本フレームワークは,クラスタの概念を用いて多様性を促進し,グリーディ最適化方式で効率的に解ける。
論文 参考訳(メタデータ) (2022-03-16T10:35:41Z) - Towards Vivid and Diverse Image Colorization with Generative Color Prior [17.087464490162073]
最近のディープラーニングベースの手法は、画像のカラー化を低コストで行うことができる。
我々は,事前学習されたGAN(Generative Adversarial Networks)にカプセル化されている,豊かで多様な色を活かして鮮やかな色を復元することを目的としている。
先進的なデザインと繊細なデザインの強力な生成色のおかげで、我々の手法は1つの前進パスで鮮やかな色を作り出すことができた。
論文 参考訳(メタデータ) (2021-08-19T17:49:21Z) - HistoGAN: Controlling Colors of GAN-Generated and Real Images via Color
Histograms [52.77252727786091]
HistoGANは、GAN生成画像の色を制御するための色ヒストグラムに基づく方法である。
我々は、HistoGANを拡張して、実画像を再色する方法を示す。
論文 参考訳(メタデータ) (2020-11-23T21:14:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。