論文の概要: Inversion-Based Creativity Transfer with Diffusion Models

• arxiv url: http://arxiv.org/abs/2211.13203v1
• Date: Wed, 23 Nov 2022 18:44:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 16:08:38.681833
• Title: Inversion-Based Creativity Transfer with Diffusion Models
• Title（参考訳）: 拡散モデルによるインバージョンベース創造性伝達
• Authors: Yuxin Zhang, Nisha Huang, Fan Tang, Haibin Huang, Chongyang Ma, Weiming Dong, Changsheng Xu
• Abstract要約: クリーンシティ・トランスファー」の課題について紹介する 絵画の中の芸術的創造性は表現の手段である。 本稿では,画像の全体的,詳細な情報を効率よく学習する,注意に基づくインバージョン手法を提案する。
• 参考スコア（独自算出の注目度）: 78.93863016223858
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce the task of "Creativity Transfer". The artistic creativity within a painting is the means of expression, which includes not only the painting material, colors, and brushstrokes, but also the high-level attributes including semantic elements, object shape, etc. Previous arbitrary example-guided artistic image generation methods (e.g., style transfer) often fail to control shape changes or convey semantic elements. The pre-trained text-to-image synthesis diffusion probabilistic models have achieved remarkable quality, but they often require extensive textual descriptions to accurately portray attributes of a particular painting. We believe that the uniqueness of an artwork lies precisely in the fact that it cannot be adequately explained with normal language. Our key idea is to learn artistic creativity directly from a single painting and then guide the synthesis without providing complex textual descriptions. Specifically, we assume creativity as a learnable textual description of a painting. We propose an attention-based inversion method, which can efficiently and accurately learn the holistic and detailed information of an image, thus capturing the complete artistic creativity of a painting. We demonstrate the quality and efficiency of our method on numerous paintings of various artists and styles. Code and models are available at https://github.com/zyxElsa/creativity-transfer.
• Abstract（参考訳）: 本稿では,Creativity Transferの課題について紹介する。 絵画における芸術的創造性は表現の手段であり、絵画の素材、色、ブラシストロークだけでなく、意味的要素、物体の形状などを含む高レベルな属性も含む。 以前の任意の例で指示された芸術的画像生成手法(例えば、スタイル転送)は、しばしば形状変化の制御や意味的要素の伝達に失敗する。 事前学習されたテキストから画像への合成拡散確率モデルは驚くべき品質を達成したが、それらはしばしば特定の絵画の属性を正確に描写するために広範なテキスト記述を必要とする。 アートワークの独特さは、通常の言語では十分に説明できないという事実に正確に関係していると考えています。 私たちの重要なアイデアは、単一の絵画から直接芸術的創造性を学び、複雑なテキスト記述を提供することなく合成を導くことです。 具体的には、創造性を絵画の学習可能なテキスト記述とみなす。 本稿では,画像の全体的かつ詳細な情報を効率よく,かつ正確に学習し,絵画の完全な芸術的創造性を捉える,注目に基づくインバージョン手法を提案する。 本手法の質と効率を,様々な芸術家や様式の多彩な絵画に示す。 コードとモデルはhttps://github.com/zyxelsa/creativity-transfer.comで入手できる。

関連論文リスト

• Bridging Text and Image for Artist Style Transfer via Contrastive Learning [21.962361974579036]
  本稿では,任意のスタイル転送を制御するためのCLAST(Contrastive Learning for Artistic Style Transfer)を提案する。 画像テキストモデルからスタイル記述を効果的に抽出するための教師付きコントラスト訓練戦略を導入する。 また,AdaLNをベースとした新規かつ効率的な状態空間モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-12T15:27:57Z)
• Towards Highly Realistic Artistic Style Transfer via Stable Diffusion with Step-aware and Layer-aware Prompt [12.27693060663517]
  芸術的スタイルの転送は、学習した芸術的スタイルを任意のコンテンツイメージに転送することを目的としており、芸術的なスタイル化されたイメージを生成する。 LSASTと呼ばれる,事前学習型拡散型アートスタイルトランスファー手法を提案する。 提案手法は,最先端の芸術的スタイル伝達法よりも,よりリアルな芸術的スタイル化画像を生成することができる。
  論文  参考訳（メタデータ） (2024-04-17T15:28:53Z)
• Rethinking Artistic Copyright Infringements in the Era of Text-to-Image Generative Models [47.19481598385283]
  ArtSavantは、ウィキアートの作品の参照データセットと比較することで、アーティストのユニークなスタイルを決定するツールである。 そこで我々は,3つの人気テキスト・画像生成モデルにまたがる芸術的スタイルの複製の頻度を定量的に把握するために,大規模な実証的研究を行った。
  論文  参考訳（メタデータ） (2024-04-11T17:59:43Z)
• Text-Guided Synthesis of Eulerian Cinemagraphs [81.20353774053768]
  テキスト記述からシネマグラフを作成する完全自動化された方法であるText2Cinemagraphを紹介する。 連続した動きと反復的なテクスチャを示す流れの川や漂流する雲などの流体要素のシネマグラフに焦点を当てる。
  論文  参考訳（メタデータ） (2023-07-06T17:59:31Z)
• Not Only Generative Art: Stable Diffusion for Content-Style Disentanglement in Art Analysis [23.388338598125195]
  五屋(ごや)は、近年の創作モデルで捉えた芸術的知識を蒸留して、内容や様式を乱す方法である。 実験により、合成された画像は、アートワークの実際の分布のプロキシとして十分に役立っていることが示された。
  論文  参考訳（メタデータ） (2023-04-20T13:00:46Z)
• StylerDALLE: Language-Guided Style Transfer Using a Vector-Quantized Tokenizer of a Large-Scale Generative Model [64.26721402514957]
  本論文では,自然言語を用いて抽象芸術スタイルを記述するスタイル転送手法であるStylerDALLEを提案する。 具体的には、非自己回帰的なトークンシーケンス変換として、言語誘導型転送タスクを定式化する。 スタイル情報を組み込むために,CLIPに基づく言語指導による強化学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-16T12:44:44Z)
• Language Does More Than Describe: On The Lack Of Figurative Speech in Text-To-Image Models [63.545146807810305]
  テキスト・ツー・イメージ拡散モデルでは、テキスト入力プロンプトから高品質な画像を生成することができる。 これらのモデルは、コンテンツベースのラベル付けプロトコルから収集されたテキストデータを用いて訓練されている。 本研究では,現在使用されているテキスト・画像拡散モデルのトレーニングに使用されている公開テキストデータの感情性,目的性,抽象化の程度を特徴付ける。
  論文  参考訳（メタデータ） (2022-10-19T14:20:05Z)
• Interactive Style Transfer: All is Your Palette [74.06681967115594]
  本稿では,ユーザが対話的に調和したスタイルのイメージを作成できる,図形的な対話型スタイル転送(IST)手法を提案する。 私たちのISTメソッドは、どこからでもブラシやディップスタイルとして機能し、ターゲットのコンテンツイメージの任意の領域にペイントします。
  論文  参考訳（メタデータ） (2022-03-25T06:38:46Z)
• Name Your Style: An Arbitrary Artist-aware Image Style Transfer [38.41608300670523]
  任意のスタイル転送を制御するために,高度な画像テキストエンコーダを利用するテキスト駆動型画像スタイル転送(TxST)を提案する。 画像テキストモデルからスタイル記述を効果的に抽出するための対照的なトレーニング戦略を導入する。 我々はまた、スタイルやコンテンツの特徴を融合するクロスアテンションを探求する、新しく効率的なアテンションモジュールを提案する。
  論文  参考訳（メタデータ） (2022-02-28T06:21:38Z)
• What Can Style Transfer and Paintings Do For Model Robustness? [12.543035508615896]
  モデルロバスト性を改善するための一般的な戦略は、データ拡張である。 近年の研究では、任意のスタイル転送がデータ拡張の一形態として利用できることが示されている。 本研究では,絵からの学習を知覚的データ拡張の形で行うことにより,モデルロバスト性の向上が期待できることを示す。
  論文  参考訳（メタデータ） (2020-11-30T00:25:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。