論文の概要: Inversion-Based Style Transfer with Diffusion Models

• arxiv url: http://arxiv.org/abs/2211.13203v3
• Date: Mon, 20 Mar 2023 14:32:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 01:38:20.621334
• Title: Inversion-Based Style Transfer with Diffusion Models
• Title（参考訳）: 拡散モデルを用いた反転型スタイル伝達
• Authors: Yuxin Zhang, Nisha Huang, Fan Tang, Haibin Huang, Chongyang Ma, Weiming Dong, Changsheng Xu
• Abstract要約: 以前の任意の例として誘導された芸術的画像生成法は、しばしば形状変化の制御や要素の伝達に失敗する。 画像のキー情報を効率よく正確に学習できるインバージョンベースのスタイル転送手法(InST)を提案する。
• 参考スコア（独自算出の注目度）: 78.93863016223858
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The artistic style within a painting is the means of expression, which includes not only the painting material, colors, and brushstrokes, but also the high-level attributes including semantic elements, object shapes, etc. Previous arbitrary example-guided artistic image generation methods often fail to control shape changes or convey elements. The pre-trained text-to-image synthesis diffusion probabilistic models have achieved remarkable quality, but it often requires extensive textual descriptions to accurately portray attributes of a particular painting. We believe that the uniqueness of an artwork lies precisely in the fact that it cannot be adequately explained with normal language. Our key idea is to learn artistic style directly from a single painting and then guide the synthesis without providing complex textual descriptions. Specifically, we assume style as a learnable textual description of a painting. We propose an inversion-based style transfer method (InST), which can efficiently and accurately learn the key information of an image, thus capturing and transferring the artistic style of a painting. We demonstrate the quality and efficiency of our method on numerous paintings of various artists and styles. Code and models are available at https://github.com/zyxElsa/InST.
• Abstract（参考訳）: 絵画の中の芸術的なスタイルは表現の手段であり、絵画の素材、色、筆跡だけでなく、意味要素、物の形などの高水準の属性も含んでいる。 従来の任意の例に基づく芸術的画像生成手法は、しばしば形状変化の制御や要素の伝達に失敗する。 事前学習されたテキストから画像への合成拡散確率モデルは驚くべき品質を達成したが、多くの場合、特定の絵画の属性を正確に描写するために広範なテキスト記述を必要とする。 アートワークの独特さは、通常の言語では十分に説明できないという事実に正確に関係していると考えています。 私たちの重要なアイデアは、単一の絵画から直接芸術的なスタイルを学び、複雑なテキスト記述を使わずに合成を導くことです。 具体的には、絵画の学習可能なテキスト記述としてスタイルを想定する。 本稿では,画像のキー情報を効率的に正確に学習し,絵画の芸術的スタイルをキャプチャ・転送するインバージョン方式のスタイル転送手法を提案する。 本手法の質と効率を,様々な芸術家や様式の多彩な絵画に示す。 コードとモデルはhttps://github.com/zyxElsa/InSTで入手できる。

関連論文リスト

• Bridging Text and Image for Artist Style Transfer via Contrastive Learning [21.962361974579036]
  本稿では,任意のスタイル転送を制御するためのCLAST(Contrastive Learning for Artistic Style Transfer)を提案する。 画像テキストモデルからスタイル記述を効果的に抽出するための教師付きコントラスト訓練戦略を導入する。 また,AdaLNをベースとした新規かつ効率的な状態空間モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-12T15:27:57Z)
• Towards Highly Realistic Artistic Style Transfer via Stable Diffusion with Step-aware and Layer-aware Prompt [12.27693060663517]
  芸術的スタイルの転送は、学習した芸術的スタイルを任意のコンテンツイメージに転送することを目的としており、芸術的なスタイル化されたイメージを生成する。 LSASTと呼ばれる,事前学習型拡散型アートスタイルトランスファー手法を提案する。 提案手法は,最先端の芸術的スタイル伝達法よりも,よりリアルな芸術的スタイル化画像を生成することができる。
  論文  参考訳（メタデータ） (2024-04-17T15:28:53Z)
• Rethinking Artistic Copyright Infringements in the Era of Text-to-Image Generative Models [47.19481598385283]
  ArtSavantは、ウィキアートの作品の参照データセットと比較することで、アーティストのユニークなスタイルを決定するツールである。 そこで我々は,3つの人気テキスト・画像生成モデルにまたがる芸術的スタイルの複製の頻度を定量的に把握するために,大規模な実証的研究を行った。
  論文  参考訳（メタデータ） (2024-04-11T17:59:43Z)
• Text-Guided Synthesis of Eulerian Cinemagraphs [81.20353774053768]
  テキスト記述からシネマグラフを作成する完全自動化された方法であるText2Cinemagraphを紹介する。 連続した動きと反復的なテクスチャを示す流れの川や漂流する雲などの流体要素のシネマグラフに焦点を当てる。
  論文  参考訳（メタデータ） (2023-07-06T17:59:31Z)
• Not Only Generative Art: Stable Diffusion for Content-Style Disentanglement in Art Analysis [23.388338598125195]
  五屋(ごや)は、近年の創作モデルで捉えた芸術的知識を蒸留して、内容や様式を乱す方法である。 実験により、合成された画像は、アートワークの実際の分布のプロキシとして十分に役立っていることが示された。
  論文  参考訳（メタデータ） (2023-04-20T13:00:46Z)
• StylerDALLE: Language-Guided Style Transfer Using a Vector-Quantized Tokenizer of a Large-Scale Generative Model [64.26721402514957]
  本論文では,自然言語を用いて抽象芸術スタイルを記述するスタイル転送手法であるStylerDALLEを提案する。 具体的には、非自己回帰的なトークンシーケンス変換として、言語誘導型転送タスクを定式化する。 スタイル情報を組み込むために,CLIPに基づく言語指導による強化学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-16T12:44:44Z)
• Language Does More Than Describe: On The Lack Of Figurative Speech in Text-To-Image Models [63.545146807810305]
  テキスト・ツー・イメージ拡散モデルでは、テキスト入力プロンプトから高品質な画像を生成することができる。 これらのモデルは、コンテンツベースのラベル付けプロトコルから収集されたテキストデータを用いて訓練されている。 本研究では,現在使用されているテキスト・画像拡散モデルのトレーニングに使用されている公開テキストデータの感情性,目的性,抽象化の程度を特徴付ける。
  論文  参考訳（メタデータ） (2022-10-19T14:20:05Z)
• Interactive Style Transfer: All is Your Palette [74.06681967115594]
  本稿では,ユーザが対話的に調和したスタイルのイメージを作成できる,図形的な対話型スタイル転送(IST)手法を提案する。 私たちのISTメソッドは、どこからでもブラシやディップスタイルとして機能し、ターゲットのコンテンツイメージの任意の領域にペイントします。
  論文  参考訳（メタデータ） (2022-03-25T06:38:46Z)
• Name Your Style: An Arbitrary Artist-aware Image Style Transfer [38.41608300670523]
  任意のスタイル転送を制御するために,高度な画像テキストエンコーダを利用するテキスト駆動型画像スタイル転送(TxST)を提案する。 画像テキストモデルからスタイル記述を効果的に抽出するための対照的なトレーニング戦略を導入する。 我々はまた、スタイルやコンテンツの特徴を融合するクロスアテンションを探求する、新しく効率的なアテンションモジュールを提案する。
  論文  参考訳（メタデータ） (2022-02-28T06:21:38Z)
• What Can Style Transfer and Paintings Do For Model Robustness? [12.543035508615896]
  モデルロバスト性を改善するための一般的な戦略は、データ拡張である。 近年の研究では、任意のスタイル転送がデータ拡張の一形態として利用できることが示されている。 本研究では,絵からの学習を知覚的データ拡張の形で行うことにより,モデルロバスト性の向上が期待できることを示す。
  論文  参考訳（メタデータ） (2020-11-30T00:25:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。