論文の概要: StyleDrop: Text-to-Image Generation in Any Style

• arxiv url: http://arxiv.org/abs/2306.00983v1
• Date: Thu, 1 Jun 2023 17:59:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 13:38:05.941849
• Title: StyleDrop: Text-to-Image Generation in Any Style
• Title（参考訳）: StyleDrop: どんなスタイルでもテキストから画像を生成する
• Authors: Kihyuk Sohn, Nataniel Ruiz, Kimin Lee, Daniel Castro Chin, Irina Blok, Huiwen Chang, Jarred Barber, Lu Jiang, Glenn Entis, Yuanzhen Li, Yuan Hao, Irfan Essa, Michael Rubinstein, Dilip Krishnan
• Abstract要約: StyleDropは、テキスト・ツー・イメージ・モデルを用いて特定のスタイルを忠実に追従する画像の合成を可能にする方法である。 トレーニング可能なパラメータをごくわずかに微調整し、反復的なトレーニングを通じて品質を改善することで、新しいスタイルを効率的に学習する。 広範な研究により、スタイルチューニングの作業において、StyleDropはMuseに実装され、他の手法よりも確実に優れていることが示されている。
• 参考スコア（独自算出の注目度）: 43.42391701778596
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained large text-to-image models synthesize impressive images with an appropriate use of text prompts. However, ambiguities inherent in natural language and out-of-distribution effects make it hard to synthesize image styles, that leverage a specific design pattern, texture or material. In this paper, we introduce StyleDrop, a method that enables the synthesis of images that faithfully follow a specific style using a text-to-image model. The proposed method is extremely versatile and captures nuances and details of a user-provided style, such as color schemes, shading, design patterns, and local and global effects. It efficiently learns a new style by fine-tuning very few trainable parameters (less than $1\%$ of total model parameters) and improving the quality via iterative training with either human or automated feedback. Better yet, StyleDrop is able to deliver impressive results even when the user supplies only a single image that specifies the desired style. An extensive study shows that, for the task of style tuning text-to-image models, StyleDrop implemented on Muse convincingly outperforms other methods, including DreamBooth and textual inversion on Imagen or Stable Diffusion. More results are available at our project website: https://styledrop.github.io
• Abstract（参考訳）: テキストプロンプトを適切に利用して印象的な画像を合成する。 しかし、自然言語に固有の曖昧さや分布外効果により、特定のデザインパターンやテクスチャ、素材を利用するイメージスタイルの合成が困難になる。 本稿では,テキスト対画像モデルを用いて,特定のスタイルに忠実に従う画像の合成を可能にするstyledropを提案する。 提案手法は,カラースキーム,シェーディング,デザインパターン,局所的およびグローバル的効果など,ユーザが提供するスタイルのニュアンスや詳細を極めて多用途に取得する。 トレーニング可能なパラメータ(全体のモデルパラメータの1.5%未満)を微調整することで、新しいスタイルを効率よく学習し、人間か自動化されたフィードバックで反復的なトレーニングによって品質を改善する。 さらに、styledropは、ユーザーが所望のスタイルを特定する単一のイメージしか提供していない場合でも、印象的な結果を提供できる。 大規模な研究によると、スタイルチューニングのタスクにおいて、Museに実装されたStyleDropは、DreamBoothやImagenやStable Diffusionのテキストインバージョンなど、他の手法よりも確実に優れている。 さらなる結果は、プロジェクトのWebサイト(https://styledrop.github.io)で公開されています。

関連論文リスト

• Beyond Color and Lines: Zero-Shot Style-Specific Image Variations with Coordinated Semantics [3.9717825324709413]
  スタイルは、主に色、ブラシストローク、照明といった芸術的要素の観点から検討されてきた。 本研究では,コーディネート・セマンティクスを用いた画像変化のためのゼロショット・スキームを提案する。
  論文  参考訳（メタデータ） (2024-10-24T08:34:57Z)
• StyleTokenizer: Defining Image Style by a Single Instance for Controlling Diffusion Models [38.31347002106355]
  StyleTokenizerはゼロショットスタイルの制御画像生成方法である。 スタイルトークンーを使用してスタイル表現をテキスト表現と整合させる。 このアライメントは、テキストプロンプトの有効性への影響を効果的に最小化する。
  論文  参考訳（メタデータ） (2024-09-04T09:01:21Z)
• StyleShot: A Snapshot on Any Style [20.41380860802149]
  テスト時間チューニングを伴わない汎用的なスタイル転送には,優れたスタイル表現が不可欠であることを示す。 スタイル認識型エンコーダと、StyleGalleryと呼ばれるよく編成されたスタイルデータセットを構築することで、これを実現する。 当社のアプローチであるStyleShotは,テストタイムチューニングを必要とせずに,さまざまなスタイルを模倣する上で,シンプルかつ効果的なものです。
  論文  参考訳（メタデータ） (2024-07-01T16:05:18Z)
• Style Aligned Image Generation via Shared Attention [61.121465570763085]
  本稿では,一連の生成画像間のスタイルアライメントを確立する技術であるStyleAlignedを紹介する。 拡散過程において、最小限の注意共有を生かして、T2Iモデル内の画像間のスタイル整合性を維持する。 本手法は,多種多様なスタイルやテキストのプロンプトにまたがって評価を行い,高品質で忠実であることを示す。
  論文  参考訳（メタデータ） (2023-12-04T18:55:35Z)
• Visual Captioning at Will: Describing Images and Videos Guided by a Few Stylized Sentences [49.66987347397398]
  Few-Shot Stylized Visual Captioningは,任意のスタイルでキャプションを生成することを目的としている。 本稿では,条件付きエンコーダ-デコーダ言語モデルとビジュアルプロジェクションモジュールを用いたFS-StyleCapというフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-31T04:26:01Z)
• Deep Image Style Transfer from Freeform Text [4.186575888568896]
  本稿では,自由形ユーザテキスト入力からスタイル画像を生成することによって,ニューラルトランスファーの新しい手法を提案する。 言語モデルとスタイル転送モデルはシームレスなパイプラインを形成し、同様の損失と品質改善を備えた出力画像を生成することができる。
  論文  参考訳（メタデータ） (2022-12-13T19:24:08Z)
• DiffStyler: Controllable Dual Diffusion for Text-Driven Image Stylization [66.42741426640633]
  DiffStylerは、拡散された結果の内容とスタイルのバランスを制御するための二重拡散処理アーキテクチャである。 本稿では、逆復調処理をベースとしたコンテンツ画像に基づく学習可能なノイズを提案し、そのスタイリング結果により、コンテンツ画像の構造情報をよりよく保存する。
  論文  参考訳（メタデータ） (2022-11-19T12:30:44Z)
• Arbitrary Style Guidance for Enhanced Diffusion-Based Text-to-Image Generation [13.894251782142584]
  GLIDE や DALLE-2 のような拡散ベースのテキスト・画像生成モデルは近年広く成功している。 本稿では,参照画像でガイドされた任意のスタイルを用いた画像生成を支援する新しいスタイルガイダンス手法を提案する。
  論文  参考訳（メタデータ） (2022-11-14T20:52:57Z)
• Learning Diverse Tone Styles for Image Retouching [73.60013618215328]
  本稿では,フローベースアーキテクチャの標準化により,多様な画像のリタッチを学習することを提案する。 ジョイントトレーニングパイプラインは、スタイルエンコーダ、条件付きRetouchNet、イメージトーンスタイル正規化フロー(TSFlow)モジュールで構成される。 提案手法は最先端の手法に対して良好に動作し,多様な結果を生成するのに有効である。
  論文  参考訳（メタデータ） (2022-07-12T09:49:21Z)
• Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
  Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。 本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
  論文  参考訳（メタデータ） (2022-05-19T13:11:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。