論文の概要: StyleCLIPDraw: Coupling Content and Style in Text-to-Drawing Translation
- arxiv url: http://arxiv.org/abs/2202.12362v1
- Date: Thu, 24 Feb 2022 21:03:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-01 03:03:25.993367
- Title: StyleCLIPDraw: Coupling Content and Style in Text-to-Drawing Translation
- Title（参考訳）: StyleCLIPDraw:テキスト間翻訳における内容とスタイルの結合
- Authors: Peter Schaldenbrand, Zhixuan Liu, Jean Oh
- Abstract要約: 本稿では,ユーザが所望の描画スタイルを指定可能なテキスト記述のためのスタイルドローイング生成手法を提案する。
創作過程において、スタイルと内容が分離できないという芸術理論に触発されて、我々はStyleCLIPDrawとして知られる、結合したアプローチを提案する。
人間の評価に基づいて、StyleCLIPDrawによって生成される画像のスタイルは、シーケンシャルアプローチによって強く好まれる。
- 参考スコア（独自算出の注目度）: 10.357474047610172
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generating images that fit a given text description using machine learning
has improved greatly with the release of technologies such as the CLIP
image-text encoder model; however, current methods lack artistic control of the
style of image to be generated. We present an approach for generating styled
drawings for a given text description where a user can specify a desired
drawing style using a sample image. Inspired by a theory in art that style and
content are generally inseparable during the creative process, we propose a
coupled approach, known here as StyleCLIPDraw, whereby the drawing is generated
by optimizing for style and content simultaneously throughout the process as
opposed to applying style transfer after creating content in a sequence. Based
on human evaluation, the styles of images generated by StyleCLIPDraw are
strongly preferred to those by the sequential approach. Although the quality of
content generation degrades for certain styles, overall considering both
content \textit{and} style, StyleCLIPDraw is found far more preferred,
indicating the importance of style, look, and feel of machine generated images
to people as well as indicating that style is coupled in the drawing process
itself. Our code (https://github.com/pschaldenbrand/StyleCLIPDraw), a
demonstration (https://replicate.com/pschaldenbrand/style-clip-draw), and style
evaluation data
(https://www.kaggle.com/pittsburghskeet/drawings-with-style-evaluation-styleclipdraw)
are publicly available.
- Abstract（参考訳）: 機械学習を用いたテキスト記述に適合した画像の生成は、CLIP画像テキストエンコーダモデルのような技術のリリースによって大幅に改善されているが、現在の手法では生成する画像のスタイルの芸術的制御が欠如している。
本稿では,ユーザが所望の描画スタイルをサンプル画像を用いて指定できる所定のテキスト記述のためのスタイルドローイング生成手法を提案する。
創作過程において、スタイルと内容は一般に分離できないという芸術理論に着想を得て、スタイルと内容の同時最適化を行ない、シーケンス内でのコンテンツ作成後にスタイル転送を適用するのとは対照的に、図面と内容の同時最適化によって図面を生成する、StyleCLIPDrawと呼ばれる組み合わせのアプローチを提案する。
人間の評価に基づいて、StyleCLIPDrawによって生成される画像のスタイルは、シーケンシャルアプローチによって強く好まれる。
コンテンツ生成の質は、特定のスタイルで低下するが、全体としては、コンテンツ \textit{and} スタイルの両方を考慮すると、StyleCLIPDraw の方がずっと好まれており、スタイル、ルック、フィール、および描画プロセス自体にスタイルが結合されていることを示す。
私たちのコード(https://github.com/pschaldenbrand/styleclipdraw)、デモンストレーション(https://replicate.com/pschaldenbrand/style-clip-draw)、スタイル評価データ(https://www.kaggle.com/pittsburghskeet/drawings-with-style-evaluation-styleclipdraw)が公開されている。
関連論文リスト
- StyleBrush: Style Extraction and Transfer from a Single Image [19.652575295703485]
ビジュアルコンテンツのスティル化は、オリジナルの構造的特徴を保ちながら、ピクセルレベルで特定のスタイルパターンを追加することを目的としている。
本稿では,参照画像からスタイルを正確にキャプチャし,抽出したスタイルを他の入力ビジュアルコンテンツにブラシするStyleBrushを提案する。
論文 参考訳（メタデータ） (2024-08-18T14:27:20Z) - StyleShot: A Snapshot on Any Style [20.41380860802149]
テスト時間チューニングを伴わない汎用的なスタイル転送には,優れたスタイル表現が不可欠であることを示す。
スタイル認識型エンコーダと、StyleGalleryと呼ばれるよく編成されたスタイルデータセットを構築することで、これを実現する。
当社のアプローチであるStyleShotは,テストタイムチューニングを必要とせずに,さまざまなスタイルを模倣する上で,シンプルかつ効果的なものです。
論文 参考訳（メタデータ） (2024-07-01T16:05:18Z) - Style Aligned Image Generation via Shared Attention [61.121465570763085]
本稿では,一連の生成画像間のスタイルアライメントを確立する技術であるStyleAlignedを紹介する。
拡散過程において、最小限の注意共有を生かして、T2Iモデル内の画像間のスタイル整合性を維持する。
本手法は,多種多様なスタイルやテキストのプロンプトにまたがって評価を行い,高品質で忠実であることを示す。
論文 参考訳（メタデータ） (2023-12-04T18:55:35Z) - StyleCrafter: Enhancing Stylized Text-to-Video Generation with Style Adapter [78.75422651890776]
StyleCrafterは、トレーニング済みのT2Vモデルをスタイルコントロールアダプタで拡張する汎用的な方法である。
コンテンツスタイルのゆがみを促進するため,テキストプロンプトからスタイル記述を取り除き,参照画像のみからスタイル情報を抽出する。
StyleCrafterは、テキストの内容と一致し、参照画像のスタイルに似た高品質なスタイリングビデオを効率よく生成する。
論文 参考訳（メタデータ） (2023-12-01T03:53:21Z) - MOSAIC: Multi-Object Segmented Arbitrary Stylization Using CLIP [0.0]
テキストによって駆動されるスタイル転送は、実際のスタイルイメージを収集することなく、創造的に画像をスタイリングするための新しいパスを舗装した。
入力プロンプトから抽出したコンテキストに基づいて、画像内の異なるオブジェクトにスタイルを適用することができるCLIP(MOSAIC)を用いたマルチオブジェクト分割任意スティル化手法を提案する。
本手法は任意のオブジェクトやスタイルに拡張可能であり,最先端の手法と比較して高品質な画像を生成することができる。
論文 参考訳（メタデータ） (2023-09-24T18:24:55Z) - StyleAdapter: A Unified Stylized Image Generation Model [97.24936247688824]
StyleAdapterは、様々なスタイリング画像を生成することができる統一型スタイリング画像生成モデルである。
T2I-adapter や ControlNet のような既存の制御可能な合成手法と統合することができる。
論文 参考訳（メタデータ） (2023-09-04T19:16:46Z) - Visual Captioning at Will: Describing Images and Videos Guided by a Few
Stylized Sentences [49.66987347397398]
Few-Shot Stylized Visual Captioningは,任意のスタイルでキャプションを生成することを目的としている。
本稿では,条件付きエンコーダ-デコーダ言語モデルとビジュアルプロジェクションモジュールを用いたFS-StyleCapというフレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-31T04:26:01Z) - Any-to-Any Style Transfer: Making Picasso and Da Vinci Collaborate [58.83278629019384]
スタイル転送は、コンテンツ参照のために、ある画像のスタイルを他の画像へのスタイル参照にレンダリングすることを目的としている。
既存のアプローチでは、スタイルイメージの全体的スタイルをグローバルな方法で適用するか、あるいは、スタイルイメージのローカル色とテクスチャを、事前に定義された方法でコンテンツに移行するかのいずれかである。
本稿では,Any-to-Any Style Transferを提案する。Any-to-Any Style Transferは,スタイル画像中の領域のスタイルを対話的に選択し,所定のコンテンツ領域に適用することができる。
論文 参考訳（メタデータ） (2023-04-19T15:15:36Z) - Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。
本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
論文 参考訳（メタデータ） (2022-05-19T13:11:24Z) - StyleCLIPDraw: Coupling Content and Style in Text-to-Drawing Synthesis [9.617654472780874]
StyleCLIPDrawはCLIPDrawテキストから描画合成モデルにスタイル損失を追加する。
提案手法はテクスチャと形状の両方でスタイルを捉えることができる。
論文 参考訳（メタデータ） (2021-11-04T19:57:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。