論文の概要: Sem-CS: Semantic CLIPStyler for Text-Based Image Style Transfer

• arxiv url: http://arxiv.org/abs/2307.05934v1
• Date: Wed, 12 Jul 2023 05:59:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-13 14:10:38.020678
• Title: Sem-CS: Semantic CLIPStyler for Text-Based Image Style Transfer
• Title（参考訳）: Sem-CS: テキストベースの画像スタイル転送のためのセマンティックCLIPStyler
• Authors: Chanda Grover Kamra, Indra Deep Mastan, Debayan Gupta
• Abstract要約: 本稿ではセマンティックCLIPStyler(Semantic CLIPStyler)を提案する。 Sem-CSはまずコンテンツイメージを正当で非正当なオブジェクトに分割し、所定のスタイルのテキスト記述に基づいて芸術的なスタイルを転送する。 DISTS,NIMA,ユーザスタディスコアなどの実験結果から,提案手法は質的,定量的な性能に優れることが示された。
• 参考スコア（独自算出の注目度）: 4.588028371034406
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: CLIPStyler demonstrated image style transfer with realistic textures using only a style text description (instead of requiring a reference style image). However, the ground semantics of objects in the style transfer output is lost due to style spill-over on salient and background objects (content mismatch) or over-stylization. To solve this, we propose Semantic CLIPStyler (Sem-CS), that performs semantic style transfer. Sem-CS first segments the content image into salient and non-salient objects and then transfers artistic style based on a given style text description. The semantic style transfer is achieved using global foreground loss (for salient objects) and global background loss (for non-salient objects). Our empirical results, including DISTS, NIMA and user study scores, show that our proposed framework yields superior qualitative and quantitative performance. Our code is available at github.com/chandagrover/sem-cs.
• Abstract（参考訳）: CLIPStylerは、(参照スタイルのイメージを必要とする代わりに)スタイル記述のみを使用して、現実的なテクスチャでイメージスタイルの転送をデモした。 しかし、スタイル転送出力におけるオブジェクトの基底セマンティクスは、サルエントや背景オブジェクト(コンテンツミスマッチ)へのスタイルこぼれや過度なスタイライゼーションによって失われる。 そこで,本稿では,セマンティックスタイル転送を行うセマンティッククリップスタイル(sem-cs)を提案する。 Sem-CSはまずコンテンツイメージを正当で非正当なオブジェクトに分割し、所定のスタイルのテキスト記述に基づいて芸術的なスタイルを転送する。 セマンティックなスタイルの転送は、グローバルな前景の損失(有能なオブジェクト)とグローバルな背景の損失(非塩性オブジェクト)を用いて達成される。 DISTS,NIMA,ユーザスタディスコアなどの実験結果から,提案手法が質的,定量的に優れた性能を示すことを示す。 私たちのコードはgithub.com/chandagrover/sem-csで入手できる。

関連論文リスト

• Soulstyler: Using Large Language Model to Guide Image Style Transfer for Target Object [9.759321877363258]
  Soulstylerを使えば、ユーザーは簡単なテキスト記述を通じて画像中の特定のオブジェクトのスタイル化をガイドできる。 テキストを解析し、スタイル化の目標と特定のスタイルを特定するために、大きな言語モデルを導入する。 また,特定の対象オブジェクトに対してのみスタイル転送が行われることを保証する,新たなローカライズされたテキストイメージブロックマッチング損失を導入する。
  論文  参考訳（メタデータ） (2023-11-22T18:15:43Z)
• PromptStyler: Prompt-driven Style Generation for Source-free Domain Generalization [35.37285674554127]
  本稿では,プロンプトを介して多様なスタイルを合成することにより,関節空間における様々な分布変化をシミュレートするPromptStylerを提案する。 提案手法は,擬似単語S*に対する学習可能なスタイルワードベクトルを用いて,様々なスタイル特徴を生成することを学習する。 PromptStylerは、トレーニングにイメージを必要としないにも関わらず、PACS、VLCS、OfficeHome、DomainNetの最先端技術を実現している。
  論文  参考訳（メタデータ） (2023-07-27T21:14:46Z)
• StylerDALLE: Language-Guided Style Transfer Using a Vector-Quantized Tokenizer of a Large-Scale Generative Model [64.26721402514957]
  本論文では,自然言語を用いて抽象芸術スタイルを記述するスタイル転送手法であるStylerDALLEを提案する。 具体的には、非自己回帰的なトークンシーケンス変換として、言語誘導型転送タスクを定式化する。 スタイル情報を組み込むために,CLIPに基づく言語指導による強化学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-16T12:44:44Z)
• SEM-CS: Semantic CLIPStyler for Text-Based Image Style Transfer [4.588028371034406]
  本稿ではセマンティックCLIPStyler(Semantic CLIPStyler)を提案する。 Sem-CSはまずコンテンツイメージを正当で非正当なオブジェクトに分割し、所定のスタイルのテキスト記述に基づいて芸術的なスタイルを転送する。 DISTS,NIMA,ユーザスタディスコアなどの実験結果から,提案手法は質的,定量的な性能に優れることが示された。
  論文  参考訳（メタデータ） (2023-03-11T07:33:06Z)
• DSI2I: Dense Style for Unpaired Image-to-Image Translation [70.93865212275412]
  Inpaired exemplar-based image-to-image (UEI2I) 翻訳は、ソース画像をターゲット画像領域に変換する。 我々は,スタイルを高密度な特徴写像として表現し,外部意味情報を必要とせず,よりきめ細かなソース画像の転送を可能にすることを提案する。 以上の結果から,本手法による翻訳は,より多様であり,資料内容の保存性が向上し,最先端の手法と比較すると,先例に近づいたことが示唆された。
  論文  参考訳（メタデータ） (2022-12-26T18:45:25Z)
• Diffusion-based Image Translation using Disentangled Style and Content Representation [51.188396199083336]
  セマンティックテキストや単一のターゲット画像でガイドされた拡散ベースの画像変換により、柔軟なスタイル変換が可能になった。 逆拡散中、画像の原内容を維持することはしばしば困難である。 本稿では,不整合スタイルとコンテンツ表現を用いた新しい拡散に基づく教師なし画像翻訳手法を提案する。 提案手法は,テキスト誘導と画像誘導の両方の翻訳作業において,最先端のベースラインモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-30T06:44:37Z)
• Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
  Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。 本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
  論文  参考訳（メタデータ） (2022-05-19T13:11:24Z)
• CLIPstyler: Image Style Transfer with a Single Text Condition [34.24876359759408]
  既存のニューラルスタイル転送法では、スタイル画像のテクスチャ情報をコンテンツ画像に転送するために参照スタイル画像が必要である。 そこで本稿では,スタイルイメージを必要とせず,所望のスタイルをテキストで記述した上でのみ,スタイル転送を可能にする新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-01T09:48:53Z)
• Context-Aware Image Inpainting with Learned Semantic Priors [100.99543516733341]
  欠落した内容を推定するために意味的に意味のある前文タスクを導入する。 本研究では,グローバルなセマンティクスと局所的な特徴を適応的に統合した文脈認識型画像インパインティングモデルを提案する。
  論文  参考訳（メタデータ） (2021-06-14T08:09:43Z)
• Language-Driven Image Style Transfer [72.36790598245096]
  我々は、テキストでガイドされたコンテンツイメージのスタイルを操作するための新しいタスク、言語駆動型イメージスタイル転送(textttLDIST)を導入する。 識別器は、スタイルイメージの言語とパッチの相関や、変換された結果の相関を考慮し、スタイル命令を共同で埋め込む。 実験により, CLVAは有効であり, textttLDIST 上で超高速に転送された結果が得られた。
  論文  参考訳（メタデータ） (2021-06-01T01:58:50Z)
• DeepObjStyle: Deep Object-based Photo Style Transfer [31.75300124593133]
  スタイル転送の大きな課題の1つは、出力画像と入力画像(スタイルとコンテンツ)の間の適切な画像特徴の監督である。 トレーニングデータに依存しないフレームワークにおけるスタイル管理のためのオブジェクトベースのスタイル転送手法であるDeepStyleを提案する。
  論文  参考訳（メタデータ） (2020-12-11T17:02:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。