論文の概要: StyleBooth: Image Style Editing with Multimodal Instruction

• arxiv url: http://arxiv.org/abs/2404.12154v2
• Date: Sun, 15 Dec 2024 15:31:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:50:39.192195
• Title: StyleBooth: Image Style Editing with Multimodal Instruction
• Title（参考訳）: StyleBooth:マルチモーダルなインストラクションによるイメージスタイルの編集
• Authors: Zhen Han, Chaojie Mao, Zeyinzi Jiang, Yulin Pan, Jingfeng Zhang,
• Abstract要約: 原画像が与えられた場合、画像編集は提供された命令に一致した画像を生成することを目的としている。 本稿では,画像スタイルの編集に焦点をあて,画像編集のための総合的なフレームワークであるStyleBoothを提案する。 反復的なスタイル記述のチューニングと編集とユーザビリティのフィルタリングによって、StyleBoothデータセットは、コンテンツ一貫性のあるスタイリング/プレーンイメージペアを提供する。
• 参考スコア（独自算出の注目度）: 17.251982243534144
• License:
• Abstract: Given an original image, image editing aims to generate an image that align with the provided instruction. The challenges are to accept multimodal inputs as instructions and a scarcity of high-quality training data, including crucial triplets of source/target image pairs and multimodal (text and image) instructions. In this paper, we focus on image style editing and present StyleBooth, a method that proposes a comprehensive framework for image editing and a feasible strategy for building a high-quality style editing dataset. We integrate encoded textual instruction and image exemplar as a unified condition for diffusion model, enabling the editing of original image following multimodal instructions. Furthermore, by iterative style-destyle tuning and editing and usability filtering, the StyleBooth dataset provides content-consistent stylized/plain image pairs in various categories of styles. To show the flexibility of StyleBooth, we conduct experiments on diverse tasks, such as text-based style editing, exemplar-based style editing and compositional style editing. The results demonstrate that the quality and variety of training data significantly enhance the ability to preserve content and improve the overall quality of generated images in editing tasks. Project page can be found at https://ali-vilab.github.io/stylebooth-page/.
• Abstract（参考訳）: 原画像が与えられた場合、画像編集は提供された命令に一致した画像を生成することを目的としている。 課題は、マルチモーダル入力を命令として受け入れ、ソース/ターゲットイメージペアの重要な三つ子やマルチモーダル(テキストとイメージ)命令を含む高品質なトレーニングデータの不足である。 本稿では,画像編集のための総合的なフレームワークであるStyleBoothと,高品質なスタイル編集データセットを構築するための実行可能な戦略を提案する。 我々は,拡散モデルの統一条件として,エンコードされたテキスト命令と画像例を統合し,マルチモーダル命令に従って原画像の編集を可能にする。 さらに、反復的なスタイル記述のチューニングと編集とユーザビリティのフィルタリングにより、StyleBoothデータセットは、スタイルのさまざまなカテゴリにおいて、コンテンツ一貫性のあるスタイリング/プレーンイメージペアを提供する。 StyleBoothの柔軟性を示すために、テキストベースのスタイル編集、模範的なスタイル編集、作曲スタイル編集など様々なタスクについて実験を行う。 その結果,学習データの質と多様性は,編集作業におけるコンテンツの保存能力と生成画像の全体的な品質向上を著しく向上させることがわかった。 プロジェクトページはhttps://ali-vilab.github.io/stylebooth-page/にある。

関連論文リスト

• StyleBrush: Style Extraction and Transfer from a Single Image [19.652575295703485]
  ビジュアルコンテンツのスティル化は、オリジナルの構造的特徴を保ちながら、ピクセルレベルで特定のスタイルパターンを追加することを目的としている。 本稿では,参照画像からスタイルを正確にキャプチャし,抽出したスタイルを他の入力ビジュアルコンテンツにブラシするStyleBrushを提案する。
  論文  参考訳（メタデータ） (2024-08-18T14:27:20Z)
• InstructBrush: Learning Attention-based Instruction Optimization for Image Editing [54.07526261513434]
  InstructBrushは命令ベースの画像編集方法の逆変換手法である。 画像ペアから編集命令として編集効果を抽出し、さらに画像編集に適用する。 提案手法は,編集性能に優れ,目的の編集効果とセマンティックに一致している。
  論文  参考訳（メタデータ） (2024-03-27T15:03:38Z)
• StyleCrafter: Enhancing Stylized Text-to-Video Generation with Style Adapter [78.75422651890776]
  StyleCrafterは、トレーニング済みのT2Vモデルをスタイルコントロールアダプタで拡張する汎用的な方法である。 コンテンツスタイルのゆがみを促進するため,テキストプロンプトからスタイル記述を取り除き,参照画像のみからスタイル情報を抽出する。 StyleCrafterは、テキストの内容と一致し、参照画像のスタイルに似た高品質なスタイリングビデオを効率よく生成する。
  論文  参考訳（メタデータ） (2023-12-01T03:53:21Z)
• Optimisation-Based Multi-Modal Semantic Image Editing [58.496064583110694]
  本稿では,複数の編集命令型に対応するために,推論時編集の最適化を提案する。 各損失関数の影響を調整することで、ユーザの好みに合わせてフレキシブルな編集ソリューションを構築することができる。 本手法は,テキスト,ポーズ,スクリブルといった編集条件を用いて評価し,複雑な編集を行う能力を強調した。
  論文  参考訳（メタデータ） (2023-11-28T15:31:11Z)
• StyleAdapter: A Unified Stylized Image Generation Model [97.24936247688824]
  StyleAdapterは、様々なスタイリング画像を生成することができる統一型スタイリング画像生成モデルである。 T2I-adapter や ControlNet のような既存の制御可能な合成手法と統合することができる。
  論文  参考訳（メタデータ） (2023-09-04T19:16:46Z)
• LayerDiffusion: Layered Controlled Image Editing with Diffusion Models [5.58892860792971]
  LayerDiffusionはセマンティックベースの階層制御画像編集手法である。 我々は、大規模テキスト・画像モデルを活用し、階層化された制御最適化戦略を採用する。 実験により,高コヒーレント画像の生成における本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-30T01:26:41Z)
• DiffStyler: Controllable Dual Diffusion for Text-Driven Image Stylization [66.42741426640633]
  DiffStylerは、拡散された結果の内容とスタイルのバランスを制御するための二重拡散処理アーキテクチャである。 本稿では、逆復調処理をベースとしたコンテンツ画像に基づく学習可能なノイズを提案し、そのスタイリング結果により、コンテンツ画像の構造情報をよりよく保存する。
  論文  参考訳（メタデータ） (2022-11-19T12:30:44Z)
• Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
  Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。 本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
  論文  参考訳（メタデータ） (2022-05-19T13:11:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。