論文の概要: FastCLIPstyler: Optimisation-free Text-based Image Style Transfer Using Style Representations

• arxiv url: http://arxiv.org/abs/2210.03461v4
• Date: Tue, 14 Nov 2023 07:25:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 19:40:50.443199
• Title: FastCLIPstyler: Optimisation-free Text-based Image Style Transfer Using Style Representations
• Title（参考訳）: FastCLIPstyler:スタイル表現を用いたテキストベース画像の最適化
• Authors: Ananda Padhmanabhan Suresh, Sanjana Jain, Pavit Noinongyao, Ankush Ganguly, Ukrit Watchareeruetai, and Aubin Samacoits
• Abstract要約: 我々は、任意のテキスト入力に対して単一のフォワードパスで画像をスタイリングできる一般化されたテキストベースの画像スタイル転送モデルであるFastCLIPstylerを提案する。 また、リソース制約のあるデバイスとの互換性のために設計された軽量モデルであるEdgeCLIPstylerも導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, language-driven artistic style transfer has emerged as a new type of style transfer technique, eliminating the need for a reference style image by using natural language descriptions of the style. The first model to achieve this, called CLIPstyler, has demonstrated impressive stylisation results. However, its lengthy optimisation procedure at runtime for each query limits its suitability for many practical applications. In this work, we present FastCLIPstyler, a generalised text-based image style transfer model capable of stylising images in a single forward pass for arbitrary text inputs. Furthermore, we introduce EdgeCLIPstyler, a lightweight model designed for compatibility with resource-constrained devices. Through quantitative and qualitative comparisons with state-of-the-art approaches, we demonstrate that our models achieve superior stylisation quality based on measurable metrics while offering significantly improved runtime efficiency, particularly on edge devices.
• Abstract（参考訳）: 近年,このスタイルの自然言語記述を用いて,参照スタイル画像の必要性を解消し,新たなタイプのスタイル転送技術として言語駆動型アートスタイル転送が登場している。 これを実現する最初のモデルはCLIPstylerと呼ばれ、印象的なスタイリング結果を示している。 しかし、各クエリに対する実行時の長い最適化手順は、多くの実用的なアプリケーションに対する適合性を制限している。 本稿では,任意のテキスト入力に対して単一のフォワードパスで画像をスタイリングできる汎用テキストベースの画像転送モデルfastclipstylerを提案する。 さらに,リソース制約のあるデバイスとの互換性を想定した軽量モデルedgeclipstylerを提案する。 最先端のアプローチと定量的・定性的な比較を通じて,我々のモデルが,測定可能なメトリクスに基づく優れたスタイライゼーション品質を達成し,特にエッジデバイスにおいて,ランタイム効率を大幅に向上させることを実証する。

関連論文リスト

• Ada-adapter:Fast Few-shot Style Personlization of Diffusion Model with Pre-trained Image Encoder [57.574544285878794]
  Ada-Adapterは拡散モデルの少数ショットスタイルのパーソナライズのための新しいフレームワークである。 提案手法は,単一の参照画像を用いたゼロショット方式の効率的な転送を可能にする。 フラットアートや3Dレンダリング,ロゴデザインなど,さまざまな芸術的スタイルに対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-07-08T02:00:17Z)
• StyleMamba : State Space Model for Efficient Text-driven Image Style Transfer [9.010012117838725]
  StyleMambaは、テキストプロンプトを対応する視覚スタイルに変換する効率的な画像スタイル転送フレームワークである。 既存のテキストガイドによるスタイリングには、数百のトレーニングイテレーションが必要で、多くのコンピューティングリソースが必要です。
  論文  参考訳（メタデータ） (2024-05-08T12:57:53Z)
• Rethink Arbitrary Style Transfer with Transformer and Contrastive Learning [11.900404048019594]
  本稿では,スタイリング画像の品質向上のための革新的手法を提案する。 まず、コンテンツとスタイルの特徴の整合性を改善する手法であるスタイル一貫性インスタンス正規化(SCIN)を提案する。 さらに,様々なスタイル間の関係を理解するために,インスタンスベースのコントラスト学習(ICL)アプローチを開発した。
  論文  参考訳（メタデータ） (2024-04-21T08:52:22Z)
• StyleInject: Parameter Efficient Tuning of Text-to-Image Diffusion Models [35.732715025002705]
  StyleInject(スタイルインジェクション)は、テキスト・ツー・イメージ・モデルに適した特殊な微調整アプローチである。 入力信号の特性に基づいて視覚特徴のばらつきを調整することで、様々なスタイルに適応する。 これは、コミュニティが調整した様々な高度な生成モデルから学習し、拡張するのに特に有効である。
  論文  参考訳（メタデータ） (2024-01-25T04:53:03Z)
• Style Aligned Image Generation via Shared Attention [61.121465570763085]
  本稿では,一連の生成画像間のスタイルアライメントを確立する技術であるStyleAlignedを紹介する。 拡散過程において、最小限の注意共有を生かして、T2Iモデル内の画像間のスタイル整合性を維持する。 本手法は,多種多様なスタイルやテキストのプロンプトにまたがって評価を行い,高品質で忠実であることを示す。
  論文  参考訳（メタデータ） (2023-12-04T18:55:35Z)
• Multimodality-guided Image Style Transfer using Cross-modal GAN Inversion [42.345533741985626]
  そこで本研究では,テキストガイダンスに基づいて,より優れたスタイル転送を実現する新しい手法を提案する。 提案手法は複数のソースやモダリティからのスタイル入力を可能にし,マルチモーダル誘導画像スタイル転送(MMIST)を実現する。 具体的には,特定のスタイルに整合したスタイル表現を生成する,新しいクロスモーダルなGANインバージョン手法によりMMISTを実現する。
  論文  参考訳（メタデータ） (2023-12-04T06:38:23Z)
• StyleCrafter: Enhancing Stylized Text-to-Video Generation with Style Adapter [78.75422651890776]
  StyleCrafterは、トレーニング済みのT2Vモデルをスタイルコントロールアダプタで拡張する汎用的な方法である。 コンテンツスタイルのゆがみを促進するため,テキストプロンプトからスタイル記述を取り除き,参照画像のみからスタイル情報を抽出する。 StyleCrafterは、テキストの内容と一致し、参照画像のスタイルに似た高品質なスタイリングビデオを効率よく生成する。
  論文  参考訳（メタデータ） (2023-12-01T03:53:21Z)
• MOSAIC: Multi-Object Segmented Arbitrary Stylization Using CLIP [0.0]
  テキストによって駆動されるスタイル転送は、実際のスタイルイメージを収集することなく、創造的に画像をスタイリングするための新しいパスを舗装した。 入力プロンプトから抽出したコンテキストに基づいて、画像内の異なるオブジェクトにスタイルを適用することができるCLIP(MOSAIC)を用いたマルチオブジェクト分割任意スティル化手法を提案する。 本手法は任意のオブジェクトやスタイルに拡張可能であり,最先端の手法と比較して高品質な画像を生成することができる。
  論文  参考訳（メタデータ） (2023-09-24T18:24:55Z)
• StylerDALLE: Language-Guided Style Transfer Using a Vector-Quantized Tokenizer of a Large-Scale Generative Model [64.26721402514957]
  本論文では,自然言語を用いて抽象芸術スタイルを記述するスタイル転送手法であるStylerDALLEを提案する。 具体的には、非自己回帰的なトークンシーケンス変換として、言語誘導型転送タスクを定式化する。 スタイル情報を組み込むために,CLIPに基づく言語指導による強化学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-16T12:44:44Z)
• A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive Learning [84.8813842101747]
  Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。 入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。 本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-03-09T04:35:00Z)
• Parameter-Free Style Projection for Arbitrary Style Transfer [64.06126075460722]
  本稿では,パラメータフリー,高速,効果的なコンテンツスタイル変換のための特徴レベル変換手法であるStyle Projectionを提案する。 本稿では、任意の画像スタイルの転送にスタイル投影を利用するリアルタイムフィードフォワードモデルを提案する。
  論文  参考訳（メタデータ） (2020-03-17T13:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。