論文の概要: Puff-Net: Efficient Style Transfer with Pure Content and Style Feature Fusion Network
- arxiv url: http://arxiv.org/abs/2405.19775v1
- Date: Thu, 30 May 2024 07:41:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-31 15:38:52.428212
- Title: Puff-Net: Efficient Style Transfer with Pure Content and Style Feature Fusion Network
- Title(参考訳): Puff-Net:Pure ContentとStyle Feature Fusion Networkによる効率的なスタイル転送
- Authors: Sizhe Zheng, Pan Gao, Peng Zhou, Jie Qin,
- Abstract要約: スタイル転送は、オリジナルの構造を維持しながら、スタイルイメージの芸術的な特徴で画像をレンダリングすることを目的としている。
CNNベースの手法では、入力画像間の大域的情報と長距離依存関係を扱うことは困難である。
我々はPuff-Netと呼ばれる新しいネットワーク、すなわち純粋コンテンツとスタイルの機能融合ネットワークを提案する。
- 参考スコア(独自算出の注目度): 32.12413686394824
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Style transfer aims to render an image with the artistic features of a style image, while maintaining the original structure. Various methods have been put forward for this task, but some challenges still exist. For instance, it is difficult for CNN-based methods to handle global information and long-range dependencies between input images, for which transformer-based methods have been proposed. Although transformers can better model the relationship between content and style images, they require high-cost hardware and time-consuming inference. To address these issues, we design a novel transformer model that includes only the encoder, thus significantly reducing the computational cost. In addition, we also find that existing style transfer methods may lead to images under-stylied or missing content. In order to achieve better stylization, we design a content feature extractor and a style feature extractor, based on which pure content and style images can be fed to the transformer. Finally, we propose a novel network termed Puff-Net, i.e., pure content and style feature fusion network. Through qualitative and quantitative experiments, we demonstrate the advantages of our model compared to state-of-the-art ones in the literature.
- Abstract(参考訳): スタイル転送は、オリジナルの構造を維持しながら、スタイルイメージの芸術的な特徴で画像をレンダリングすることを目的としている。
このタスクには様々な方法が提案されているが、いくつかの課題が残っている。
例えば、CNNベースの手法では、入力画像間の大域的情報や長距離依存関係を扱うことは困難であり、トランスフォーマーベースの手法が提案されている。
トランスフォーマーは、コンテンツとスタイルイメージの関係をより良くモデル化できるが、高価なハードウェアと時間を要する。
これらの問題に対処するため、エンコーダのみを含む新しいトランスモデルを設計し、計算コストを大幅に削減する。
さらに,既存のスタイル転送手法は,画像のスタイリッシュ化や欠落に繋がる可能性があることも確認した。
そこで本研究では,コンテント特徴抽出器とスタイル特徴抽出器を設計し,コンテントとスタイルイメージを変換器に供給する手法を提案する。
最後に、Puff-Netと呼ばれる新しいネットワーク、すなわち純粋コンテンツとスタイルの機能融合ネットワークを提案する。
定性的かつ定量的な実験を通じて、文献における最先端のモデルと比較して、我々のモデルの利点を実証する。
関連論文リスト
- Generative AI Model for Artistic Style Transfer Using Convolutional
Neural Networks [0.0]
芸術的なスタイルの転送は、ある画像の内容を別の芸術的なスタイルに融合させ、ユニークな視覚的な構成を作り出すことである。
本稿では,畳み込みニューラルネットワーク(CNN)を用いた新しいスタイル伝達手法の概要を概説する。
論文 参考訳(メタデータ) (2023-10-27T16:21:17Z) - Master: Meta Style Transformer for Controllable Zero-Shot and Few-Shot
Artistic Style Transfer [83.1333306079676]
本稿では,スタイル転送に特化した新しいトランスフォーマーモデルであるemphMasterを考案する。
提案モデルでは, 異なるトランスフォーマー層が共通のパラメータ群を共有し, 1) パラメータの総数を減らし, (2) より堅牢なトレーニング収束をもたらし, (3) は容易にスタイリングの程度を制御できる。
実験では、ゼロショットと少数ショットスタイルの転送設定の両方でMasterの優位性を示す。
論文 参考訳(メタデータ) (2023-04-24T04:46:39Z) - Edge Enhanced Image Style Transfer via Transformers [6.666912981102909]
任意のイメージスタイルの転送が ますます注目を集めています
コンテンツの詳細とスタイル機能のトレードオフを同時に維持することは困難です。
画像スタイルの転送とエッジロスのための新しい変換器ベースのSTTを提案する。
論文 参考訳(メタデータ) (2023-01-02T10:39:31Z) - DiffStyler: Controllable Dual Diffusion for Text-Driven Image
Stylization [66.42741426640633]
DiffStylerは、拡散された結果の内容とスタイルのバランスを制御するための二重拡散処理アーキテクチャである。
本稿では、逆復調処理をベースとしたコンテンツ画像に基づく学習可能なノイズを提案し、そのスタイリング結果により、コンテンツ画像の構造情報をよりよく保存する。
論文 参考訳(メタデータ) (2022-11-19T12:30:44Z) - Line Search-Based Feature Transformation for Fast, Stable, and Tunable
Content-Style Control in Photorealistic Style Transfer [26.657485176782934]
フォトリアリスティックなスタイル転送は、ある画像からのコンテンツが他の画像のスタイルに現れるように適応する際に、現実的な外観のイメージを合成するタスクである。
モダンモデルは、コンテンツイメージとスタイルイメージを記述する機能を融合した変換を組み込み、その結果の機能をスタイリングされたイメージにデコードする。
コンテントの保存量と注入スタイルの強度のバランスを制御できる汎用変換を導入する。
論文 参考訳(メタデータ) (2022-10-12T08:05:49Z) - Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。
本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
論文 参考訳(メタデータ) (2022-05-19T13:11:24Z) - StyTr^2: Unbiased Image Style Transfer with Transformers [59.34108877969477]
イメージスタイル転送の目的は、オリジナルコンテンツを維持しながら、スタイル参照によってガイドされた芸術的特徴を持つ画像をレンダリングすることである。
従来のニューラルスタイルの転送法は通常バイアスを受けており、コンテントリークは、同じ参照画像でスタイル転送プロセスの何回かの実行によって観察することができる。
我々は、この重要な問題に対処するために、トランスフォーマーベースのアプローチ、すなわちStyTr2を提案する。
論文 参考訳(メタデータ) (2021-05-30T15:57:09Z) - Arbitrary Style Transfer via Multi-Adaptation Network [109.6765099732799]
所望のスタイル転送は、内容画像と参照されたスタイル絵が与えられた場合、そのスタイル絵の色調と鮮やかなストロークパターンで内容画像を描画する。
新たな不整合損失関数により,本ネットワークは,様々な入力画像に適応する主文パターンと正確なコンテンツ構造を抽出できる。
論文 参考訳(メタデータ) (2020-05-27T08:00:22Z) - A Content Transformation Block For Image Style Transfer [16.25958537802466]
本稿では,コンテンツイメージのコンテンツとスタイルを意識したスタイル化に焦点を当てた。
写真やスタイルのサンプルに現れる類似のコンテンツを利用して、スタイルがコンテンツの詳細をどう変えるかを学ぶ。
本モデルのロバスト性と速度は,リアルタイムかつ高精細なビデオスタイリングを可能にする。
論文 参考訳(メタデータ) (2020-03-18T18:00:23Z) - Parameter-Free Style Projection for Arbitrary Style Transfer [64.06126075460722]
本稿では,パラメータフリー,高速,効果的なコンテンツスタイル変換のための特徴レベル変換手法であるStyle Projectionを提案する。
本稿では、任意の画像スタイルの転送にスタイル投影を利用するリアルタイムフィードフォワードモデルを提案する。
論文 参考訳(メタデータ) (2020-03-17T13:07:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。