論文の概要: Instant Photorealistic Style Transfer: A Lightweight and Adaptive
Approach
- arxiv url: http://arxiv.org/abs/2309.10011v1
- Date: Mon, 18 Sep 2023 07:04:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 18:16:40.748164
- Title: Instant Photorealistic Style Transfer: A Lightweight and Adaptive
Approach
- Title(参考訳): インスタントフォトリアリスティックなスタイル転送:軽量で適応的なアプローチ
- Authors: Rong Liu, Enyu Zhao, Zhiyuan Liu, Andrew Wei-Wen Feng, Scott John
Easley
- Abstract要約: Instant Photo Style Transfer (IPST) アプローチを提案する。
本手法は,スタイルイメージからコンテンツイメージへのスタイル転送を実現するために,ライトウェイトなStyleNetを用いて,非カラー情報を保存する。
IPSTは、マルチフレーム入力の時間的およびマルチビューの一貫性を維持するため、マルチフレームスタイルの転送タスクに適している。
- 参考スコア(独自算出の注目度): 19.41181485059882
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose an Instant Photorealistic Style Transfer (IPST)
approach, designed to achieve instant photorealistic style transfer on
super-resolution inputs without the need for pre-training on pair-wise datasets
or imposing extra constraints. Our method utilizes a lightweight StyleNet to
enable style transfer from a style image to a content image while preserving
non-color information. To further enhance the style transfer process, we
introduce an instance-adaptive optimization to prioritize the photorealism of
outputs and accelerate the convergence of the style network, leading to a rapid
training completion within seconds. Moreover, IPST is well-suited for
multi-frame style transfer tasks, as it retains temporal and multi-view
consistency of the multi-frame inputs such as video and Neural Radiance Field
(NeRF). Experimental results demonstrate that IPST requires less GPU memory
usage, offers faster multi-frame transfer speed, and generates photorealistic
outputs, making it a promising solution for various photorealistic transfer
applications.
- Abstract(参考訳): 本稿では,ペアワイズデータセットの事前トレーニングや余分な制約を課すことなく,超解像入力によるインスタントフォトリアリスティックスタイル転送を実現するために設計された,インスタントフォトリアリスティックスタイル転送(ipst)手法を提案する。
本手法は,スタイルイメージからコンテンツイメージへのスタイル転送を実現するために,ライトウェイトなStyleNetを利用する。
スタイル転送のプロセスをさらに強化するため,出力のフォトリアリズムを優先し,スタイルネットワークの収束を加速するインスタンス適応最適化を導入し,数秒で高速なトレーニング完了を実現する。
さらに、IPSTは、ビデオやNeural Radiance Field (NeRF)のようなマルチフレーム入力の時間的および多視点一貫性を維持するため、マルチフレームスタイルの転送タスクに適している。
実験の結果、IPSTはGPUメモリ使用量が少なくなり、高速なマルチフレーム転送速度を提供し、フォトリアリスティックな出力を生成することが示され、様々なフォトリアリスティックな転送アプリケーションにとって有望なソリューションとなっている。
関連論文リスト
- Is Synthetic Image Useful for Transfer Learning? An Investigation into Data Generation, Volume, and Utilization [62.157627519792946]
ブリッジドトランスファー(ブリッジドトランスファー)と呼ばれる新しいフレームワークを導入する。このフレームワークは、当初、トレーニング済みモデルの微調整に合成画像を使用し、転送性を向上させる。
合成画像と実画像のスタイルアライメントを改善するために,データセットスタイルの逆変換方式を提案する。
提案手法は10の異なるデータセットと5つの異なるモデルで評価され、一貫した改善が示されている。
論文 参考訳(メタデータ) (2024-03-28T22:25:05Z) - DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。
このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。
3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2022-07-13T11:12:03Z) - Deep Translation Prior: Test-time Training for Photorealistic Style
Transfer [36.82737412912885]
近年のCNN(Deep Convolutional Neural Network)におけるフォトリアリスティックなスタイル転送の解決には,大規模データセットからの集中的なトレーニングが必要となる。
提案手法はDTP(Deep Translation Prior)とよばれる新しいフレームワークで,与えられた入力画像対とトレーニングされていないネットワークをテストタイムでトレーニングすることで,フォトリアリスティックなスタイルの転送を実現する。
論文 参考訳(メタデータ) (2021-12-12T04:54:27Z) - UMFA: A photorealistic style transfer method based on U-Net and
multi-layer feature aggregation [0.0]
本稿では,フォトリアリスティックなイメージスタイリングの自然な効果を強調するために,フォトリアリスティックなスタイル転送ネットワークを提案する。
特に、高密度ブロックに基づくエンコーダとU-Netの対称構造を形成するデコーダとを連立して、効率的な特徴抽出と画像再構成を実現する。
論文 参考訳(メタデータ) (2021-08-13T08:06:29Z) - StEP: Style-based Encoder Pre-training for Multi-modal Image Synthesis [68.3787368024951]
マルチモーダルイメージ・ツー・イメージ(I2I)翻訳のための新しいアプローチを提案する。
我々は、出力領域の可変性をモデル化する潜伏埋め込みをジェネレータと共同で学習する。
具体的には、新しいプロキシタスクを用いて汎用的なスタイルエンコーダを事前訓練し、任意のドメインから低次元のスタイル潜在空間への画像の埋め込みを学習する。
論文 参考訳(メタデータ) (2021-04-14T19:58:24Z) - Spatially-Adaptive Pixelwise Networks for Fast Image Translation [57.359250882770525]
高速かつ効率的な画像-画像変換を目的とした新しいジェネレータアーキテクチャを提案する。
私たちはピクセルワイズネットワークを使用します。つまり、各ピクセルは他のピクセルとは独立して処理されます。
私たちのモデルは最先端のベースラインよりも最大18倍高速です。
論文 参考訳(メタデータ) (2020-12-05T10:02:03Z) - Real-time Universal Style Transfer on High-resolution Images via
Zero-channel Pruning [74.09149955786367]
ArtNetは、高解像度画像上の普遍的、リアルタイム、および高品質なスタイル転送を同時に達成することができる。
ArtNetとS2を使用することで、我々の手法は最先端の手法よりも2.3~107.4倍高速である。
論文 参考訳(メタデータ) (2020-06-16T09:50:14Z) - Learning Deformable Image Registration from Optimization: Perspective,
Modules, Bilevel Training and Beyond [62.730497582218284]
マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。
我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
論文 参考訳(メタデータ) (2020-04-30T03:23:45Z) - Joint Bilateral Learning for Real-time Universal Photorealistic Style
Transfer [18.455002563426262]
フォトリアリスティックなスタイル転送は、画像の芸術的スタイルをコンテンツターゲットに転送し、カメラで撮影可能な結果を生成するタスクである。
ディープニューラルネットワークに基づく最近のアプローチでは、印象的な結果が得られるが、現実的な解像度での実行には遅すぎるか、好ましくないアーティファクトがまだ含まれている。
高速かつ本質的にフォトリアリスティックな結果を生成するフォトリアリスティックなスタイル転送のための新しいエンド・ツー・エンドモデルを提案する。
論文 参考訳(メタデータ) (2020-04-23T03:31:24Z) - Style Transfer for Light Field Photography [0.0]
光界の各ビューのスタイリングを可能にする方法で、既存の単分子型転送ネットワークを適応させる必要がある。
提案手法はネットワークを通しての損失をバックプロパゲートし、単一の光野画像のみに対する結果のスタイリゼーションを最適化するために反復処理を行う。
論文 参考訳(メタデータ) (2020-02-25T23:21:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。