論文の概要: Instant Photorealistic Style Transfer: A Lightweight and Adaptive Approach

• arxiv url: http://arxiv.org/abs/2309.10011v1
• Date: Mon, 18 Sep 2023 07:04:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 18:16:40.748164
• Title: Instant Photorealistic Style Transfer: A Lightweight and Adaptive Approach
• Title（参考訳）: インスタントフォトリアリスティックなスタイル転送:軽量で適応的なアプローチ
• Authors: Rong Liu, Enyu Zhao, Zhiyuan Liu, Andrew Wei-Wen Feng, Scott John Easley
• Abstract要約: Instant Photo Style Transfer (IPST) アプローチを提案する。 本手法は,スタイルイメージからコンテンツイメージへのスタイル転送を実現するために,ライトウェイトなStyleNetを用いて,非カラー情報を保存する。 IPSTは、マルチフレーム入力の時間的およびマルチビューの一貫性を維持するため、マルチフレームスタイルの転送タスクに適している。
• 参考スコア（独自算出の注目度）: 19.41181485059882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose an Instant Photorealistic Style Transfer (IPST) approach, designed to achieve instant photorealistic style transfer on super-resolution inputs without the need for pre-training on pair-wise datasets or imposing extra constraints. Our method utilizes a lightweight StyleNet to enable style transfer from a style image to a content image while preserving non-color information. To further enhance the style transfer process, we introduce an instance-adaptive optimization to prioritize the photorealism of outputs and accelerate the convergence of the style network, leading to a rapid training completion within seconds. Moreover, IPST is well-suited for multi-frame style transfer tasks, as it retains temporal and multi-view consistency of the multi-frame inputs such as video and Neural Radiance Field (NeRF). Experimental results demonstrate that IPST requires less GPU memory usage, offers faster multi-frame transfer speed, and generates photorealistic outputs, making it a promising solution for various photorealistic transfer applications.
• Abstract（参考訳）: 本稿では,ペアワイズデータセットの事前トレーニングや余分な制約を課すことなく,超解像入力によるインスタントフォトリアリスティックスタイル転送を実現するために設計された,インスタントフォトリアリスティックスタイル転送(ipst)手法を提案する。 本手法は,スタイルイメージからコンテンツイメージへのスタイル転送を実現するために,ライトウェイトなStyleNetを利用する。 スタイル転送のプロセスをさらに強化するため,出力のフォトリアリズムを優先し,スタイルネットワークの収束を加速するインスタンス適応最適化を導入し,数秒で高速なトレーニング完了を実現する。 さらに、IPSTは、ビデオやNeural Radiance Field (NeRF)のようなマルチフレーム入力の時間的および多視点一貫性を維持するため、マルチフレームスタイルの転送タスクに適している。 実験の結果、IPSTはGPUメモリ使用量が少なくなり、高速なマルチフレーム転送速度を提供し、フォトリアリスティックな出力を生成することが示され、様々なフォトリアリスティックな転送アプリケーションにとって有望なソリューションとなっている。

関連論文リスト

• UniVST: A Unified Framework for Training-free Localized Video Style Transfer [66.69471376934034]
  ローカライズドビデオスタイル転送のための統一フレームワークUniVSTを提案する。 トレーニングは不要で、ビデオ全体にわたってスタイルを転送する既存の方法に対して、明確なアドバンテージを提供する。
  論文  参考訳（メタデータ） (2024-10-26T05:28:02Z)
• ZePo: Zero-Shot Portrait Stylization with Faster Sampling [61.14140480095604]
  本稿では,4つのサンプリングステップでコンテンツとスタイルの融合を実現する拡散モデルに基づく,インバージョンフリーなポートレートスタイリングフレームワークを提案する。 本稿では,一貫性機能における冗長な特徴をマージする機能統合戦略を提案し,注意制御の計算負荷を低減させる。
  論文  参考訳（メタデータ） (2024-08-10T08:53:41Z)
• Is Synthetic Image Useful for Transfer Learning? An Investigation into Data Generation, Volume, and Utilization [62.157627519792946]
  ブリッジドトランスファー(ブリッジドトランスファー)と呼ばれる新しいフレームワークを導入する。このフレームワークは、当初、トレーニング済みモデルの微調整に合成画像を使用し、転送性を向上させる。 合成画像と実画像のスタイルアライメントを改善するために,データセットスタイルの逆変換方式を提案する。 提案手法は10の異なるデータセットと5つの異なるモデルで評価され、一貫した改善が示されている。
  論文  参考訳（メタデータ） (2024-03-28T22:25:05Z)
• Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
  高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。 既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。 本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:03:23Z)
• ColoristaNet for Photorealistic Video Style Transfer [15.38024996795316]
  フォトリアリスティックなスタイル転送は、フォトリアリスティックを維持しながら、画像の芸術的なスタイルを入力画像やビデオに転送することを目的としている。 スタイル除去部とスタイル復元部を含む自己教師型スタイル転送フレームワークを提案する。 実験により、ColoristaNetは最先端のアルゴリズムと比較して、より優れたスタイリング効果が得られることが示された。
  論文  参考訳（メタデータ） (2022-12-19T04:49:26Z)
• CCPL: Contrastive Coherence Preserving Loss for Versatile Style Transfer [58.020470877242865]
  我々は,芸術的,写真的,映像的スタイルのトランスファーを共同で行うことができる汎用的なスタイルトランスファー手法を考案した。 我々は,グローバル不整合が局所的不整合に支配されているという軽度かつ合理的な仮定を定め,局所的パッチに適用した汎用的コントラストコヒーレンス保存損失(CCPL)を考案する。 CCPLは、スタイル化を低下させることなく、スタイル転送中のコンテンツソースのコヒーレンスを保存することができる。
  論文  参考訳（メタデータ） (2022-07-11T12:09:41Z)
• Deep Translation Prior: Test-time Training for Photorealistic Style Transfer [36.82737412912885]
  近年のCNN(Deep Convolutional Neural Network)におけるフォトリアリスティックなスタイル転送の解決には,大規模データセットからの集中的なトレーニングが必要となる。 提案手法はDTP(Deep Translation Prior)とよばれる新しいフレームワークで,与えられた入力画像対とトレーニングされていないネットワークをテストタイムでトレーニングすることで,フォトリアリスティックなスタイルの転送を実現する。
  論文  参考訳（メタデータ） (2021-12-12T04:54:27Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)
• Joint Bilateral Learning for Real-time Universal Photorealistic Style Transfer [18.455002563426262]
  フォトリアリスティックなスタイル転送は、画像の芸術的スタイルをコンテンツターゲットに転送し、カメラで撮影可能な結果を生成するタスクである。 ディープニューラルネットワークに基づく最近のアプローチでは、印象的な結果が得られるが、現実的な解像度での実行には遅すぎるか、好ましくないアーティファクトがまだ含まれている。 高速かつ本質的にフォトリアリスティックな結果を生成するフォトリアリスティックなスタイル転送のための新しいエンド・ツー・エンドモデルを提案する。
  論文  参考訳（メタデータ） (2020-04-23T03:31:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。