論文の概要: Universal Photorealistic Style Transfer: A Lightweight and Adaptive Approach

• arxiv url: http://arxiv.org/abs/2309.10011v3
• Date: Wed, 20 Nov 2024 23:27:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 15:15:53.719502
• Title: Universal Photorealistic Style Transfer: A Lightweight and Adaptive Approach
• Title（参考訳）: ユニバーサル・フォトリアリスティック・スタイル・トランスファー : 軽量で適応的なアプローチ
• Authors: Rong Liu, Enyu Zhao, Zhiyuan Liu, Andrew Feng, Scott John Easley,
• Abstract要約: フォトリアリスティックなスタイル転送は、入力コンテンツのリアリズムと構造を保ちながら、スタイリゼーションを適用することを目的としている。 本稿では,高解像度画像やビデオに高精度なフォトリアリスティックスタイル転送を実現するユニバーサルフォトリアリスティックスタイル転送フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 18.46446576915766
• License:
• Abstract: Photorealistic style transfer aims to apply stylization while preserving the realism and structure of input content. However, existing methods often encounter challenges such as color tone distortions, dependency on pair-wise pre-training, inefficiency with high-resolution inputs, and the need for additional constraints in video style transfer tasks. To address these issues, we propose a Universal Photorealistic Style Transfer (UPST) framework that delivers accurate photorealistic style transfer on high-resolution images and videos without relying on pre-training. Our approach incorporates a lightweight StyleNet for per-instance transfer, ensuring color tone accuracy while supporting high-resolution inputs, maintaining rapid processing speeds, and eliminating the need for pretraining. To further enhance photorealism and efficiency, we introduce instance-adaptive optimization, which features an adaptive coefficient to prioritize content image realism and employs early stopping to accelerate network convergence. Additionally, UPST enables seamless video style transfer without additional constraints due to its strong non-color information preservation ability. Experimental results show that UPST consistently produces photorealistic outputs and significantly reduces GPU memory usage, making it an effective and universal solution for various photorealistic style transfer tasks.
• Abstract（参考訳）: フォトリアリスティックなスタイル転送は、入力コンテンツのリアリズムと構造を保ちながら、スタイリゼーションを適用することを目的としている。 しかし、既存の手法では、カラートーンの歪み、ペアワイズ事前学習への依存、高解像度入力による非効率性、ビデオスタイルの転送タスクにおける追加制約の必要性といった問題に遭遇することが多い。 これらの課題に対処するため,我々は,事前トレーニングを必要とせずに,高解像度の画像やビデオに対して正確な光写実的スタイル転送を実現するユニバーサルフォトリアリスティックスタイル転送(UPST)フレームワークを提案する。 提案手法では,高精細な入力をサポートしながら色調の精度を確保し,高速な処理速度を維持し,事前学習の必要性をなくすために,ライトウェイトなスタイルネットを導入している。 光リアリズムと効率をさらに高めるために、コンテンツ画像リアリズムを優先する適応係数を特徴とするインスタンス適応最適化を導入し、早期停止を用いてネットワーク収束を加速する。 さらに、UPSTは、その強い非色情報保存能力のために、追加の制約なしにシームレスなビデオスタイルの転送を可能にする。 実験結果から、UPSTは一貫してフォトリアリスティックな出力を生成し、GPUメモリ使用量を大幅に削減し、様々なフォトリアリスティックなスタイルの転送タスクに対して効果的で普遍的なソリューションであることが示された。

関連論文リスト

• UniVST: A Unified Framework for Training-free Localized Video Style Transfer [66.69471376934034]
  ローカライズドビデオスタイル転送のための統一フレームワークUniVSTを提案する。 トレーニングは不要で、ビデオ全体にわたってスタイルを転送する既存の方法に対して、明確なアドバンテージを提供する。
  論文  参考訳（メタデータ） (2024-10-26T05:28:02Z)
• ZePo: Zero-Shot Portrait Stylization with Faster Sampling [61.14140480095604]
  本稿では,4つのサンプリングステップでコンテンツとスタイルの融合を実現する拡散モデルに基づく,インバージョンフリーなポートレートスタイリングフレームワークを提案する。 本稿では,一貫性機能における冗長な特徴をマージする機能統合戦略を提案し,注意制御の計算負荷を低減させる。
  論文  参考訳（メタデータ） (2024-08-10T08:53:41Z)
• Is Synthetic Image Useful for Transfer Learning? An Investigation into Data Generation, Volume, and Utilization [62.157627519792946]
  ブリッジドトランスファー(ブリッジドトランスファー)と呼ばれる新しいフレームワークを導入する。このフレームワークは、当初、トレーニング済みモデルの微調整に合成画像を使用し、転送性を向上させる。 合成画像と実画像のスタイルアライメントを改善するために,データセットスタイルの逆変換方式を提案する。 提案手法は10の異なるデータセットと5つの異なるモデルで評価され、一貫した改善が示されている。
  論文  参考訳（メタデータ） (2024-03-28T22:25:05Z)
• Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
  高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。 既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。 本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:03:23Z)
• ColoristaNet for Photorealistic Video Style Transfer [15.38024996795316]
  フォトリアリスティックなスタイル転送は、フォトリアリスティックを維持しながら、画像の芸術的なスタイルを入力画像やビデオに転送することを目的としている。 スタイル除去部とスタイル復元部を含む自己教師型スタイル転送フレームワークを提案する。 実験により、ColoristaNetは最先端のアルゴリズムと比較して、より優れたスタイリング効果が得られることが示された。
  論文  参考訳（メタデータ） (2022-12-19T04:49:26Z)
• CCPL: Contrastive Coherence Preserving Loss for Versatile Style Transfer [58.020470877242865]
  我々は,芸術的,写真的,映像的スタイルのトランスファーを共同で行うことができる汎用的なスタイルトランスファー手法を考案した。 我々は,グローバル不整合が局所的不整合に支配されているという軽度かつ合理的な仮定を定め,局所的パッチに適用した汎用的コントラストコヒーレンス保存損失(CCPL)を考案する。 CCPLは、スタイル化を低下させることなく、スタイル転送中のコンテンツソースのコヒーレンスを保存することができる。
  論文  参考訳（メタデータ） (2022-07-11T12:09:41Z)
• Deep Translation Prior: Test-time Training for Photorealistic Style Transfer [36.82737412912885]
  近年のCNN(Deep Convolutional Neural Network)におけるフォトリアリスティックなスタイル転送の解決には,大規模データセットからの集中的なトレーニングが必要となる。 提案手法はDTP(Deep Translation Prior)とよばれる新しいフレームワークで,与えられた入力画像対とトレーニングされていないネットワークをテストタイムでトレーニングすることで,フォトリアリスティックなスタイルの転送を実現する。
  論文  参考訳（メタデータ） (2021-12-12T04:54:27Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)
• Joint Bilateral Learning for Real-time Universal Photorealistic Style Transfer [18.455002563426262]
  フォトリアリスティックなスタイル転送は、画像の芸術的スタイルをコンテンツターゲットに転送し、カメラで撮影可能な結果を生成するタスクである。 ディープニューラルネットワークに基づく最近のアプローチでは、印象的な結果が得られるが、現実的な解像度での実行には遅すぎるか、好ましくないアーティファクトがまだ含まれている。 高速かつ本質的にフォトリアリスティックな結果を生成するフォトリアリスティックなスタイル転送のための新しいエンド・ツー・エンドモデルを提案する。
  論文  参考訳（メタデータ） (2020-04-23T03:31:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。