論文の概要: PQDAST: Depth-Aware Arbitrary Style Transfer for Games via Perceptual Quality-Guided Distillation

• arxiv url: http://arxiv.org/abs/2502.16996v1
• Date: Mon, 24 Feb 2025 09:29:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:52:35.464379
• Title: PQDAST: Depth-Aware Arbitrary Style Transfer for Games via Perceptual Quality-Guided Distillation
• Title（参考訳）: PQDAST: 知覚品質誘導蒸留によるゲーム用深度対応任意スタイルトランスファー
• Authors: Eleftherios Ioannou, Steve Maddock,
• Abstract要約: アートスタイルの転送は、画像の内容とアートワークのスタイルを組み合わせた画像の生成に関するものである。 PQDASTは、任意のスタイル転送をゲームパイプラインに統合する最初のソリューションである。
• 参考スコア（独自算出の注目度）: 0.6445605125467572
• License:
• Abstract: Artistic style transfer is concerned with the generation of imagery that combines the content of an image with the style of an artwork. In the realm of computer games, most work has focused on post-processing video frames. Some recent work has integrated style transfer into the game pipeline, but it is limited to single styles. Integrating an arbitrary style transfer method into the game pipeline is challenging due to the memory and speed requirements of games. We present PQDAST, the first solution to address this. We use a perceptual quality-guided knowledge distillation framework and train a compressed model using the FLIP evaluator, which substantially reduces both memory usage and processing time with limited impact on stylisation quality. For better preservation of depth and fine details, we utilise a synthetic dataset with depth and temporal considerations during training. The developed model is injected into the rendering pipeline to further enforce temporal stability and avoid diminishing post-process effects. Quantitative and qualitative experiments demonstrate that our approach achieves superior performance in temporal consistency, with comparable style transfer quality, to state-of-the-art image, video and in-game methods.
• Abstract（参考訳）: アートスタイルの転送は、画像の内容とアートワークのスタイルを組み合わせた画像の生成に関するものである。 コンピュータゲームの世界では、ほとんどの研究はビデオフレームを後処理することに集中している。 いくつかの最近の研究は、ゲームパイプラインにスタイル転送を統合しているが、それは単一のスタイルに限られている。 任意のスタイル転送手法をゲームパイプラインに統合することは、ゲームのメモリと速度要求のために困難である。 この問題に対処する最初のソリューションであるPQDASTを紹介します。 我々は、知覚的品質誘導型知識蒸留フレームワークを使用し、FLIP評価器を用いて圧縮モデルを訓練し、スタイリング品質に限られた影響を与えることなく、メモリ使用量と処理時間の両方を大幅に削減する。 深度と細部をよりよく保存するために、トレーニング中に深度と時間を考慮した合成データセットを利用する。 開発モデルはレンダリングパイプラインに注入され、時間的安定性をさらに強化し、プロセス後効果の低下を回避する。 定量的および定性的な実験により,我々の手法は,最先端の画像,ビデオ,ゲーム内手法に比較して,時間的整合性,スタイルの伝達品質に優れた性能を達成できることが実証された。

関連論文リスト

• GIST: Towards Photorealistic Style Transfer via Multiscale Geometric Representations [9.514509577589449]
  GISTは、標準的なNeural Style Transfer自動エンコーディングフレームワークをマルチスケール画像拡張に置き換えている。 本手法は,ウェーブレットやコンチューレットなどの多方向および多方向の表現を最適輸送問題の解法によりマッチングする。
  論文  参考訳（メタデータ） (2024-12-03T07:05:39Z)
• UniVST: A Unified Framework for Training-free Localized Video Style Transfer [102.52552893495475]
  本稿では拡散モデルに基づく局所化ビデオスタイル転送のための統合フレームワークUniVSTを提案する。 トレーニングを必要とせずに動作し、ビデオ全体にわたってスタイルを転送する既存の拡散方法に対して、明確なアドバンテージを提供する。
  論文  参考訳（メタデータ） (2024-10-26T05:28:02Z)
• Blurry Video Compression: A Trade-off between Visual Enhancement and Data Compression [65.8148169700705]
  既存のビデオ圧縮(VC)手法は主に、ビデオ内の連続フレーム間の空間的および時間的冗長性を減らすことを目的としている。 これまでの研究は、インスタント(既知の)露光時間やシャッタースピードなどの特定の設定で取得されたビデオに対して、顕著な成果を上げてきた。 本研究では,シーン内のカメラ設定やダイナミックスによって,所定の映像がぼやけてしまうという一般的なシナリオにおいて,VCの問題に取り組む。
  論文  参考訳（メタデータ） (2023-11-08T02:17:54Z)
• Universal Photorealistic Style Transfer: A Lightweight and Adaptive Approach [18.46446576915766]
  フォトリアリスティックなスタイル転送は、入力コンテンツのリアリズムと構造を保ちながら、スタイリゼーションを適用することを目的としている。 本稿では,高解像度画像やビデオに高精度なフォトリアリスティックスタイル転送を実現するユニバーサルフォトリアリスティックスタイル転送フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-18T07:04:40Z)
• Improving the Latent Space of Image Style Transfer [24.37383949267162]
  事前訓練されたエンコーダの特徴統計は、私たちが認識した視覚的スタイルと一致しない場合もある。 そのような不適切な潜在空間では、既存の手法の目的関数は間違った方向に最適化される。 本稿では,この課題に適合する洗練されたエンコーダを得るための2つの対照的な訓練手法を提案する。
  論文  参考訳（メタデータ） (2022-05-24T15:13:01Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)
• ArtFlow: Unbiased Image Style Transfer via Reversible Neural Flows [101.16791104543492]
  ArtFlowは、ユニバーサルスタイルの転送中にコンテンツ漏れを防ぐために提案されます。 前方と後方の両方の推論をサポートし、プロジェクション-トランスファー-リバージョンスキームで動作する。 コンテンツリークを回避しつつ、最先端スタイルの転送手法に匹敵するパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-03-31T07:59:02Z)
• Learning Long-Term Style-Preserving Blind Video Temporal Consistency [6.6908747077585105]
  本論文では, 映像に適用される変換を, 繰り返しニューラルネットワークという形で後処理モデルを提案する。 我々のモデルは、最近GANビデオ生成のために導入されたPing Pongプロシージャとそれに対応する損失を用いて訓練されている。 DAVISとvidevo.netデータセットのモデルを評価し、フリック除去に関する最先端の結果を提供することを示す。
  論文  参考訳（メタデータ） (2021-03-12T13:54:34Z)
• Arbitrary Video Style Transfer via Multi-Channel Correlation [84.75377967652753]
  本稿では,マルチチャネル補正ネットワーク(MCCNet)を提案する。 MCCNetは、スタイルとコンテンツドメインの機能空間で直接動作する。 MCCが生成した出力は所望のスタイルパターンを含む特徴であり、鮮やかなスタイルのテクスチャでさらに画像にデコードできる。
  論文  参考訳（メタデータ） (2020-09-17T01:30:46Z)
• Real-time Universal Style Transfer on High-resolution Images via Zero-channel Pruning [74.09149955786367]
  ArtNetは、高解像度画像上の普遍的、リアルタイム、および高品質なスタイル転送を同時に達成することができる。 ArtNetとS2を使用することで、我々の手法は最先端の手法よりも2.3～107.4倍高速である。
  論文  参考訳（メタデータ） (2020-06-16T09:50:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。