論文の概要: Blind Image Super Resolution with Semantic-Aware Quantized Texture Prior

• arxiv url: http://arxiv.org/abs/2202.13142v1
• Date: Sat, 26 Feb 2022 13:38:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-01 16:42:10.169895
• Title: Blind Image Super Resolution with Semantic-Aware Quantized Texture Prior
• Title（参考訳）: セマンティクスアウェア量子化テクスチャを用いたブラインド画像の超解像
• Authors: Chaofeng Chen, Xinyu Shi, Yipeng Qin, Xiaoming Li, Xiaoguang Han, Tao Yang, Shihui Guo
• Abstract要約: ブラインド画像の超解像の鍵となる課題は、未知の劣化を伴う低解像度画像の現実的なテクスチャを復元することである。 本稿では,Vector Quantized GANで符号化されたQuantized Texture Priorsを用いて,現実的なテクスチャを復元するための新しいフレームワークであるQuanTexSRを提案する。
• 参考スコア（独自算出の注目度）: 31.0608183748386
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A key challenge of blind image super resolution is to recover realistic textures for low-resolution images with unknown degradations. Most recent works completely rely on the generative ability of GANs, which are difficult to train. Other methods resort to high-resolution image references that are usually not available. In this work, we propose a novel framework, denoted as QuanTexSR, to restore realistic textures with the Quantized Texture Priors encoded in Vector Quantized GAN. The QuanTexSR generates textures by aligning the textureless content features to the quantized feature vectors, i.e., a pretrained feature codebook. Specifically, QuanTexSR formulates the texture generation as a feature matching problem between textureless features and a pretrained feature codebook. The final textures are then generated by the quantized features from the codebook. Since features in the codebook have shown the ability to generate natural textures in the pretrain stage, QuanTexSR can generate rich and realistic textures with the pretrained codebook as texture priors. Moreover, we propose a semantic regularization technique that regularizes the pre-training of the codebook using clusters of features extracted from the pretrained VGG19 network. This further improves texture generation with semantic context. Experiments demonstrate that the proposed QuanTexSR can generate competitive or better textures than previous approaches. Code will be made publicly available.
• Abstract（参考訳）: ブラインド画像のスーパーレゾリューションの重要な課題は、未知の劣化を伴う低解像度画像の現実的なテクスチャを復元することである。 最近の作品のほとんどは、訓練が難しいgansの生成能力に完全に依存している。 他の方法は、通常利用できない高解像度の画像参照を利用する。 本研究では,Vector Quantized GANで符号化されたQuantized Texture Priorsを用いて,現実的なテクスチャを復元するための新しいフレームワークであるQuanTexSRを提案する。 QuanTexSRは、テクスチャのないコンテンツ特徴を量子化された特徴ベクトル、すなわち事前訓練された特徴コードブックに整列することでテクスチャを生成する。 具体的には、QuanTexSRはテクスチャ生成をテクスチャレス特徴と事前訓練された特徴コードブックとの間の特徴マッチング問題として定式化している。 最終的なテクスチャは、コードブックから量子化された特徴によって生成される。 コードブックの機能はトレーニング前の段階で自然なテクスチャを生成する能力を示しているため、QuanTexSRはトレーニング前のコードブックをテクスチャとしてリッチで現実的なテクスチャを生成することができる。 さらに,事前学習されたVGG19ネットワークから抽出した特徴のクラスタを用いて,コードブックの事前学習を正規化する意味正規化手法を提案する。 これにより、セマンティックコンテキストによるテクスチャ生成がさらに改善される。 実験により, 提案手法が従来の手法よりも優れたテクスチャを生成できることが実証された。 コードは公開される予定だ。

関連論文リスト

• TextureDiffusion: Target Prompt Disentangled Editing for Various Texture Transfer [32.53299128227546]
  各種テクスチャ転送に適用可能なチューニング不要な画像編集手法であるTextureDiffusionを提案する。 自己アテンションのクエリ機能と残留ブロックの機能は、入力画像の構造を保存するために使用される。 背景を維持するために、自己注意結果と中間潜伏者をブレンドする編集ローカライゼーション手法を導入する。
  論文  参考訳（メタデータ） (2024-09-15T04:34:38Z)
• Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis [61.189479577198846]
  Infinite Textureはテキストプロンプトから任意の大きさのテクスチャ画像を生成する方法である。 本手法は,1つのテクスチャ上に拡散モデルを微調整し,その分布をモデルの出力領域に埋め込むことを学習する。 1つのGPU上で任意の解像度の出力テクスチャ画像を生成するためのスコアアグリゲーションストラテジーによって、我々の微調整拡散モデルが生成される。
  論文  参考訳（メタデータ） (2024-05-13T21:53:09Z)
• TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion [64.49276500129092]
  TextureDreamerは画像誘導型テクスチャ合成法である。 少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
  論文  参考訳（メタデータ） (2024-01-17T18:55:49Z)
• ENTED: Enhanced Neural Texture Extraction and Distribution for Reference-based Blind Face Restoration [51.205673783866146]
  我々は,高品質でリアルな肖像画を復元することを目的とした,ブラインドフェイス修復のための新しいフレームワークであるENTEDを提案する。 劣化した入力画像と参照画像の間で高品質なテクスチャ特徴を伝達するために,テクスチャ抽出と分布の枠組みを利用する。 われわれのフレームワークにおけるStyleGANのようなアーキテクチャは、現実的な画像を生成するために高品質な潜伏符号を必要とする。
  論文  参考訳（メタデータ） (2024-01-13T04:54:59Z)
• Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map Optimization and Physically-Based Rendering [47.78392889256976]
  Paint-itは3Dレンダリングのためのテキスト駆動の高忠実なテクスチャマップ合成法である。 Paint-itはScore-Distillation Sampling(SDS)を利用してテキスト記述からテクスチャマップを合成する 我々は,DC-PBRがテクスチャ周波数に応じて最適化カリキュラムをスケジュールし,SDSからノイズ信号を自然にフィルタすることを示した。
  論文  参考訳（メタデータ） (2023-12-18T17:17:08Z)
• SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion Priors [49.03627933561738]
  SceneTexは、奥行き拡散前処理を用いた室内シーンの高品質でスタイルに一貫性のあるテクスチャを生成する新しい方法である。 SceneTexは3D-FRONTシーンの様々な正確なテクスチャ合成を可能にする。
  論文  参考訳（メタデータ） (2023-11-28T22:49:57Z)
• RADAM: Texture Recognition through Randomized Aggregated Encoding of Deep Activation Maps [12.35895883721336]
  textbfAggregated textbfDeep textbfActivation textbfMaps (RADAM) の textbfRandom 符号化法を提案する。 RADAMはバックボーンを変更することなくリッチなテクスチャ表現を抽出する。 以上の結果から,事前学習したバックボーンは,学習した表現がよりうまく符号化された場合,テクスチャ認識のための微調整を必要としない可能性が示唆された。
  論文  参考訳（メタデータ） (2023-03-08T13:09:03Z)
• TEXTure: Text-Guided Texturing of 3D Shapes [71.13116133846084]
  TEXTureは,テクスチャのテクスチャのテクスチャの編集,編集,転送を行う新しい方法である。 表面テクスチャを明示することなくシームレスな3次元テクスチャを生成する3次元マップ分割プロセスを定義する。
  論文  参考訳（メタデータ） (2023-02-03T13:18:45Z)
• Deep Tiling: Texture Tile Synthesis Using a Deep Learning Approach [0.0]
  多くの場合、テクスチャ画像は解像度が小さいため、大きな3dモデル表面を覆うことができない。 深層学習に基づくテクスチャ合成はそのような場合に非常に有効であることが証明されている。 堅牢な深層学習プロセスを用いて,実例に基づくテクスチャ合成の新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-03-14T18:17:37Z)
• Texture Transform Attention for Realistic Image Inpainting [6.275013056564918]
  本研究では,細心の注意を払って絵を描いていない領域をより良く生成するテクスチャトランスフォーメーション・アテンション・ネットワークを提案する。 Texture Transform Attentionは、細かいテクスチャと粗いセマンティクスを使用して、新しい再組み立てテクスチャマップを作成するために使用されます。 我々は,公開データセット celeba-hq と places2 を用いて,エンドツーエンドでモデルを評価する。
  論文  参考訳（メタデータ） (2020-12-08T06:28:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。