論文の概要: PatchScaler: An Efficient Patch-Independent Diffusion Model for Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2405.17158v4
• Date: Thu, 21 Nov 2024 12:35:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 15:16:14.025831
• Title: PatchScaler: An Efficient Patch-Independent Diffusion Model for Image Super-Resolution
• Title（参考訳）: PatchScaler:画像超解法のための効率的なパッチ非依存拡散モデル
• Authors: Yong Liu, Hang Dong, Jinshan Pan, Qingji Dong, Kai Chen, Rongxiang Zhang, Lean Fu, Fei Wang,
• Abstract要約: PatchScalerは、単一画像超解像のための効率的なパッチ非依存拡散パイプラインである。 テクスチャは、共通参照テクスチャメモリから、ターゲットパッチのテクスチャ先行を適応的に検索する。 本コードでは,定量評価と定性評価の両方において優れた性能を示し,推論を著しく高速化する。
• 参考スコア（独自算出の注目度）: 44.345740602726345
• License:
• Abstract: While diffusion models significantly improve the perceptual quality of super-resolved images, they usually require a large number of sampling steps, resulting in high computational costs and long inference times. Recent efforts have explored reasonable acceleration schemes by reducing the number of sampling steps. However, these approaches treat all regions of the image equally, overlooking the fact that regions with varying levels of reconstruction difficulty require different sampling steps. To address this limitation, we propose PatchScaler, an efficient patch-independent diffusion pipeline for single image super-resolution. Specifically, PatchScaler introduces a Patch-adaptive Group Sampling (PGS) strategy that groups feature patches by quantifying their reconstruction difficulty and establishes shortcut paths with different sampling configurations for each group. To further optimize the patch-level reconstruction process of PGS, we propose a texture prompt that provides rich texture conditional information to the diffusion model. The texture prompt adaptively retrieves texture priors for the target patch from a common reference texture memory. Extensive experiments show that our PatchScaler achieves superior performance in both quantitative and qualitative evaluations, while significantly speeding up inference. Our code will be available at \url{https://github.com/yongliuy/PatchScaler}.
• Abstract（参考訳）: 拡散モデルは超解像の知覚品質を著しく向上させるが、通常多くのサンプリングステップを必要とし、高い計算コストと長い推測時間をもたらす。 近年、サンプリングステップの数を減らし、合理的な加速法を模索している。 しかし、これらの手法は画像の全ての領域を等しく扱い、異なるレベルの再構成困難のある領域は異なるサンプリングステップを必要とするという事実を見越す。 この制限に対処するため、単一画像超解像のための効率的なパッチ非依存拡散パイプラインであるPatchScalerを提案する。 具体的には、PatchScalerがPatch-Adaptive Group Smpling(PGS)戦略を導入し、再構築の難しさを定量化し、各グループごとに異なるサンプリング構成でショートカットパスを確立することで、特徴パッチをグループ化する。 PGSのパッチレベル再構築プロセスをさらに最適化するために,拡散モデルにリッチなテクスチャ条件情報を提供するテクスチャプロンプトを提案する。 テクスチャは、共通参照テクスチャメモリからターゲットパッチのテクスチャ先行を適応的に検索する。 我々のPatchScalerは定量評価と定性評価の両方において優れた性能を示し、推論を著しく高速化する。 私たちのコードは \url{https://github.com/yongliuy/PatchScaler} で利用可能です。

関連論文リスト

• PassionSR: Post-Training Quantization with Adaptive Scale in One-Step Diffusion based Image Super-Resolution [87.89013794655207]
  拡散に基づく画像超解像(SR)モデルでは、複数のデノナイジングステップのコストで優れた性能を示す。 本稿では,一段階拡散(OSD)画像SR,PassionSRにおける適応スケールの学習後量子化手法を提案する。 我々のPassionSRは、画像SRの最近の先進的な低ビット量子化法に対して大きな利点がある。
  論文  参考訳（メタデータ） (2024-11-26T04:49:42Z)
• EPS: Efficient Patch Sampling for Video Overfitting in Deep Super-Resolution Model Training [15.684865589513597]
  ビデオSRネットワークオーバーフィッティングのための効率的なパッチサンプリング手法であるEPSを提案する。 本手法は,クラスタの解像度や数に応じて,トレーニング用パッチの数を4%から25%に削減する。 最新のパッチサンプリング手法であるEMTと比較して,本手法は全体の実行時間を83%削減する。
  論文  参考訳（メタデータ） (2024-11-25T12:01:57Z)
• Adaptive Patching for High-resolution Image Segmentation with Transformers [9.525013089622183]
  注意に基づくモデルは、セグメンテーションを含む画像分析の領域で増加している。 トランスフォーマーエンコーダにイメージを供給する標準的な方法は、イメージをパッチに分割し、トークンの線形シーケンスとしてモデルにパッチを供給することである。 顕微鏡病理画像などの高解像度画像では、セグメンテーションで好まれる小さなパッチサイズを使用する場合、二次計算とメモリコストは注意に基づくモデルの使用を禁止している。 我々はHPCのAdapative Mesh Refinement(AMR)法から着想を得た。
  論文  参考訳（メタデータ） (2024-04-15T12:06:00Z)
• EXTRACTER: Efficient Texture Matching with Attention and Gradient Enhancing for Large Scale Image Super Resolution [0.0]
  近年のレファレンスベース画像超解像(RefSR)は、低解像度画像の高精細化を目的とした注意機構を導入したSOTAディープ手法を改善している。 より効率的なメモリ使用率を持つディープ検索を提案し,画像パッチ数を大幅に削減する。
  論文  参考訳（メタデータ） (2023-10-02T17:41:56Z)
• DBAT: Dynamic Backward Attention Transformer for Material Segmentation with Cross-Resolution Patches [8.812837829361923]
  クロスレゾリューション特徴を集約する動的後方アテンション変換器(DBAT)を提案する。 実験の結果,DBATの精度は86.85%であり,最先端のリアルタイムモデルの中では最高の性能であることがわかった。 さらに,提案モデルが他の手法よりも優れた材料関連特徴を抽出できることを示すため,セマンティックなラベルにアライメントし,ネットワーク分割を行う。
  論文  参考訳（メタデータ） (2023-05-06T03:47:20Z)
• FewGAN: Generating from the Joint Distribution of a Few Images [95.6635227371479]
  本稿では,新しい,高品質で多様な画像を生成するための生成モデルFewGANを紹介する。 FewGANは、第1の粗いスケールで量子化を適用した階層的なパッチGANであり、その後、より微細なスケールで残った完全畳み込みGANのピラミッドが続く。 大規模な実験では、FewGANは定量的にも定性的にも基線より優れていることが示されている。
  論文  参考訳（メタデータ） (2022-07-18T07:11:28Z)
• HIPA: Hierarchical Patch Transformer for Single Image Super Resolution [62.7081074931892]
  本稿では,階層型パッチ分割を用いた高解像度画像を段階的に復元する新しいトランスフォーマーアーキテクチャHIPAを提案する。 入力画像を複数のステージで処理するカスケードモデルを構築し、小さなパッチサイズでトークンから始めて、徐々に全解像度にマージします。 このような階層的なパッチ機構は、複数の解像度で機能集約を可能にするだけでなく、異なる画像領域に対するパッチ認識機能も適応的に学習する。
  論文  参考訳（メタデータ） (2022-03-19T05:09:34Z)
• SDWNet: A Straight Dilated Network with Wavelet Transformation for Image Deblurring [23.86692375792203]
  画像劣化は、ぼやけた画像から鋭い画像を復元することを目的としたコンピュータビジョンの問題である。 我々のモデルは拡張畳み込みを用いて空間分解能の高い大きな受容場を得ることができる。 本稿では,ウェーブレット変換を用いた新しいモジュールを提案する。
  論文  参考訳（メタデータ） (2021-10-12T07:58:10Z)
• Variable-Rate Deep Image Compression through Spatially-Adaptive Feature Transform [58.60004238261117]
  空間特徴変換(SFT arXiv:1804.02815)に基づく多目的深部画像圧縮ネットワークを提案する。 本モデルは,任意の画素単位の品質マップによって制御される単一モデルを用いて,幅広い圧縮速度をカバーしている。 提案するフレームワークにより,様々なタスクに対してタスク対応の画像圧縮を行うことができる。
  論文  参考訳（メタデータ） (2021-08-21T17:30:06Z)
• A Hierarchical Transformation-Discriminating Generative Model for Few Shot Anomaly Detection [93.38607559281601]
  各トレーニングイメージのマルチスケールパッチ分布をキャプチャする階層的生成モデルを開発した。 この異常スコアは、スケール及び画像領域にわたる正しい変換のパッチベースの投票を集約して得られる。
  論文  参考訳（メタデータ） (2021-04-29T17:49:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。