論文の概要: A Simple Plugin for Transforming Images to Arbitrary Scales

• arxiv url: http://arxiv.org/abs/2210.03417v1
• Date: Fri, 7 Oct 2022 09:24:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 14:09:07.034929
• Title: A Simple Plugin for Transforming Images to Arbitrary Scales
• Title（参考訳）: 画像を任意のスケールに変換するシンプルなプラグイン
• Authors: Qinye Zhou, Ziyi Li, Weidi Xie, Xiaoyun Zhang, Ya Zhang, Yanfeng Wang
• Abstract要約: 我々は、既存の超解像モデルに挿入できる汎用プラグインを開発し、Arbitrary Resolution Image Scalingに向けた能力を便利に増強する。 得られたモデルは、固定スケールファクタ上での本来の性能を維持できるだけでなく、目に見えないスケールに拡張可能であることを示し、標準ベンチマーク上で既存の任意のスケールの超解像モデルよりも大幅に優れていることを示す。
• 参考スコア（独自算出の注目度）: 47.36233857830832
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing models on super-resolution often specialized for one scale, fundamentally limiting their use in practical scenarios. In this paper, we aim to develop a general plugin that can be inserted into existing super-resolution models, conveniently augmenting their ability towards Arbitrary Resolution Image Scaling, thus termed ARIS. We make the following contributions: (i) we propose a transformer-based plugin module, which uses spatial coordinates as query, iteratively attend the low-resolution image feature through cross-attention, and output visual feature for the queried spatial location, resembling an implicit representation for images; (ii) we introduce a novel self-supervised training scheme, that exploits consistency constraints to effectively augment the model's ability for upsampling images towards unseen scales, i.e. ground-truth high-resolution images are not available; (iii) without loss of generality, we inject the proposed ARIS plugin module into several existing models, namely, IPT, SwinIR, and HAT, showing that the resulting models can not only maintain their original performance on fixed scale factor but also extrapolate to unseen scales, substantially outperforming existing any-scale super-resolution models on standard benchmarks, e.g. Urban100, DIV2K, etc.
• Abstract（参考訳）: 超解像に関する既存のモデルは、しばしば1つのスケールに特化しており、実用シナリオでの使用を基本的に制限している。 本稿では,既存のスーパーレゾリューションモデルに挿入可能な汎用プラグインを開発し,任意の解像度画像のスケーリング能力を高めることを目的とした。 私たちは次のような貢献をします i) 空間座標を問合せとして用いたトランスフォーマーベースのプラグインモジュールを提案し, 低解像度画像の特徴を相互アテンションを通じて反復的に出席させ, 画像の暗黙的な表現に類似した検索空間位置の視覚的特徴を出力する。 二) 一貫性の制約を生かして、未発見のスケールに対して画像をアップサンプリングするモデルの能力を効果的に強化する、新たな自己教師付きトレーニングスキームを導入する。 3) 一般性を損なうことなく,提案したARISプラグインモジュールを,ICT,SwinIR,HATなどの既存モデルに注入し,その結果得られたモデルが,固定スケールファクタ上での本来の性能を維持するだけでなく,未知のスケールにまで拡張できることを示し,Urban100,DIV2Kなどの標準ベンチマーク上で既存の任意のスケールの超解像モデルよりも大幅に優れていることを示す。

関連論文リスト

• $\text{S}^{3}$Mamba: Arbitrary-Scale Super-Resolution via Scaleable State Space Model [45.65903826290642]
  ASSRは、1つのモデルを用いて、任意のスケールで低解像度画像を高解像度画像に超解き放つことを目的としている。 拡張性のある連続表現空間を構築するために,$textS3$Mambaと呼ばれる新しい任意のスケール超解法を提案する。
  論文  参考訳（メタデータ） (2024-11-16T11:13:02Z)
• Domain Transfer in Latent Space (DTLS) Wins on Image Super-Resolution -- a Non-Denoising Model [13.326634982790528]
  本稿では,ガウス雑音から逃れる単純な手法を提案するが,画像超解像のための拡散モデルの基本構造を採用する。 実験結果から,本手法は最先端の大規模超解像モデルだけでなく,画像超解像に対する現在の拡散モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-11-04T09:57:50Z)
• A Unified Conditional Framework for Diffusion-based Image Restoration [39.418415473235235]
  画像復元のための拡散モデルに基づく統一条件付きフレームワークを提案する。 我々は、軽量なUNetを利用して初期ガイダンスと拡散モデルを予測し、指導の残余を学習する。 そこで本研究では,高解像度画像を扱うために,単純なステップ間パッチ分割方式を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:22:24Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Implicit Diffusion Models for Continuous Super-Resolution [65.45848137914592]
  本稿では,高忠実度連続画像超解像のためのインプリシティ拡散モデル(IDM)を提案する。 IDMは暗黙のニューラル表現とデノナイジング拡散モデルを統合されたエンドツーエンドフレームワークに統合する。 スケーリング係数は分解能を調節し、最終出力におけるLR情報と生成された特徴の比率を変調する。
  論文  参考訳（メタデータ） (2023-03-29T07:02:20Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• Plug-In Inversion: Model-Agnostic Inversion for Vision with Data Augmentations [61.95114821573875]
  単純な拡張セットに依存し、過剰なハイパーパラメータチューニングを必要としないPlug-In Inversionを導入する。 ImageNetデータセットでトレーニングされたビジョントランスフォーマー(ViT)とマルチ層パーセプトロン(MLP)を反転させることにより,我々のアプローチの実用性を説明する。
  論文  参考訳（メタデータ） (2022-01-31T02:12:45Z)
• PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models [77.32079593577821]
  PULSE (Photo Upsampling via Latent Space Exploration) は、それまで文献になかった解像度で高解像度でリアルな画像を生成する。 本手法は, 従来よりも高分解能, スケールファクターの知覚品質において, 最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-03-08T16:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。