論文の概要: Test-time Cost-and-Quality Controllable Arbitrary-Scale Super-Resolution with Variable Fourier Components
- arxiv url: http://arxiv.org/abs/2412.05517v2
- Date: Sat, 14 Dec 2024 01:51:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:49:28.745728
- Title: Test-time Cost-and-Quality Controllable Arbitrary-Scale Super-Resolution with Variable Fourier Components
- Title(参考訳): 可変フーリエ成分を用いた試験時間コスト・品質制御可能な任意スケール超解法
- Authors: Kazutoshi Akita, Norimichi Ukita,
- Abstract要約: 任意のスケールファクタとテスト時のコストと品質の制御性を備えた超解像は、様々なアプリケーションに不可欠である。
フーリエ表現を用いたリカレントニューラルネットワーク(RNN)を用いた新しいSR手法を提案する。
我々の手法は、他の最先端の任意のスケールのSR手法よりも低いPSNR低下を実現する。
- 参考スコア(独自算出の注目度): 14.259113523794218
- License:
- Abstract: Super-resolution (SR) with arbitrary scale factor and cost-and-quality controllability at test time is essential for various applications. While several arbitrary-scale SR methods have been proposed, these methods require us to modify the model structure and retrain it to control the computational cost and SR quality. To address this limitation, we propose a novel SR method using a Recurrent Neural Network (RNN) with the Fourier representation. In our method, the RNN sequentially estimates Fourier components, each consisting of frequency and amplitude, and aggregates these components to reconstruct an SR image. Since the RNN can adjust the number of recurrences at test time, we can control the computational cost and SR quality in a single model: fewer recurrences (i.e., fewer Fourier components) lead to lower cost but lower quality, while more recurrences (i.e., more Fourier components) lead to better quality but more cost. Experimental results prove that more Fourier components improve the PSNR score. Furthermore, even with fewer Fourier components, our method achieves a lower PSNR drop than other state-of-the-art arbitrary-scale SR methods.
- Abstract(参考訳): 任意のスケールファクタとテスト時のコスト・アンド・クオリティ制御性を備えた超解像(SR)は、様々なアプリケーションに不可欠である。
いくつかの任意スケールのSR手法が提案されているが、これらの手法はモデル構造を変更し、計算コストとSR品質を制御するために再訓練する必要がある。
この制限に対処するために、フーリエ表現を用いたリカレントニューラルネットワーク(RNN)を用いた新しいSR手法を提案する。
本手法では,周波数と振幅で構成されるフーリエ成分を逐次推定し,これらの成分を集約してSR画像の再構成を行う。
RNNはテスト時に繰り返しの数を調整できるので、単一のモデルで計算コストとSR品質を制御できる。
実験により、より多くのフーリエ成分がPSNRスコアを改善することが証明された。
さらに、フーリエ成分が少なくても、他の最先端の任意スケールSR法よりも低いPSNR低下を実現する。
関連論文リスト
- PassionSR: Post-Training Quantization with Adaptive Scale in One-Step Diffusion based Image Super-Resolution [95.98801201266099]
拡散に基づく画像超解像(SR)モデルでは、複数のデノナイジングステップのコストで優れた性能を示す。
本稿では,一段階拡散(OSD)画像SR,PassionSRにおける適応スケールの学習後量子化手法を提案する。
我々のPassionSRは、画像SRの最近の先進的な低ビット量子化法に対して大きな利点がある。
論文 参考訳(メタデータ) (2024-11-26T04:49:42Z) - HF-Diff: High-Frequency Perceptual Loss and Distribution Matching for One-Step Diffusion-Based Image Super-Resolution [0.0]
我々は、ImageNetデータセット上で事前訓練された可逆ニューラルネットワーク(INN)を利用して、高周波の知覚損失を導入する。
トレーニング期間中,我々は超解像および基底真理(GT)画像の高周波特性の保存を強制する。
我々は、RealSR、RealSet65、DIV2K-Val、ImageNetデータセットで最先端のCLIPIQAスコアを得る。
論文 参考訳(メタデータ) (2024-11-20T18:56:24Z) - Towards a Sampling Theory for Implicit Neural Representations [0.3222802562733786]
Inlicit Neural representations (INRs) は、コンピュータおよび計算画像における逆問題を解決する強力なツールとして登場した。
一般化された重み減衰正規化方式を用いて, 隠蔽層INRから画像の復元方法を示す。
低幅単層INRにより実現された正確な回復画像を得る確率を実証的に評価し、より現実的な連続領域ファントム画像の超解像回復におけるINRの性能を示す。
論文 参考訳(メタデータ) (2024-05-28T17:53:47Z) - Incremental Spatial and Spectral Learning of Neural Operators for
Solving Large-Scale PDEs [86.35471039808023]
Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。
iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。
提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
論文 参考訳(メタデータ) (2022-11-28T09:57:15Z) - CADyQ: Content-Aware Dynamic Quantization for Image Super-Resolution [55.50793823060282]
本稿では,画像超解像(SR)ネットワークのための新しいコンテント・アウェア・ダイナミック量子化(CADyQ)手法を提案する。
CADyQは、入力画像のローカル内容に基づいて、局所領域と層に最適なビットを適応的に割り当てる。
パイプラインは様々なSRネットワークでテストされ、いくつかの標準ベンチマークで評価されている。
論文 参考訳(メタデータ) (2022-07-21T07:50:50Z) - FreqNet: A Frequency-domain Image Super-Resolution Network with Dicrete
Cosine Transform [16.439669339293747]
単一画像超解像(SISR)は低分解能(LR)入力から高分解能(HR)出力を得ることを目的とした不適切な問題である。
高ピーク信号-雑音比(PSNR)の結果にもかかわらず、モデルが望まれる高周波の詳細を正しく付加するかどうかを判断することは困難である。
本稿では、周波数領域の観点から直感的なパイプラインであるFreqNetを提案し、この問題を解決する。
論文 参考訳(メタデータ) (2021-11-21T11:49:12Z) - Fourier Space Losses for Efficient Perceptual Image Super-Resolution [131.50099891772598]
提案した損失関数の適用のみで,最近導入された効率的なジェネレータアーキテクチャの性能向上が可能であることを示す。
フーリエ空間における周波数に対する損失の直接的強調は知覚的画質を著しく向上させることを示す。
訓練されたジェネレータは、最先端の知覚的SR法である RankSRGAN と SRFlow よりも2.4倍、48倍高速である。
論文 参考訳(メタデータ) (2021-06-01T20:34:52Z) - Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。
実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。
ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文 参考訳(メタデータ) (2021-03-15T12:54:26Z) - Deep Networks for Direction-of-Arrival Estimation in Low SNR [89.45026632977456]
我々は,真の配列多様体行列の変異チャネルデータから学習した畳み込みニューラルネットワーク(CNN)を導入する。
我々は低SNR体制でCNNを訓練し、すべてのSNRでDoAを予測する。
私たちの堅牢なソリューションは、ワイヤレスアレイセンサーから音響マイクロフォンやソナーまで、いくつかの分野に適用できます。
論文 参考訳(メタデータ) (2020-11-17T12:52:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。