論文の概要: Exploring the Low-Pass Filtering Behavior in Image Super-Resolution
- arxiv url: http://arxiv.org/abs/2405.07919v4
- Date: Wed, 20 Nov 2024 08:52:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-21 16:10:41.982833
- Title: Exploring the Low-Pass Filtering Behavior in Image Super-Resolution
- Title（参考訳）: 画像超解像における低パスフィルタ挙動の探索
- Authors: Haoyu Deng, Zijing Xu, Yule Duan, Xiao Wu, Wenjie Shu, Liang-Jian Deng,
- Abstract要約: 本稿では,画像超解像におけるディープニューラルネットワークの挙動の解釈を試みる。
ISRタスクにおけるニューラルネットワークの動作を分析するために,Hybrid Response Analysis (HyRA) という手法を提案する。
最後に、注入された高周波情報を定量化するために、周波数スペクトル分布類似性(FSDS)と呼ばれる画像から画像へのタスクのメトリクスを導入する。
- 参考スコア（独自算出の注目度）: 13.841859411005737
- License:
- Abstract: Deep neural networks for image super-resolution (ISR) have shown significant advantages over traditional approaches like the interpolation. However, they are often criticized as 'black boxes' compared to traditional approaches with solid mathematical foundations. In this paper, we attempt to interpret the behavior of deep neural networks in ISR using theories from the field of signal processing. First, we report an intriguing phenomenon, referred to as `the sinc phenomenon.' It occurs when an impulse input is fed to a neural network. Then, building on this observation, we propose a method named Hybrid Response Analysis (HyRA) to analyze the behavior of neural networks in ISR tasks. Specifically, HyRA decomposes a neural network into a parallel connection of a linear system and a non-linear system and demonstrates that the linear system functions as a low-pass filter while the non-linear system injects high-frequency information. Finally, to quantify the injected high-frequency information, we introduce a metric for image-to-image tasks called Frequency Spectrum Distribution Similarity (FSDS). FSDS reflects the distribution similarity of different frequency components and can capture nuances that traditional metrics may overlook. Code, videos and raw experimental results for this paper can be found in: https://github.com/RisingEntropy/LPFInISR.
- Abstract（参考訳）: 画像超解像のためのディープニューラルネットワーク(ISR)は、補間のような従来のアプローチよりも大きな優位性を示している。
しかし、堅固な数学的基礎を持つ伝統的なアプローチに比べて「黒い箱」と批判されることが多い。
本稿では、信号処理の分野からの理論を用いて、ISRにおけるディープニューラルネットワークの挙動を解釈しようとする。
まず,「シンク現象」と呼ばれる興味深い現象を報告する。
「インパルス入力をニューラルネットワークに入力した場合に発生する。」
そこで本研究では,AIRタスクにおけるニューラルネットワークの挙動を解析するHybrid Response Analysis (Hybrid Response Analysis, HyRA) を提案する。
具体的には、線形系と非線形系の並列接続にニューラルネットワークを分解し、非線形系が高周波情報を注入している間に、線形系がローパスフィルタとして機能することを示す。
最後に、入射した高周波情報を定量化するために、周波数スペクトル分布類似度(FSDS)と呼ばれる画像から画像へのタスクのメトリクスを導入する。
FSDSは、異なる周波数成分の分布類似性を反映し、従来のメトリクスが見落としている可能性のあるニュアンスをキャプチャすることができる。
この論文のコード、ビデオ、生の実験結果は、https://github.com/RisingEntropy/LPFInISR.comで見ることができる。
関連論文リスト
- How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree
Spectral Bias of Neural Networks [79.28094304325116]
任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。
我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。
本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
論文 参考訳（メタデータ） (2023-05-16T20:06:01Z) - Properties and Potential Applications of Random Functional-Linked Types
of Neural Networks [81.56822938033119]
ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。
本稿では周波数領域の観点からRFLNNの特性について考察する。
本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
論文 参考訳（メタデータ） (2023-04-03T13:25:22Z) - Signal Processing for Implicit Neural Representations [80.38097216996164]
Inlicit Neural Representation (INR)は、マルチ層パーセプトロンを介して連続したマルチメディアデータを符号化する。
既存の作業は、その離散化されたインスタンスの処理を通じて、そのような連続的な表現を操作する。
本稿では,INSP-Netと呼ばれる暗黙的ニューラル信号処理ネットワークを提案する。
論文 参考訳（メタデータ） (2022-10-17T06:29:07Z) - Increasing the Accuracy of a Neural Network Using Frequency Selective
Mesh-to-Grid Resampling [4.211128681972148]
ニューラルネットワークの入力データの処理にFSMR(Keypoint frequency selective mesh-to-grid resampling)を提案する。
ネットワークアーキテクチャや分類タスクによって、トレーニング中のFSMRの適用は学習プロセスに役立ちます。
ResNet50とOxflower17データセットの分類精度は最大4.31ポイント向上できる。
論文 参考訳（メタデータ） (2022-09-28T21:34:47Z) - Rewiring Networks for Graph Neural Network Training Using Discrete
Geometry [0.0]
情報オーバースカッシングはグラフニューラルネットワーク(GNN)のトレーニングに大きな影響を与える問題である
本稿では,ネットワーク上の情報の流れをモデル化し,それらを再構成するために,古典幾何学的な曲率の概念の離散アナログを用いて検討する。
これらの古典的概念は、様々な実世界のネットワークデータセット上でのGNNトレーニング精度において、最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-07-16T21:50:39Z) - Bayesian Convolutional Neural Networks for Limited Data Hyperspectral
Remote Sensing Image Classification [14.464344312441582]
我々は、HSRS画像の分類に、ベイズニューラルネットワークと呼ばれる、ディープニューラルネットワークの特別なクラスを使用します。
ベイズニューラルネットワークは、不確実性を測定するための固有のツールを提供する。
ベイジアンネットワークは、同様に構築された非ベイジアン畳み込みニューラルネットワーク(CNN)と、既成のランダムフォレスト(RF)より優れていることを示す。
論文 参考訳（メタデータ） (2022-05-19T00:02:16Z) - The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。
これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。
このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。
我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
論文 参考訳（メタデータ） (2022-02-27T23:12:43Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Generalized Approach to Matched Filtering using Neural Networks [4.535489275919893]
我々は,新たな深層学習と従来の技術との関係について重要な観察を行う。
一致するフィルタリングは、特定のニューラルネットワークと正式に等価です。
提案するニューラルネットワークアーキテクチャがマッチングフィルタリングよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-04-08T17:59:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。