論文の概要: Self-Organized Operational Neural Networks for Severe Image Restoration
Problems
- arxiv url: http://arxiv.org/abs/2008.12894v1
- Date: Sat, 29 Aug 2020 02:19:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-23 16:54:20.969987
- Title: Self-Organized Operational Neural Networks for Severe Image Restoration
Problems
- Title（参考訳）: 画像復元問題に対する自己組織型オペレーショナルニューラルネットワーク
- Authors: Junaid Malik, Serkan Kiranyaz, Moncef Gabbouj
- Abstract要約: 畳み込みニューラルネットワーク(CNN)に基づく離散学習は、ノイズとクリーンのイメージペアのトレーニング例から学習することで、画像復元を行うことを目的としている。
これは畳み込みに基づく変換の本質的な線形性によるものであり、深刻な復元問題に対処するには不十分である。
画像復元のための自己組織型ONN(Self-ONN)を提案する。
- 参考スコア（独自算出の注目度）: 25.838282412957675
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Discriminative learning based on convolutional neural networks (CNNs) aims to
perform image restoration by learning from training examples of noisy-clean
image pairs. It has become the go-to methodology for tackling image restoration
and has outperformed the traditional non-local class of methods. However, the
top-performing networks are generally composed of many convolutional layers and
hundreds of neurons, with trainable parameters in excess of several millions.
We claim that this is due to the inherent linear nature of convolution-based
transformation, which is inadequate for handling severe restoration problems.
Recently, a non-linear generalization of CNNs, called the operational neural
networks (ONN), has been shown to outperform CNN on AWGN denoising. However,
its formulation is burdened by a fixed collection of well-known nonlinear
operators and an exhaustive search to find the best possible configuration for
a given architecture, whose efficacy is further limited by a fixed output layer
operator assignment. In this study, we leverage the Taylor series-based
function approximation to propose a self-organizing variant of ONNs, Self-ONNs,
for image restoration, which synthesizes novel nodal transformations onthe-fly
as part of the learning process, thus eliminating the need for redundant
training runs for operator search. In addition, it enables a finer level of
operator heterogeneity by diversifying individual connections of the receptive
fields and weights. We perform a series of extensive ablation experiments
across three severe image restoration tasks. Even when a strict equivalence of
learnable parameters is imposed, Self-ONNs surpass CNNs by a considerable
margin across all problems, improving the generalization performance by up to 3
dB in terms of PSNR.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(cnns)に基づく判別学習は、雑音-クリーン画像ペアのトレーニング例から学習することで画像復元を行うことを目的としている。
画像復元のためのgo-to方法論となり、従来の非ローカルメソッドよりも優れています。
しかし、トップパフォーマンスネットワークは一般に多数の畳み込み層と数百のニューロンで構成され、数百万以上のトレーニング可能なパラメータを持つ。
これは畳み込みに基づく変換の本質的な線形性によるものであり、深刻な復元問題に対処するには不十分である。
近年、オペレーショナルニューラルネットワーク(ONN)と呼ばれるCNNの非線形一般化が、AWGNデノーミングにおいてCNNより優れていることが示されている。
しかし、その定式化は、よく知られた非線形作用素の固定集合と、与えられたアーキテクチャの最良の構成を見つけるために徹底的な探索によって負担され、その効果は、固定出力層演算子の割り当てによってさらに制限される。
本研究では,テイラー級数に基づく関数近似を用いて,学習過程の一部として新規な結節変換を合成し,演算子探索のための冗長なトレーニング実行を不要とする,画像復元のための自己組織型ONN,Self-ONNを提案する。
さらに、受容野と重みの個々の接続を多様化させることにより、より細かい演算子の不均質性を実現する。
我々は3つの重篤な画像復元作業に対して広範囲にわたるアブレーション実験を行った。
学習可能なパラメータの厳密な等価性を課しても、Self-ONNはすべての問題においてCNNをかなり上回り、PSNRの観点からは最大3dBまで一般化性能を向上させる。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳（メタデータ） (2023-10-11T12:46:11Z) - A Neural-Network-Based Convex Regularizer for Inverse Problems [14.571246114579468]
画像再構成問題を解決するためのディープラーニング手法は、再構築品質を大幅に向上させた。
これらの新しい手法は信頼性と説明性に欠けることが多く、これらの欠点に対処する関心が高まっている。
本研究では,凸リッジ関数の和である正則化器を再検討することにより,この問題に対処する。
このような正規化器の勾配は、活性化関数が増加し学習可能な単一の隠蔽層を持つニューラルネットワークによってパラメータ化される。
論文 参考訳（メタデータ） (2022-11-22T18:19:10Z) - Random Weight Factorization Improves the Training of Continuous Neural
Representations [1.911678487931003]
連続神経表現は、信号の古典的な離散化表現に代わる強力で柔軟な代替物として登場した。
従来の線形層をパラメータ化・初期化するための単純なドロップイン置換法としてランダムウェイト係数化を提案する。
ネットワーク内の各ニューロンが、自身の自己適応学習率を用いて学習できるように、この因子化が基盤となる損失状況をどのように変化させるかを示す。
論文 参考訳（メタデータ） (2022-10-03T23:48:48Z) - Convolutional versus Self-Organized Operational Neural Networks for
Real-World Blind Image Denoising [25.31981236136533]
初めてDeep Self-ONNを採用することで、現実世界の盲目の画像消音問題に取り組みます。
ディープセルフオンはPSNRで最大1.76dBの性能向上で常に優れた結果を達成します。
論文 参考訳（メタデータ） (2021-03-04T14:49:17Z) - An End-To-End-Trainable Iterative Network Architecture for Accelerated
Radial Multi-Coil 2D Cine MR Image Reconstruction [4.233498905999929]
我々は,複数のレシーバコイルを用いた加速2次元放射状シネMRIの画像再構成のためのCNNアーキテクチャを提案する。
提案手法を学習的・非学習的正規化手法と比較し,提案手法を他のよく知られた再構築手法と比較する。
論文 参考訳（メタデータ） (2021-02-01T11:42:04Z) - A Fully Tensorized Recurrent Neural Network [48.50376453324581]
重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。
このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
論文 参考訳（メタデータ） (2020-10-08T18:24:12Z) - Operational vs Convolutional Neural Networks for Image Denoising [25.838282412957675]
畳み込みニューラルネットワーク(CNN)は近年,適応学習能力により画像デノナイズ技術として好まれている。
データ変換のコアに新たな非線形性を埋め込むための柔軟性を向上するヘテロジニアスネットワークモデルを提案する。
ONNとCNNの比較評価は、線形演算子に富んだONNが等価かつよく知られた深層構成のCNNに対して優れたノイズ発生性能を達成できるという決定的な証拠が得られる。
論文 参考訳（メタデータ） (2020-09-01T12:15:28Z) - Limited-angle tomographic reconstruction of dense layered objects by
dynamical machine learning [68.9515120904028]
強い散乱準透明物体の有限角トモグラフィーは困難で、非常に不適切な問題である。
このような問題の状況を改善することにより、アーティファクトの削減には、事前の定期化が必要である。
我々は,新しい分割畳み込みゲート再帰ユニット(SC-GRU)をビルディングブロックとして,リカレントニューラルネットワーク(RNN)アーキテクチャを考案した。
論文 参考訳（メタデータ） (2020-07-21T11:48:22Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Iterative Network for Image Super-Resolution [69.07361550998318]
単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。
本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。
反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
論文 参考訳（メタデータ） (2020-05-20T11:11:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。