論文の概要: Stable, accurate and efficient deep neural networks for inverse problems
with analysis-sparse models
- arxiv url: http://arxiv.org/abs/2203.00804v1
- Date: Wed, 2 Mar 2022 00:44:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-03 14:50:46.038680
- Title: Stable, accurate and efficient deep neural networks for inverse problems
with analysis-sparse models
- Title（参考訳）: 解析スパースモデルを用いた逆問題に対する安定で正確で効率的なディープニューラルネットワーク
- Authors: Maksym Neyra-Nesterenko, Ben Adcock
- Abstract要約: 本稿では,一般解析スパースモデルを用いた逆問題に対する高精度で安定かつ効率的なニューラルネットワークの構築について述べる。
ネットワーク構築のために,凸最適化のための1次高速化手法であるNESTAをアンロールする。
再起動方式は、必要なネットワーク深さの指数的減衰を可能とし、より浅いネットワークとなり、その結果より効率的なネットワークを実現する。
- 参考スコア（独自算出の注目度）: 2.969705152497174
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Solving inverse problems is a fundamental component of science, engineering
and mathematics. With the advent of deep learning, deep neural networks have
significant potential to outperform existing state-of-the-art, model-based
methods for solving inverse problems. However, it is known that current
data-driven approaches face several key issues, notably instabilities and
hallucinations, with potential impact in critical tasks such as medical
imaging. This raises the key question of whether or not one can construct
stable and accurate deep neural networks for inverse problems. In this work, we
present a novel construction of an accurate, stable and efficient neural
network for inverse problems with general analysis-sparse models. To construct
the network, we unroll NESTA, an accelerated first-order method for convex
optimization. Combined with a compressed sensing analysis, we prove accuracy
and stability. Finally, a restart scheme is employed to enable exponential
decay of the required network depth, yielding a shallower, and consequently
more efficient, network. We showcase this approach in the case of Fourier
imaging, and verify its stability and performance via a series of numerical
experiments. The key impact of this work is to provide theoretical guarantees
for computing and developing stable neural networks in practice.
- Abstract（参考訳）: 逆問題の解決は科学、工学、数学の基本的な構成要素である。
ディープラーニングの出現により、ディープニューラルネットワークは、既存の最先端のモデルベースの逆問題を解く方法よりも優れた可能性を秘めている。
しかし、現在のデータ駆動アプローチは、特に不安定性や幻覚といったいくつかの重要な問題に直面しており、医療画像のような重要なタスクに潜在的に影響を及ぼすことが知られている。
これは、逆問題に対して安定で正確なディープニューラルネットワークを構築することができるかどうかという重要な疑問を提起する。
本研究では,一般解析スパースモデルを用いた逆問題に対する高精度で安定かつ効率的なニューラルネットワークの構築を提案する。
ネットワークを構築するために,凸最適化のための高速化一階法nestaを展開する。
圧縮センシング解析と組み合わせて,精度と安定性を検証した。
最後に、ネットワークの深さを指数関数的に減少させ、より浅く、その結果、ネットワークをより効率的にする再起動方式を採用する。
本稿では,フーリエ画像の場合のこのアプローチを紹介し,その安定性と性能を一連の数値実験により検証する。
この研究の重要な影響は、実際に安定したニューラルネットワークを計算および開発するための理論的保証を提供することである。
関連論文リスト
- The Unreasonable Effectiveness of Solving Inverse Problems with Neural Networks [24.766470360665647]
逆問題に対する解を学ぶために訓練されたニューラルネットワークは、トレーニングセット上でも古典よりも優れた解を見つけることができることを示す。
高速な推論のために新しいデータに一般化するのではなく、既知のデータに対するより良い解決策を見つけるためにも使用できる。
論文 参考訳（メタデータ） (2024-08-15T12:38:10Z) - Message Passing Variational Autoregressive Network for Solving Intractable Ising Models [6.261096199903392]
自己回帰型ニューラルネットワーク、畳み込み型ニューラルネットワーク、リカレントニューラルネットワーク、グラフニューラルネットワークなど、多くのディープニューラルネットワークがIsingモデルの解決に使用されている。
本稿では、スピン変数間の相互作用を効果的に活用できるメッセージパッシング機構を備えた変分自己回帰アーキテクチャを提案する。
新しいネットワークは、アニーリングフレームワークの下で訓練され、いくつかの原型スピンハミルトニアンの解法、特に低温での大きなスピン系において、既存の方法よりも優れている。
論文 参考訳（メタデータ） (2024-04-09T11:27:07Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Cycle Consistency-based Uncertainty Quantification of Neural Networks in
Inverse Imaging Problems [10.992084413881592]
ディープニューラルネットワークの多くの応用には不確実性推定が不可欠である。
サイクル整合性に基づく逆問題に使用されるディープニューラルネットワークに対する不確実性定量化手法を示す。
論文 参考訳（メタデータ） (2023-05-22T09:23:18Z) - Convergence Guarantees of Overparametrized Wide Deep Inverse Prior [1.5362025549031046]
逆優先法(Inverse Priors)は、ランダムな入力をフォワードモデルの下で画像が観察に一致するオブジェクトに変換する、教師なしのアプローチである。
本研究では, 連続時間勾配勾配勾配からトレーニングしたネットワークが, 高確率で指数関数的に高速に収束するオーバーパラメトリゼーション境界を提供する。
この研究は、過度にパラメータ化されたDIPネットワークの理論的理解への第一歩であり、より広い範囲で、逆問題設定におけるニューラルネットワークの理論的理解に関与している。
論文 参考訳（メタデータ） (2023-03-20T16:49:40Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - To be or not to be stable, that is the question: understanding neural
networks for inverse problems [0.0]
本稿では,ニューラルネットワークの安定性と精度のトレードオフを理論的に解析する。
ネットワークの安定性を高め、良好な精度を維持するために、異なる教師付きおよび教師なしのソリューションを提案する。
論文 参考訳（メタデータ） (2022-11-24T16:16:40Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。