論文の概要: Local monotone operator learning using non-monotone operators: MnM-MOL
- arxiv url: http://arxiv.org/abs/2312.00386v1
- Date: Fri, 1 Dec 2023 07:15:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 15:31:07.443241
- Title: Local monotone operator learning using non-monotone operators: MnM-MOL
- Title（参考訳）: 非単調演算子MnM-MOLを用いた局所単調演算子学習
- Authors: Maneesh John, Jyothi Rikhab Chand, Mathews Jacob
- Abstract要約: 磁気共鳴(MR)画像のアンダーサンプル計測からの復元は、近年広く研究されている重要な問題である。
アンロールされたアプローチは、畳み込みニューラルネットワーク(CNN)ブロックのエンドツーエンドトレーニングを制限する。
MOLアプローチを導入し、アンローリングの必要性を排除し、トレーニング中のメモリ需要を減らす。
- 参考スコア（独自算出の注目度）: 13.037647287689442
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recovery of magnetic resonance (MR) images from undersampled measurements
is a key problem that has seen extensive research in recent years. Unrolled
approaches, which rely on end-to-end training of convolutional neural network
(CNN) blocks within iterative reconstruction algorithms, offer state-of-the-art
performance. These algorithms require a large amount of memory during training,
making them difficult to employ in high-dimensional applications. Deep
equilibrium (DEQ) models and the recent monotone operator learning (MOL)
approach were introduced to eliminate the need for unrolling, thus reducing the
memory demand during training. Both approaches require a Lipschitz constraint
on the network to ensure that the forward and backpropagation iterations
converge. Unfortunately, the constraint often results in reduced performance
compared to unrolled methods. The main focus of this work is to relax the
constraint on the CNN block in two different ways. Inspired by
convex-non-convex regularization strategies, we now impose the monotone
constraint on the sum of the gradient of the data term and the CNN block,
rather than constrain the CNN itself to be a monotone operator. This approach
enables the CNN to learn possibly non-monotone score functions, which can
translate to improved performance. In addition, we only restrict the operator
to be monotone in a local neighborhood around the image manifold. Our
theoretical results show that the proposed algorithm is guaranteed to converge
to the fixed point and that the solution is robust to input perturbations,
provided that it is initialized close to the true solution. Our empirical
results show that the relaxed constraints translate to improved performance and
that the approach enjoys robustness to input perturbations similar to MOL.
- Abstract（参考訳）: 磁気共鳴(MR)画像のアンダーサンプル計測からの回復は、近年広く研究されている重要な問題である。
反復再構成アルゴリズム内の畳み込みニューラルネットワーク(CNN)ブロックのエンドツーエンドトレーニングに依存するアンロールアプローチは、最先端のパフォーマンスを提供する。
これらのアルゴリズムはトレーニング中に大量のメモリを必要とするため、高次元アプリケーションでは採用が困難である。
深い平衡(deq)モデルと最近の単調演算子学習(mol)アプローチを導入して、ロールングの必要性をなくし、トレーニング中のメモリ要求を削減した。
どちらのアプローチも、フォワードとバックプロパゲーションのイテレーションが収束することを保証するために、ネットワーク上のリプシッツ制約を必要とする。
残念なことに、制約はしばしばアンロールされたメソッドと比較してパフォーマンスを低下させる。
この作業の主な焦点は、CNNブロックの制約を2つの異なる方法で緩和することである。
凸非凸正規化戦略に着想を得て、CNN自体をモノトン作用素として制約するのではなく、データ項とCNNブロックの勾配の和にモノトン制約を課した。
このアプローチにより、CNNは非モノトーンスコア関数を学習し、パフォーマンスを向上させることができる。
加えて、像多様体の周りの局所近傍において、演算子を単調に制限するだけである。
我々の理論的結果は,提案アルゴリズムが固定点に収束することが保証され,真の解に近く初期化されることを前提として,解が入力摂動に頑健であることを示す。
実験の結果, 緩和された制約は性能の向上に寄与し, MOLと同様の摂動入力に頑健であることがわかった。
関連論文リスト
- Learning truly monotone operators with applications to nonlinear inverse problems [15.736235440441478]
本稿では,新たに定義されたペナル化損失を通じてモノトーンニューラルネットワークを学習するための新しいアプローチを紹介する。
The Forward-Backward-Forward (FBF) algorithm is used to address monotone inclusion problem。
次に,非線形逆問題の解法が成功したシミュレーション例を示す。
論文 参考訳（メタデータ） (2024-03-30T15:03:52Z) - Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。
アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。
提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
論文 参考訳（メタデータ） (2023-12-25T18:51:23Z) - Improving the Robustness of Neural Multiplication Units with Reversible
Stochasticity [2.4278445972594525]
多層パーセプトロンは、ある種の単純な算術的なタスクを学ぶのに苦労する。
特殊神経NMU(sNMU)は可逆性を適用するために提案され、そのようなオプティマの回避を奨励する。
論文 参考訳（メタデータ） (2022-11-10T14:56:37Z) - An alternative approach to train neural networks using monotone
variational inequality [22.320632565424745]
本稿では,モノトーンベクトル場を用いたニューラルネットワークトレーニングの代替手法を提案する。
我々のアプローチは、事前訓練されたニューラルネットワークのより効率的な微調整に利用できる。
論文 参考訳（メタデータ） (2022-02-17T19:24:20Z) - Improved Model based Deep Learning using Monotone Operator Learning
(MOL) [25.077510176642807]
アンローリングに依存するMoDLアルゴリズムは、イメージリカバリのための強力なツールとして登場している。
我々は,現在展開されていないフレームワークに関連するいくつかの課題を克服するために,新しいモノトーン演算子学習フレームワークを導入する。
並列MRIにおける提案手法の有用性を実証する。
論文 参考訳（メタデータ） (2021-11-22T17:42:27Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - DeepSplit: Scalable Verification of Deep Neural Networks via Operator
Splitting [70.62923754433461]
入力摂動に対するディープニューラルネットワークの最悪の性能を分析することは、大規模な非最適化問題の解決につながる。
解析解を持つ小さなサブプロブレムに分割することで,問題の凸緩和を直接高精度に解ける新しい手法を提案する。
論文 参考訳（メタデータ） (2021-06-16T20:43:49Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳（メタデータ） (2021-06-06T18:05:02Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-07T14:19:07Z) - Monotone operator equilibrium networks [97.86610752856987]
我々はモノトン作用素の理論に基づく新しい暗黙深度モデル、モノトン演算子平衡ネットワーク(monDEQ)を開発した。
暗黙的ネットワークの平衡点の発見と単調作用素分割問題の解法との密接な関係を示す。
次に、ネットワークのパラメータ化を開発し、全ての作用素が単調であり続けることを保証し、ユニークな平衡点の存在を保証する。
論文 参考訳（メタデータ） (2020-06-15T17:57:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。