論文の概要: Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding

• arxiv url: http://arxiv.org/abs/2309.06195v1
• Date: Tue, 12 Sep 2023 13:03:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-13 13:01:02.008029
• Title: Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding
• Title（参考訳）: Smooth Soft-ThresholdingによるISTAおよびADMMネットワークの最適化保証
• Authors: Shaik Basheeruddin Shah, Pradyumna Pradhan, Wei Pu, Ramunaidu Randhi, Miguel R. D. Rodrigues, Yonina C. Eldar
• Abstract要約: 我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
• 参考スコア（独自算出の注目度）: 57.71603937699949
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Solving linear inverse problems plays a crucial role in numerous applications. Algorithm unfolding based, model-aware data-driven approaches have gained significant attention for effectively addressing these problems. Learned iterative soft-thresholding algorithm (LISTA) and alternating direction method of multipliers compressive sensing network (ADMM-CSNet) are two widely used such approaches, based on ISTA and ADMM algorithms, respectively. In this work, we study optimization guarantees, i.e., achieving near-zero training loss with the increase in the number of learning epochs, for finite-layer unfolded networks such as LISTA and ADMM-CSNet with smooth soft-thresholding in an over-parameterized (OP) regime. We achieve this by leveraging a modified version of the Polyak-Lojasiewicz, denoted PL$^*$, condition. Satisfying the PL$^*$ condition within a specific region of the loss landscape ensures the existence of a global minimum and exponential convergence from initialization using gradient descent based methods. Hence, we provide conditions, in terms of the network width and the number of training samples, on these unfolded networks for the PL$^*$ condition to hold. We achieve this by deriving the Hessian spectral norm of these networks. Additionally, we show that the threshold on the number of training samples increases with the increase in the network width. Furthermore, we compare the threshold on training samples of unfolded networks with that of a standard fully-connected feed-forward network (FFNN) with smooth soft-thresholding non-linearity. We prove that unfolded networks have a higher threshold value than FFNN. Consequently, one can expect a better expected error for unfolded networks than FFNN.
• Abstract（参考訳）: 線形逆問題の解法は多くの応用において重要な役割を果たす。 アルゴリズム展開ベースのモデル認識型データ駆動アプローチは、これらの問題を解決する上で大きな注目を集めている。 繰り返しソフトスレッショルドアルゴリズム (LISTA) と乗算器圧縮センシングネットワーク (ADMM-CSNet) の交互方向法 (交互方向法) はそれぞれISTAアルゴリズムとADMMアルゴリズムに基づいて広く利用されている。 本研究では,LISTA や ADMM-CSNet などの有限層アンフォールディングネットワークに対して,過度にパラメータ化された (OP) システムでスムーズなソフトスレッショニングを行う場合の,学習エポックの増加に伴うほぼゼロに近いトレーニング損失の保証について検討する。 我々はpolyak-lojasiewicz (pl$^*$, condition) の修正版を用いてこれを達成する。 損失ランドスケープの特定の領域におけるPL$^*$条件を満たすことは、勾配勾配に基づく手法を用いて初期化から大域的最小および指数収束の存在を保証する。 そこで我々は,pl$^*$条件に対して,ネットワーク幅とトレーニングサンプル数という観点で,これら展開されたネットワーク上の条件を提供する。 これらのネットワークのヘッセンスペクトルノルムを導出することでこれを実現できる。 さらに,ネットワーク幅の増加に伴い,トレーニングサンプル数に対するしきい値が増加することを示した。 さらに,展開ネットワークのトレーニングサンプルの閾値を,標準の完全接続フィードフォワードネットワーク(FFNN)とスムーズなソフトスレッディング非直線性と比較した。 展開されたネットワークはFFNNよりも高い閾値を持つことを示す。 その結果、FFNNよりもネットワークの展開に期待できるエラーが期待できる。

関連論文リスト

• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• Adaptive Multilevel Neural Networks for Parametric PDEs with Error Estimation [0.0]
  ニューラルネットワークアーキテクチャは高次元パラメータ依存偏微分方程式(pPDE)を解くために提示される モデルデータのパラメータを対応する有限要素解にマッピングするために構築される。 適応有限要素法(AFEM)で生成される粗いグリッド解と一連の補正を出力する。
  論文  参考訳（メタデータ） (2024-03-19T11:34:40Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
  制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。 この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
  論文  参考訳（メタデータ） (2022-12-25T15:40:05Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Algorithms for Efficiently Learning Low-Rank Neural Networks [12.916132936159713]
  低ランクニューラルネットワークの学習アルゴリズムについて検討する。 単層ReLUネットワークに最適な低ランク近似を学習するアルゴリズムを提案する。 低ランク$textitdeep$ネットワークをトレーニングするための新しい低ランクフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-02T01:08:29Z)
• Efficient power allocation using graph neural networks and deep algorithm unfolding [40.78748956518785]
  単一ホップアドホック無線ネットワークにおける最適電力配分の問題について検討する。 アルゴリズム重み付き最小二乗誤差(WMMSE)の展開に着想を得たハイブリッドニューラルネットワークアーキテクチャを提案する。 UWMMSEはWMMSEに匹敵する堅牢性を達成し,計算複雑性を著しく低減することを示す。
  論文  参考訳（メタデータ） (2020-11-18T05:28:24Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。