論文の概要: Robust Stochastically-Descending Unrolled Networks
- arxiv url: http://arxiv.org/abs/2312.15788v1
- Date: Mon, 25 Dec 2023 18:51:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 16:30:43.486438
- Title: Robust Stochastically-Descending Unrolled Networks
- Title(参考訳): ロバスト確率決定型アンローディングネットワーク
- Authors: Samar Hadou, Navid NaderiAlizadeh, and Alejandro Ribeiro
- Abstract要約: Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。
アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。
提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
- 参考スコア(独自算出の注目度): 85.6993263983062
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep unrolling, or unfolding, is an emerging learning-to-optimize method that
unrolls a truncated iterative algorithm in the layers of a trainable neural
network. However, the convergence guarantees and generalizability of the
unrolled networks are still open theoretical problems. To tackle these
problems, we provide deep unrolled architectures with a stochastic descent
nature by imposing descending constraints during training. The descending
constraints are forced layer by layer to ensure that each unrolled layer takes,
on average, a descent step toward the optimum during training. We theoretically
prove that the sequence constructed by the outputs of the unrolled layers is
then guaranteed to converge for unseen problems, assuming no distribution shift
between training and test problems. We also show that standard unrolling is
brittle to perturbations, and our imposed constraints provide the unrolled
networks with robustness to additive noise and perturbations. We numerically
assess unrolled architectures trained under the proposed constraints in two
different applications, including the sparse coding using learnable iterative
shrinkage and thresholding algorithm (LISTA) and image inpainting using
proximal generative flow (GLOW-Prox), and demonstrate the performance and
robustness benefits of the proposed method.
- Abstract(参考訳): deep unrolling、あるいはunfoldingは、トレーニング可能なニューラルネットワークのレイヤに停止した反復アルゴリズムを展開する、新たな学習から最適化への方法だ。
しかし、未ロールネットワークの収束保証と一般化性は依然として理論的な問題である。
これらの問題に対処するために,我々は,訓練中に下降制約を課すことで,確率的降下特性を持つ深い未発達アーキテクチャを提供する。
降下制約は、各未ロール層が、平均して、トレーニング中に最適な降下ステップを取るように、層ごとに強制される。
理論上、未ロール層の出力によって構築されるシーケンスは、トレーニング問題とテスト問題の間の分散シフトを仮定して、目に見えない問題に対して収束することが保証される。
また、標準アンローリングは摂動に弱いことを示し、当社が課した制約は、加法雑音や摂動に頑健なアンローリングネットワークを提供する。
本研究では,学習可能な反復的縮小・しきい値化アルゴリズム(lista)を用いたスパース符号化と,近位生成フロー(glow-prox)を用いた画像インペインティングと,提案手法の性能とロバストネスの利点を示す。
関連論文リスト
- Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳(メタデータ) (2023-09-12T13:03:47Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳(メタデータ) (2023-05-24T17:26:22Z) - Improved Model based Deep Learning using Monotone Operator Learning
(MOL) [25.077510176642807]
アンローリングに依存するMoDLアルゴリズムは、イメージリカバリのための強力なツールとして登場している。
我々は,現在展開されていないフレームワークに関連するいくつかの課題を克服するために,新しいモノトーン演算子学習フレームワークを導入する。
並列MRIにおける提案手法の有用性を実証する。
論文 参考訳(メタデータ) (2021-11-22T17:42:27Z) - Defensive Tensorization [113.96183766922393]
本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。
我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。
我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
論文 参考訳(メタデータ) (2021-10-26T17:00:16Z) - AdaLoss: A computationally-efficient and provably convergent adaptive
gradient method [7.856998585396422]
本稿では,損失関数の情報を用いて数値的な調整を行う,計算に親しみやすい学習スケジュール"AnomidaLoss"を提案する。
テキストおよび制御問題に対するLSTMモデルの適用による数値実験の範囲の検証を行う。
論文 参考訳(メタデータ) (2021-09-17T01:45:25Z) - Practical Convex Formulation of Robust One-hidden-layer Neural Network
Training [12.71266194474117]
本研究では,一層型スカラーアウトプット完全接続型ReLULUニューラルネットワークのトレーニングを,有限次元凸プログラムとして再構成可能であることを示す。
我々は「敵の訓練」問題を効率的に解くために凸最適化手法を導出する。
本手法は二項分類と回帰に応用でき、現在の対角訓練法に代わる手段を提供する。
論文 参考訳(メタデータ) (2021-05-25T22:06:27Z) - Solving Sparse Linear Inverse Problems in Communication Systems: A Deep
Learning Approach With Adaptive Depth [51.40441097625201]
疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。
提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
論文 参考訳(メタデータ) (2020-10-29T06:32:53Z) - Learnable Descent Algorithm for Nonsmooth Nonconvex Image Reconstruction [4.2476585678737395]
非滑らかな非画像再構成問題を解決するための一般学習ベースのフレームワークを提案する。
提案手法は,画像における画像問題における効率のよい収束状態であることを示す。
論文 参考訳(メタデータ) (2020-07-22T07:59:07Z) - Local Propagation in Constraint-based Neural Network [77.37829055999238]
ニューラルネットワークアーキテクチャの制約に基づく表現について検討する。
本稿では,いわゆるアーキテクチャ制約を満たすのに適した簡単な最適化手法について検討する。
論文 参考訳(メタデータ) (2020-02-18T16:47:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。