論文の概要: Stability Bounds for the Unfolded Forward-Backward Algorithm

• arxiv url: http://arxiv.org/abs/2412.17888v1
• Date: Mon, 23 Dec 2024 11:55:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:54:26.990613
• Title: Stability Bounds for the Unfolded Forward-Backward Algorithm
• Title（参考訳）: 展開フォワード・バックワードアルゴリズムの安定性境界
• Authors: Emilie Chouzenoux, Cecile Della Valle, Jean-Christophe Pesquet,
• Abstract要約: 劣化演算子が線形で知られている逆問題を解決するために設計されたニューラルネットワークアーキテクチャを考察する。 入力摂動に対する逆法のロバスト性は理論的に解析される。 我々の研究の重要な新規性は、そのバイアスの摂動に対する提案されたネットワークの堅牢性を調べることである。
• 参考スコア（独自算出の注目度）: 13.537414663819971
• License:
• Abstract: We consider a neural network architecture designed to solve inverse problems where the degradation operator is linear and known. This architecture is constructed by unrolling a forward-backward algorithm derived from the minimization of an objective function that combines a data-fidelity term, a Tikhonov-type regularization term, and a potentially nonsmooth convex penalty. The robustness of this inversion method to input perturbations is analyzed theoretically. Ensuring robustness complies with the principles of inverse problem theory, as it ensures both the continuity of the inversion method and the resilience to small noise - a critical property given the known vulnerability of deep neural networks to adversarial perturbations. A key novelty of our work lies in examining the robustness of the proposed network to perturbations in its bias, which represents the observed data in the inverse problem. Additionally, we provide numerical illustrations of the analytical Lipschitz bounds derived in our analysis.
• Abstract（参考訳）: 劣化演算子が線形で知られている逆問題を解決するために設計されたニューラルネットワークアーキテクチャを考察する。 このアーキテクチャは、データ忠実度項、Tikhonov型正規化項、および潜在的に非滑らかな凸ペナルティを組み合わせた目的関数の最小化から導かれる前方進アルゴリズムをアンロールすることで構築される。 このインバージョン法の入力摂動に対する堅牢性は理論的に解析される。 強靭性を保証することは、逆問題理論の原則に準拠し、逆法の連続性と小さなノイズに対するレジリエンスの両方を保証する。 我々の研究の重要な新規性は、逆問題における観測されたデータを表すバイアスの摂動に対する提案されたネットワークの堅牢性を調べることである。 さらに、解析によって導出された解析的リプシッツ境界の数値図形も提供する。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Cycle Consistency-based Uncertainty Quantification of Neural Networks in Inverse Imaging Problems [10.992084413881592]
  ディープニューラルネットワークの多くの応用には不確実性推定が不可欠である。 サイクル整合性に基づく逆問題に使用されるディープニューラルネットワークに対する不確実性定量化手法を示す。
  論文  参考訳（メタデータ） (2023-05-22T09:23:18Z)
• To be or not to be stable, that is the question: understanding neural networks for inverse problems [0.0]
  本稿では,ニューラルネットワークの安定性と精度のトレードオフを理論的に解析する。 ネットワークの安定性を高め、良好な精度を維持するために、異なる教師付きおよび教師なしのソリューションを提案する。
  論文  参考訳（メタデータ） (2022-11-24T16:16:40Z)
• Transformer Meets Boundary Value Inverse Problems [4.165221477234755]
  変圧器を用いた深部直接サンプリング法は境界値逆問題のクラスを解くために提案される。 慎重に設計されたデータと再構成された画像の間に学習した逆演算子を評価することにより、リアルタイムな再構成を実現する。
  論文  参考訳（メタデータ） (2022-09-29T17:45:25Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Convergence Analysis and Implicit Regularization of Feedback Alignment for Deep Linear Networks [27.614609336582568]
  ニューラルネットワークのトレーニングのためのバックプロパゲーションの効率的な代替手段であるフィードバックアライメント(FA)アルゴリズムを理論的に解析する。 我々は、連続力学と離散力学の両方に対して、ディープ線形ネットワークのレートで収束保証を提供する。
  論文  参考訳（メタデータ） (2021-10-20T22:57:03Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Towards Understanding Generalization via Decomposing Excess Risk Dynamics [13.4379473119565]
  一般化力学を解析してアルゴリズム依存境界(安定性など)を導出する。 ニューラルネットは、ノイズの嵌合時に緩やかな収束率を示すという観測から着想を得て、余剰リスクダイナミクスを分解することを提案する。 分解の枠組みの下では、新しい境界は安定性に基づく境界と一様収束境界よりも理論的および経験的証拠とよく一致している。
  論文  参考訳（メタデータ） (2021-06-11T03:42:45Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。