論文の概要: Convergence and Recovery Guarantees of Unsupervised Neural Networks for Inverse Problems

• arxiv url: http://arxiv.org/abs/2309.12128v2
• Date: Tue, 17 Oct 2023 10:27:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 20:26:36.239882
• Title: Convergence and Recovery Guarantees of Unsupervised Neural Networks for Inverse Problems
• Title（参考訳）: 逆問題に対する教師なしニューラルネットワークの収束と回復保証
• Authors: Nathan Buskulic, Jalal Fadili, Yvain Qu\'eau
• Abstract要約: 我々は、逆問題を解決するために訓練された教師なしフィードフォワード多層ニューラルネットワークのクラスに対して、決定論的収束と回復保証を提供する。 また、スムーズなアクティベーション関数を持つ2層ディープ逆プリエントネットワークが保証の恩恵を受けるようなオーバーパラメトリゼーション境界を導出する。
• 参考スコア（独自算出の注目度）: 0.6522338519818377
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks have become a prominent approach to solve inverse problems in recent years. While a plethora of such methods was developed to solve inverse problems empirically, we are still lacking clear theoretical guarantees for these methods. On the other hand, many works proved convergence to optimal solutions of neural networks in a more general setting using overparametrization as a way to control the Neural Tangent Kernel. In this work we investigate how to bridge these two worlds and we provide deterministic convergence and recovery guarantees for the class of unsupervised feedforward multilayer neural networks trained to solve inverse problems. We also derive overparametrization bounds under which a two-layers Deep Inverse Prior network with smooth activation function will benefit from our guarantees.
• Abstract（参考訳）: 近年、ニューラルネットワークは逆問題の解決に顕著なアプローチとなっている。 逆問題を経験的に解くためにこのような手法の多元性を開発したが、これらの方法に対する明確な理論的保証はいまだに欠如している。 一方で、多くの研究がニューラルネットワークの最適解に収束することを証明し、オーバーパラメトリゼーションをニューラルタンジェントカーネルを制御する方法として用いた。 本研究では,これら2つの世界を橋渡しする方法を調査し,逆問題を解くために訓練された教師なしフィードフォワード多層ニューラルネットワークのクラスに対して,決定論的収束と回復の保証を提供する。 また、スムーズなアクティベーション関数を持つ2層ディープ逆プリエントネットワークが保証の恩恵を受けるようなオーバーパラメトリゼーション境界を導出する。

関連論文リスト

• Recovery Guarantees of Unsupervised Neural Networks for Inverse Problems trained with Gradient Descent [0.6522338519818377]
  一般化損失関数の収束と回復の保証は、勾配流を通したトレーニングでは真であることを示す。 また、この離散化は2層DIPネットワークの過パラメータ化に一定でしか影響しないことを示す。
  論文  参考訳（メタデータ） (2024-03-08T15:45:13Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Convergence Guarantees of Overparametrized Wide Deep Inverse Prior [1.5362025549031046]
  逆優先法(Inverse Priors)は、ランダムな入力をフォワードモデルの下で画像が観察に一致するオブジェクトに変換する、教師なしのアプローチである。 本研究では, 連続時間勾配勾配勾配からトレーニングしたネットワークが, 高確率で指数関数的に高速に収束するオーバーパラメトリゼーション境界を提供する。 この研究は、過度にパラメータ化されたDIPネットワークの理論的理解への第一歩であり、より広い範囲で、逆問題設定におけるニューラルネットワークの理論的理解に関与している。
  論文  参考訳（メタデータ） (2023-03-20T16:49:40Z)
• Energy Regularized RNNs for Solving Non-Stationary Bandit Problems [97.72614340294547]
  我々は、ニューラルネットワークが特定の行動を支持するのに自信過剰になるのを防ぐエネルギー用語を提案する。 提案手法は,ロッティングバンドのサブプロブレムを解く方法と同じくらい有効であることを示す。
  論文  参考訳（メタデータ） (2023-03-12T03:32:43Z)
• A Neural-Network-Based Convex Regularizer for Inverse Problems [14.571246114579468]
  画像再構成問題を解決するためのディープラーニング手法は、再構築品質を大幅に向上させた。 これらの新しい手法は信頼性と説明性に欠けることが多く、これらの欠点に対処する関心が高まっている。 本研究では,凸リッジ関数の和である正則化器を再検討することにより,この問題に対処する。 このような正規化器の勾配は、活性化関数が増加し学習可能な単一の隠蔽層を持つニューラルネットワークによってパラメータ化される。
  論文  参考訳（メタデータ） (2022-11-22T18:19:10Z)
• Zonotope Domains for Lagrangian Neural Network Verification [102.13346781220383]
  我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。 我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
  論文  参考訳（メタデータ） (2022-10-14T19:31:39Z)
• Imbedding Deep Neural Networks [0.0]
  ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。 本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T22:00:41Z)
• Multivariate Deep Evidential Regression [77.34726150561087]
  不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。 本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
  論文  参考訳（メタデータ） (2021-04-13T12:20:18Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。