論文の概要: Implicit Regularization of the Deep Inverse Prior Trained with Inertia

• arxiv url: http://arxiv.org/abs/2506.02986v1
• Date: Tue, 03 Jun 2025 15:24:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.813475
• Title: Implicit Regularization of the Deep Inverse Prior Trained with Inertia
• Title（参考訳）: 慣性訓練による深部逆流のインシシト規則化
• Authors: Nathan Buskulic, Jalal Fadil, Yvain Quéau,
• Abstract要約: 逆問題に適用した自己教師型ニューラルネットワークの収束と回復を保証する。 慣性アルゴリズムによるネットワークのトレーニングは、線形収束率を低く抑えながら、同様のリカバリ保証を享受できることが示される。
• 参考スコア（独自算出の注目度）: 2.089191490381739
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Solving inverse problems with neural networks benefits from very few theoretical guarantees when it comes to the recovery guarantees. We provide in this work convergence and recovery guarantees for self-supervised neural networks applied to inverse problems, such as Deep Image/Inverse Prior, and trained with inertia featuring both viscous and geometric Hessian-driven dampings. We study both the continuous-time case, i.e., the trajectory of a dynamical system, and the discrete case leading to an inertial algorithm with an adaptive step-size. We show in the continuous-time case that the network can be trained with an optimal accelerated exponential convergence rate compared to the rate obtained with gradient flow. We also show that training a network with our inertial algorithm enjoys similar recovery guarantees though with a less sharp linear convergence rate.
• Abstract（参考訳）: ニューラルネットワークによる逆問題の解決は、回復保証に関しては、理論上の保証がほとんどないという利点がある。 本稿では,Deep Image/Inverse Priorのような逆問題に適用された自己教師型ニューラルネットワークの収束と回復を保証するとともに,粘性および幾何学的ヘッセン振動を特徴とする慣性を用いて訓練する。 連続時間の場合、すなわち力学系の軌道と、適応的なステップサイズを持つ慣性アルゴリズムにつながる離散の場合の両方について検討する。 連続時間の場合、勾配流から得られる速度と比較して、ネットワークを最適に加速した指数収束率で訓練できることが示される。 また、慣性アルゴリズムによるネットワークのトレーニングは、線形収束率を低く抑えながら、同様のリカバリ保証を享受できることも示している。

関連論文リスト

• Recovery Guarantees of Unsupervised Neural Networks for Inverse Problems trained with Gradient Descent [0.6522338519818377]
  一般化損失関数の収束と回復の保証は、勾配流を通したトレーニングでは真であることを示す。 また、この離散化は2層DIPネットワークの過パラメータ化に一定でしか影響しないことを示す。
  論文  参考訳（メタデータ） (2024-03-08T15:45:13Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Convergence and Recovery Guarantees of Unsupervised Neural Networks for Inverse Problems [2.6695224599322214]
  我々は、逆問題を解決するために訓練された教師なしフィードフォワード多層ニューラルネットワークのクラスに対して、決定論的収束と回復保証を提供する。 また、スムーズなアクティベーション関数を持つ2層ディープ逆プリエントネットワークが保証の恩恵を受けるようなオーバーパラメトリゼーション境界を導出する。
  論文  参考訳（メタデータ） (2023-09-21T14:48:02Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Convergence Guarantees of Overparametrized Wide Deep Inverse Prior [1.5362025549031046]
  逆優先法(Inverse Priors)は、ランダムな入力をフォワードモデルの下で画像が観察に一致するオブジェクトに変換する、教師なしのアプローチである。 本研究では, 連続時間勾配勾配勾配からトレーニングしたネットワークが, 高確率で指数関数的に高速に収束するオーバーパラメトリゼーション境界を提供する。 この研究は、過度にパラメータ化されたDIPネットワークの理論的理解への第一歩であり、より広い範囲で、逆問題設定におけるニューラルネットワークの理論的理解に関与している。
  論文  参考訳（メタデータ） (2023-03-20T16:49:40Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。