論文の概要: Restarted contractive operators to learn at equilibrium

• arxiv url: http://arxiv.org/abs/2506.13239v1
• Date: Mon, 16 Jun 2025 08:38:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 14:59:47.739215
• Title: Restarted contractive operators to learn at equilibrium
• Title（参考訳）: 平衡で学ぶための再始動された収縮作用素
• Authors: Leo Davy, Luis M. Briceno-Arias, N. Pustelnik,
• Abstract要約: 我々は、再起動戦略とADによって計算されたJFBを組み合わせるアルゴリズムを導入し、学習手順を最適なDECフレームワークに任意に近づけることができることを示す。 本稿では,重み付きノルムの重み付け,プラグイン・アンド・プレイスキームの段階化と正規化レベル,フォワード・バックワード・イテレートに埋め込まれたDRUNetデノイザの訓練に有効であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bilevel optimization offers a methodology to learn hyperparameters in imaging inverse problems, yet its integration with automatic differentiation techniques remains challenging. On the one hand, inverse problems are typically solved by iterating arbitrarily many times some elementary scheme which maps any point to the minimizer of an energy functional, known as equilibrium point. On the other hand, introducing parameters to be learned in the energy functional yield architectures very reminiscent of Neural Networks (NN) known as Unrolled NN and thus suggests the use of Automatic Differentiation (AD) techniques. Yet, applying AD requires for the NN to be of relatively small depth, thus making necessary to truncate an unrolled scheme to a finite number of iterations. First, we show that, at the minimizer, the optimal gradient descent step computed in the Deep Equilibrium (DEQ) framework admits an approximation, known as Jacobian Free Backpropagation (JFB), that is much easier to compute and can be made arbitrarily good by controlling Lipschitz properties of the truncated unrolled scheme. Second, we introduce an algorithm that combines a restart strategy with JFB computed by AD and we show that the learned steps can be made arbitrarily close to the optimal DEQ framework. Third, we complement the theoretical analysis by applying the proposed method to a variety of problems in imaging that progressively depart from the theoretical framework. In particular we show that this method is effective for training weights in weighted norms; stepsizes and regularization levels of Plug-and-Play schemes; and a DRUNet denoiser embedded in Forward-Backward iterates.
• Abstract（参考訳）: バイレベル最適化は、逆問題の画像化におけるハイパーパラメータの学習方法を提供するが、自動微分技術との統合は依然として困難である。 一方、逆問題は通常、任意の点を平衡点と呼ばれるエネルギー汎関数の最小値にマッピングする基本的なスキームを任意に何度も繰り返して解くことで解決される。 一方、エネルギー関数型収率アーキテクチャにおいて学習すべきパラメータの導入は、Unrolled NN(英語版)として知られるニューラルネットワーク(NN)を連想させるものであり、したがって自動微分(AD)技術の使用を提案する。 しかし、ADを適用する場合、NNは比較的小さな深さでなければならないため、ロールされていないスキームを有限個のイテレーションに切り離す必要がある。 第一に、最小化器において、Deep Equilibrium (DEQ) フレームワークで計算された最適勾配降下ステップは、より計算が簡単で、truncated unrolled scheme の Lipschitz 特性を制御して任意に良いものにできる、Jacobian Free Backpropagation (JFB) と呼ばれる近似を許容することを示す。 次に、ADによって計算されたJFBと再起動戦略を組み合わせたアルゴリズムを導入し、学習手順を最適なDECフレームワークに任意に近づけることができることを示す。 第3に,提案手法を理論的枠組みから段階的に逸脱する画像の様々な問題に適用することによって理論的解析を補完する。 特に,本手法は,重み付きノルムにおける重み付けのトレーニング,プラグイン・アンド・プレイ方式の段階化と正規化レベル,フォワード・バックワード・イテレートに埋め込まれたDRUNetデノイザに有効であることを示す。

関連論文リスト

• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。 我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Local Linear Convergence of Infeasible Optimization with Orthogonal Constraints [12.414718831844041]
  効率的な代替手段として、不可能なリトラクションに基づくアプローチが提案された。 本稿では,ニューラルネットワークPL条件のみを用いたスムーズな非自由成分分析のための新しいランディングアルゴリズムを確立する。 数値実験により、ランディングアルゴリズムは、計算オーバーヘッドを大幅に削減した最先端のリトラクションベース手法と同等に動作することを示した。
  論文  参考訳（メタデータ） (2024-12-07T16:02:27Z)
• Alternating Minimization Schemes for Computing Rate-Distortion-Perception Functions with $f$-Divergence Perception Constraints [10.564071872770146]
  離散メモリレスソースに対するRDPF(Ralse-Distortion-Perception Function)の計算について検討した。 最適パラメトリック解を特徴付ける。 歪みと知覚制約について十分な条件を提供する。
  論文  参考訳（メタデータ） (2024-08-27T12:50:12Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Iterative Reweighted Least Squares Networks With Convergence Guarantees for Solving Inverse Imaging Problems [12.487990897680422]
  解析に基づく画像正規化における画像再構成タスクの新しい最適化手法を提案する。 そのような正規化子は $ell_pp$-vector および $mathcalS_pp$ Schatten-matrix 準ノルムの重み付き拡張に対応するポテンシャル関数を用いてパラメータ化する。 提案する最小化戦略の収束保証により,メモリ効率の高い暗黙バックプロパゲーション方式により,そのような最適化を成功させることができることを示す。
  論文  参考訳（メタデータ） (2023-08-10T17:59:46Z)
• A Deep Unrolling Model with Hybrid Optimization Structure for Hyperspectral Image Deconvolution [50.13564338607482]
  本稿では,DeepMixと呼ばれるハイパースペクトルデコンボリューション問題に対する新しい最適化フレームワークを提案する。 これは3つの異なるモジュール、すなわちデータ一貫性モジュール、手作りの正規化器の効果を強制するモジュール、および装飾モジュールで構成されている。 本研究は,他のモジュールの協調作業によって達成される進歩を維持するために設計された,文脈を考慮した認知型モジュールを提案する。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• AskewSGD : An Annealed interval-constrained Optimisation method to train Quantized Neural Networks [12.229154524476405]
  我々は、深層ニューラルネットワーク(DNN)を量子化重みでトレーニングするための新しいアルゴリズム、Annealed Skewed SGD - AskewSGDを開発した。 アクティブなセットと実行可能な方向を持つアルゴリズムとは異なり、AskewSGDは実行可能な全セットの下でのプロジェクションや最適化を避けている。 実験結果から,AskewSGDアルゴリズムは古典的ベンチマークの手法と同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-11-07T18:13:44Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。