論文の概要: Bilevel learning of l1-regularizers with closed-form gradients(BLORC)

• arxiv url: http://arxiv.org/abs/2111.10858v1
• Date: Sun, 21 Nov 2021 17:01:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-24 05:47:38.991364
• Title: Bilevel learning of l1-regularizers with closed-form gradients(BLORC)
• Title（参考訳）: 閉型勾配を持つl1レギュラライザの2レベル学習(blorc)
• Authors: Avrajit Ghosh, Michael T. Mccann, Saiprasad Ravishankar
• Abstract要約: 本稿では,スパーシティー促進型正規化器の教師あり学習法を提案する。 これらのパラメータは、基底真理信号と測定ペアのトレーニングセットにおける再構成の平均2乗誤差を最小限に抑えるために学習される。
• 参考スコア（独自算出の注目度）: 8.138650738423722
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a method for supervised learning of sparsity-promoting regularizers, a key ingredient in many modern signal reconstruction problems. The parameters of the regularizer are learned to minimize the mean squared error of reconstruction on a training set of ground truth signal and measurement pairs. Training involves solving a challenging bilevel optimization problem with a nonsmooth lower-level objective. We derive an expression for the gradient of the training loss using the implicit closed-form solution of the lower-level variational problem given by its dual problem, and provide an accompanying gradient descent algorithm (dubbed BLORC) to minimize the loss. Our experiments on simple natural images and for denoising 1D signals show that the proposed method can learn meaningful operators and the analytical gradients calculated are faster than standard automatic differentiation methods. While the approach we present is applied to denoising, we believe that it can be adapted to a wide-variety of inverse problems with linear measurement models, thus giving it applicability in a wide range of scenarios.
• Abstract（参考訳）: 本稿では,近年の信号再構成問題において重要な要素であるスパーシティプロモーティング正則化器の教師付き学習法を提案する。 正規化器のパラメータを学習し、地上真理信号と測定ペアの訓練セットにおける再構成の平均二乗誤差を最小化する。 トレーニングには、非スムースな低レベル目標で難しい二段階最適化問題を解決することが含まれる。 双対問題によって与えられる低レベル変分問題の暗黙の閉形式解を用いてトレーニング損失の勾配を求める式を導出し、損失を最小限に抑えるために付随する勾配降下アルゴリズム(dubbed blorc)を提供する。 単純自然画像および1次元信号のデノージング実験により,提案手法が有意義な演算子を学習でき,計算された解析勾配は標準自動微分法よりも高速であることを示した。 提案手法はデノナイズに応用されるが,線形測定モデルによる逆問題に対して多種多様な適用が可能であり,幅広いシナリオに適用可能であると考えられる。

関連論文リスト

• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Aiming towards the minimizers: fast convergence of SGD for overparametrized problems [25.077446336619378]
  本稿では,勾配法と同一のケース複雑性を有する勾配法を提案する。 既存の保証は全て勾配法で小さなステップを踏む必要があり、結果として収束速度ははるかに遅くなる。 我々は,線形出力層を用いた十分に広いフィードフォワードニューラルネットワークのトレーニングにおいて,この条件が成り立つことを実証した。
  論文  参考訳（メタデータ） (2023-06-05T05:21:01Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification [97.28167655721766]
  本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。 まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
  論文  参考訳（メタデータ） (2022-08-11T22:27:22Z)
• Learning Sparsity-Promoting Regularizers using Bilevel Optimization [9.18465987536469]
  本稿では,信号や画像の識別のための疎結合型正規化器の教師あり学習法を提案する。 構造化された1D信号と自然画像を用いて実験したところ,提案手法はよく知られた正規化器よりも優れた演算子を学習できることがわかった。
  論文  参考訳（メタデータ） (2022-07-18T20:50:02Z)
• Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
  本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。 学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。 本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
  論文  参考訳（メタデータ） (2022-03-02T22:35:58Z)
• Solving Linear Inverse Problems Using the Prior Implicit in a Denoiser [7.7288480250888]
  我々は、ディープニューラルネットワークにおける暗黙の事前利用のための堅牢で一般的な手法を開発した。 ブラインド(ノイズレベルが未知の)を訓練したCNNが提示される。 このアルゴリズムの制約サンプリングへの一般化は、任意の線形逆問題を解決するために暗黙の手法を提供する。
  論文  参考訳（メタデータ） (2020-07-27T15:40:46Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Supervised Learning of Sparsity-Promoting Regularizers for Denoising [13.203765985718205]
  本稿では,画像復調のための疎度促進型正規化器の教師あり学習法を提案する。 実験の結果,提案手法はよく知られた正規化器よりも優れた演算子を学習できることがわかった。
  論文  参考訳（メタデータ） (2020-06-09T21:38:05Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。