論文の概要: Learning Regularization Parameters of Inverse Problems via Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2104.06594v1
• Date: Wed, 14 Apr 2021 02:38:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-15 13:03:48.792246
• Title: Learning Regularization Parameters of Inverse Problems via Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークによる逆問題の学習正規化パラメータ
• Authors: Babak Maboudi Afkham and Julianne Chung and Matthias Chung
• Abstract要約: ネットワークが観察データから正規化パラメータへのマッピングを近似するように訓練される、教師付き学習アプローチを検討する。 本稿では,多種多様な正規化関数,フォワードモデル,ノイズモデルについて考察する。 ネットワークが取得する正規化パラメータは、より効率的に計算でき、より正確なソリューションにもつながります。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we describe a new approach that uses deep neural networks (DNN) to obtain regularization parameters for solving inverse problems. We consider a supervised learning approach, where a network is trained to approximate the mapping from observation data to regularization parameters. Once the network is trained, regularization parameters for newly obtained data can be computed by efficient forward propagation of the DNN. We show that a wide variety of regularization functionals, forward models, and noise models may be considered. The network-obtained regularization parameters can be computed more efficiently and may even lead to more accurate solutions compared to existing regularization parameter selection methods. We emphasize that the key advantage of using DNNs for learning regularization parameters, compared to previous works on learning via optimal experimental design or empirical Bayes risk minimization, is greater generalizability. That is, rather than computing one set of parameters that is optimal with respect to one particular design objective, DNN-computed regularization parameters are tailored to the specific features or properties of the newly observed data. Thus, our approach may better handle cases where the observation is not a close representation of the training set. Furthermore, we avoid the need for expensive and challenging bilevel optimization methods as utilized in other existing training approaches. Numerical results demonstrate the potential of using DNNs to learn regularization parameters.
• Abstract（参考訳）: 本稿では,ディープニューラルネットワーク(dnn)を用いて逆問題を解くための正規化パラメータを求める新しい手法について述べる。 本研究では,観測データから正規化パラメータへのマッピングを近似するためにネットワークを訓練する教師あり学習手法を検討する。 ネットワークをトレーニングすると、DNNの効率的な前方伝播により、新たに取得したデータの正規化パラメータを計算することができる。 本稿では,多種多様な正規化関数,前方モデル,雑音モデルについて考察する。 ネットワークが保持する正規化パラメータはより効率的に計算でき、既存の正規化パラメータ選択法と比較してより正確な解が得られる。 最適実験設計や経験ベイズリスク最小化による学習に対する従来の研究と比べて、正規化パラメータの学習にdnnを使用する主な利点は、より一般化可能であることを強調する。 すなわち、DNN計算された正規化パラメータは、ある特定の設計目標に対して最適なパラメータのセットを計算するのではなく、新たに観測されたデータの特定の特徴や特性に合わせて調整される。 したがって、このアプローチは、観察がトレーニングセットの密接な表現でない場合をよりうまく扱うことができる。 さらに、他の既存のトレーニング手法と同様に、高価で挑戦的な二段階最適化手法は不要である。 DNNを用いて正規化パラメータを学習する可能性を示す。

関連論文リスト

• Sparse Deep Learning Models with the $\ell_1$ Regularization [6.268040192346312]
  スパースニューラルネットワークはディープラーニングにおいて非常に望ましい。 正規化パラメータの選択が学習ニューラルネットワークのスパーシリティレベルに与える影響について検討する。
  論文  参考訳（メタデータ） (2024-08-05T19:38:45Z)
• Neural Parameter Regression for Explicit Representations of PDE Solution Operators [22.355460388065964]
  偏微分方程式(PDE)の解演算子を学習するための新しいフレームワークであるニューラル回帰(NPR)を導入する。 NPRは、ニューラルネットワーク(NN)パラメータを回帰するために、Physics-Informed Neural Network (PINN, Raissi et al., 2021) 技術を使用している。 このフレームワークは、新しい初期条件と境界条件に顕著な適応性を示し、高速な微調整と推論を可能にした。
  論文  参考訳（メタデータ） (2024-03-19T14:30:56Z)
• Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
  連続学習を逐次関数空間変動推論として定式化した目的を提案する。 ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。 タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
  論文  参考訳（メタデータ） (2023-12-28T18:44:32Z)
• Function-Space Regularization in Neural Networks: A Probabilistic Perspective [51.133793272222874]
  所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。 本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
  論文  参考訳（メタデータ） (2023-12-28T17:50:56Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Sparse Bayesian Deep Learning for Dynamic System Identification [14.040914364617418]
  本稿では,システム同定のためのディープニューラルネットワーク(DNN)の疎ベイズ処理を提案する。 提案されたベイズ的アプローチは、限界確率/モデル証拠近似による課題を緩和する原則的な方法を提供する。 提案手法の有効性を線形および非線形システム同定ベンチマークで示す。
  論文  参考訳（メタデータ） (2021-07-27T16:09:48Z)
• Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
  ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。 RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。 この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
  論文  参考訳（メタデータ） (2021-02-15T19:36:18Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。