論文の概要: Consistency analysis of bilevel data-driven learning in inverse problems

• arxiv url: http://arxiv.org/abs/2007.02677v2
• Date: Thu, 7 Jan 2021 15:37:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 03:19:31.438878
• Title: Consistency analysis of bilevel data-driven learning in inverse problems
• Title（参考訳）: 逆問題における2レベルデータ駆動学習の一貫性解析
• Authors: Neil K. Chada, Claudia Schillings, Xin T. Tong and Simon Weissmann
• Abstract要約: 本稿では,データからの正規化パラメータの適応学習を最適化により検討する。 線形逆問題に対する我々のフレームワークの実装方法を示す。 勾配降下法を用いてオンライン数値スキームを導出する。
• 参考スコア（独自算出の注目度）: 1.0705399532413618
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One fundamental problem when solving inverse problems is how to find regularization parameters. This article considers solving this problem using data-driven bilevel optimization, i.e. we consider the adaptive learning of the regularization parameter from data by means of optimization. This approach can be interpreted as solving an empirical risk minimization problem, and we analyze its performance in the large data sample size limit for general nonlinear problems. We demonstrate how to implement our framework on linear inverse problems, where we can further show the inverse accuracy does not depend on the ambient space dimension. To reduce the associated computational cost, online numerical schemes are derived using the stochastic gradient descent method. We prove convergence of these numerical schemes under suitable assumptions on the forward problem. Numerical experiments are presented illustrating the theoretical results and demonstrating the applicability and efficiency of the proposed approaches for various linear and nonlinear inverse problems, including Darcy flow, the eikonal equation, and an image denoising example.
• Abstract（参考訳）: 逆問題を解決する際の根本的な問題は正規化パラメータを見つける方法である。 本稿では,データ駆動二レベル最適化によるこの問題,すなわち最適化によるデータからの正規化パラメータの適応学習について検討する。 このアプローチは,経験的リスク最小化問題の解法として解釈でき,一般非線形問題に対する大規模データサンプルサイズ制限での性能解析を行う。 線形逆問題に対する我々のフレームワークの実装方法を実証し、その逆精度が周囲空間次元に依存しないことを示す。 関連する計算コストを削減するため、確率勾配降下法を用いてオンライン数値スキームを導出する。 我々は,これらの数値スキームの収束性を,前方問題に対する適切な仮定の下で証明する。 数値実験により, ダシー流, 固有方程式, 画像のデノージング例など, 線形および非線形逆問題に対する提案手法の適用可能性と有効性を示す数値実験を行った。

関連論文リスト

• On improving generalization in a class of learning problems with the method of small parameters for weakly-controlled optimal gradient systems [0.0]
  制御入力が非線形項の係数としてシステム力学に入力される弱制御勾配系の変分問題を考える。 摂動理論を用いて、最適化問題の列を解くことができる結果を提供する。 また、そのような近似最適解に対する収束率を推定する。
  論文  参考訳（メタデータ） (2024-12-11T20:50:29Z)
• Representation and Regression Problems in Neural Networks: Relaxation, Generalization, and Numerics [5.915970073098098]
  浅層ニューラルネットワーク(NN)の訓練に伴う3つの非次元最適化問題に対処する。 我々はこれらの問題と表現を凸化し、不在緩和ギャップを証明するために代表者勾配を適用した。 我々はこれらの境界に対する鍵パラメータの影響を分析し、最適な選択を提案する。 高次元データセットに対して,勾配降下と組み合わせて効率的な解を求めるスペーシフィケーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-12-02T15:40:29Z)
• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• A Guide to Stochastic Optimisation for Large-Scale Inverse Problems [4.926711494319977]
  最適化アルゴリズムは、大量のデータを持つ機械学習のデファクトスタンダードです。 各最適化ステップで利用可能なデータのサブセットのみを処理すると、イテレーション毎の計算コストが劇的に削減される。 逆画像問題に対する変分正規化に特有の最適化の可能性と課題に焦点をあてる。
  論文  参考訳（メタデータ） (2024-06-10T15:02:30Z)
• From Inverse Optimization to Feasibility to ERM [11.731853838892487]
  パラメータの予測に付加的なコンテキスト情報を利用するコンテキスト逆設定について検討する。 合成および実世界の問題に対する我々のアプローチを実験的に検証し,既存手法と比較して性能が向上したことを示す。
  論文  参考訳（メタデータ） (2024-02-27T21:06:42Z)
• Stochastic Mirror Descent for Large-Scale Sparse Recovery [13.500750042707407]
  本稿では,2次近似の高次元スパースパラメータの統計的推定への応用について論じる。 提案アルゴリズムは, 回帰器分布の弱い仮定の下で, 推定誤差の最適収束を実現する。
  論文  参考訳（メタデータ） (2022-10-23T23:23:23Z)
• Extension of Dynamic Mode Decomposition for dynamic systems with incomplete information based on t-model of optimal prediction [69.81996031777717]
  動的モード分解は、動的データを研究するための非常に効率的な手法であることが証明された。 このアプローチの適用は、利用可能なデータが不完全である場合に問題となる。 本稿では,森-Zwanzig分解の1次近似を考察し,対応する最適化問題を記述し,勾配に基づく最適化法を用いて解く。
  論文  参考訳（メタデータ） (2022-02-23T11:23:59Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
  ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。 本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
  論文  参考訳（メタデータ） (2020-12-09T20:19:32Z)
• Learning Fast Approximations of Sparse Nonlinear Regression [50.00693981886832]
  本研究では,Threshold Learned Iterative Shrinkage Algorithming (NLISTA)を導入することでギャップを埋める。 合成データを用いた実験は理論結果と相関し,その手法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-26T11:31:08Z)
• Follow the bisector: a simple method for multi-objective optimization [65.83318707752385]
  複数の異なる損失を最小化しなければならない最適化問題を考える。 提案手法は、各イテレーションにおける降下方向を計算し、目的関数の相対的減少を等しく保証する。
  論文  参考訳（メタデータ） (2020-07-14T09:50:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。