論文の概要: Consistency analysis of bilevel data-driven learning in inverse problems

• arxiv url: http://arxiv.org/abs/2007.02677v2
• Date: Thu, 7 Jan 2021 15:37:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 03:19:31.438878
• Title: Consistency analysis of bilevel data-driven learning in inverse problems
• Title（参考訳）: 逆問題における2レベルデータ駆動学習の一貫性解析
• Authors: Neil K. Chada, Claudia Schillings, Xin T. Tong and Simon Weissmann
• Abstract要約: 本稿では,データからの正規化パラメータの適応学習を最適化により検討する。 線形逆問題に対する我々のフレームワークの実装方法を示す。 勾配降下法を用いてオンライン数値スキームを導出する。
• 参考スコア（独自算出の注目度）: 1.0705399532413618
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One fundamental problem when solving inverse problems is how to find regularization parameters. This article considers solving this problem using data-driven bilevel optimization, i.e. we consider the adaptive learning of the regularization parameter from data by means of optimization. This approach can be interpreted as solving an empirical risk minimization problem, and we analyze its performance in the large data sample size limit for general nonlinear problems. We demonstrate how to implement our framework on linear inverse problems, where we can further show the inverse accuracy does not depend on the ambient space dimension. To reduce the associated computational cost, online numerical schemes are derived using the stochastic gradient descent method. We prove convergence of these numerical schemes under suitable assumptions on the forward problem. Numerical experiments are presented illustrating the theoretical results and demonstrating the applicability and efficiency of the proposed approaches for various linear and nonlinear inverse problems, including Darcy flow, the eikonal equation, and an image denoising example.
• Abstract（参考訳）: 逆問題を解決する際の根本的な問題は正規化パラメータを見つける方法である。 本稿では,データ駆動二レベル最適化によるこの問題,すなわち最適化によるデータからの正規化パラメータの適応学習について検討する。 このアプローチは,経験的リスク最小化問題の解法として解釈でき,一般非線形問題に対する大規模データサンプルサイズ制限での性能解析を行う。 線形逆問題に対する我々のフレームワークの実装方法を実証し、その逆精度が周囲空間次元に依存しないことを示す。 関連する計算コストを削減するため、確率勾配降下法を用いてオンライン数値スキームを導出する。 我々は,これらの数値スキームの収束性を,前方問題に対する適切な仮定の下で証明する。 数値実験により, ダシー流, 固有方程式, 画像のデノージング例など, 線形および非線形逆問題に対する提案手法の適用可能性と有効性を示す数値実験を行った。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• A Guide to Stochastic Optimisation for Large-Scale Inverse Problems [4.926711494319977]
  最適化アルゴリズムは、大量のデータを持つ機械学習のデファクトスタンダードです。 我々は、逆問題の観点から、最適化における最先端の総合的な説明を提供する。 私たちは、機械学習で一般的に遭遇しない、ユニークな最適化の課題に焦点を合わせています。
  論文  参考訳（メタデータ） (2024-06-10T15:02:30Z)
• From Inverse Optimization to Feasibility to ERM [11.731853838892487]
  パラメータの予測に付加的なコンテキスト情報を利用するコンテキスト逆設定について検討する。 合成および実世界の問題に対する我々のアプローチを実験的に検証し,既存手法と比較して性能が向上したことを示す。
  論文  参考訳（メタデータ） (2024-02-27T21:06:42Z)
• Inverse Models for Estimating the Initial Condition of Spatio-Temporal Advection-Diffusion Processes [5.814371485767541]
  逆問題とは、観測データを用いて物理過程の未知のパラメータについて推論することである。 本稿では,空間的に疎いデータストリームを用いた時空間対流拡散過程の初期状態の推定について検討する。
  論文  参考訳（メタデータ） (2023-02-08T15:30:16Z)
• Stochastic Mirror Descent for Large-Scale Sparse Recovery [13.500750042707407]
  本稿では,2次近似の高次元スパースパラメータの統計的推定への応用について論じる。 提案アルゴリズムは, 回帰器分布の弱い仮定の下で, 推定誤差の最適収束を実現する。
  論文  参考訳（メタデータ） (2022-10-23T23:23:23Z)
• Extension of Dynamic Mode Decomposition for dynamic systems with incomplete information based on t-model of optimal prediction [69.81996031777717]
  動的モード分解は、動的データを研究するための非常に効率的な手法であることが証明された。 このアプローチの適用は、利用可能なデータが不完全である場合に問題となる。 本稿では,森-Zwanzig分解の1次近似を考察し,対応する最適化問題を記述し,勾配に基づく最適化法を用いて解く。
  論文  参考訳（メタデータ） (2022-02-23T11:23:59Z)
• Linear regression with partially mismatched data: local search with theoretical guarantees [9.398989897176953]
  本稿では,予測と応答のペアが部分的に一致しない線形回帰の重要な変種について検討する。 最適化定式化を用いて、基礎となる回帰係数とミスマッチに対応する置換を同時に学習する。 我々は,局所探索アルゴリズムが線形速度でほぼ最適解に収束することを証明した。
  論文  参考訳（メタデータ） (2021-06-03T23:32:12Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
  ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。 本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
  論文  参考訳（メタデータ） (2020-12-09T20:19:32Z)
• Learning Fast Approximations of Sparse Nonlinear Regression [50.00693981886832]
  本研究では,Threshold Learned Iterative Shrinkage Algorithming (NLISTA)を導入することでギャップを埋める。 合成データを用いた実験は理論結果と相関し,その手法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-26T11:31:08Z)
• Follow the bisector: a simple method for multi-objective optimization [65.83318707752385]
  複数の異なる損失を最小化しなければならない最適化問題を考える。 提案手法は、各イテレーションにおける降下方向を計算し、目的関数の相対的減少を等しく保証する。
  論文  参考訳（メタデータ） (2020-07-14T09:50:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。