論文の概要: An efficient Quasi-Newton method for nonlinear inverse problems via learned singular values

• arxiv url: http://arxiv.org/abs/2012.07676v2
• Date: Mon, 1 Mar 2021 07:58:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-08 14:12:48.882605
• Title: An efficient Quasi-Newton method for nonlinear inverse problems via learned singular values
• Title（参考訳）: 学習特異値を用いた非線形逆問題に対する効率的な準ニュートン法
• Authors: Danny Smyl, Tyler N. Tallman, Dong Liu, Andreas Hauptmann
• Abstract要約: 非線形逆問題に適用可能な高効率データ駆動準ニュートン法を提案する。 これを実現するには、単数値分解を使用して、モデル出力から単数値へのマッピングを学習し、更新されたJacobianを計算します。 これにより、ラウンドオフエラーを蓄積することなく、Quasi-Newtonメソッドの高速化が期待できます。
• 参考スコア（独自算出の注目度）: 16.135488140265775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Solving complex optimization problems in engineering and the physical sciences requires repetitive computation of multi-dimensional function derivatives. Commonly, this requires computationally-demanding numerical differentiation such as perturbation techniques, which ultimately limits the use for time-sensitive applications. In particular, in nonlinear inverse problems Gauss-Newton methods are used that require iterative updates to be computed from the Jacobian. Computationally more efficient alternatives are Quasi-Newton methods, where the repeated computation of the Jacobian is replaced by an approximate update. Here we present a highly efficient data-driven Quasi-Newton method applicable to nonlinear inverse problems. We achieve this, by using the singular value decomposition and learning a mapping from model outputs to the singular values to compute the updated Jacobian. This enables a speed-up expected of Quasi-Newton methods without accumulating roundoff errors, enabling time-critical applications and allowing for flexible incorporation of prior knowledge necessary to solve ill-posed problems. We present results for the highly non-linear inverse problem of electrical impedance tomography with experimental data.
• Abstract（参考訳）: 工学と物理科学における複雑な最適化問題を解くには、多次元関数微分の繰り返し計算が必要である。 一般に、これは摂動法のような数値的な微分を必要とするため、最終的に時間に敏感なアプリケーションの使用を制限している。 特に非線形逆問題では、ガウス・ニュートン法はジャコビアンから計算される反復的な更新を必要とする。 計算上より効率的な代替手段は準ニュートン法であり、ヤコビアンの繰り返しの計算を近似的な更新に置き換える。 本稿では非線形逆問題に適用可能な高効率データ駆動準ニュートン法を提案する。 これを、特異値分解を用いて、モデル出力から特異値への写像を学習し、更新されたヤコビアンを計算する。 これにより、ラウンドオフエラーを蓄積することなく準ニュートン法の高速化を期待でき、時間クリティカルなアプリケーションを可能にし、不正な問題の解決に必要な事前知識を柔軟に組み込むことができる。 実験データを用いた電気インピーダンストモグラフィーの非線形逆問題について検討した。

関連論文リスト

• Symmetric Rank-One Quasi-Newton Methods for Deep Learning Using Cubic Regularization [0.5120567378386615]
  アダムやアダグラッドのような一階降下や他の一階変種は、ディープラーニングの分野で一般的に使われている。 しかし、これらの手法は曲率情報を活用しない。 準ニュートン法は、以前計算された低ヘッセン近似を再利用する。
  論文  参考訳（メタデータ） (2025-02-17T20:20:11Z)
• Regularized dynamical parametric approximation of stiff evolution problems [0.0]
  非線形パラメトリゼーションのクラスを$ u(t) = Phi(theta(t)) $ で調べ、進化パラメータ $theta(t)$ を計算する。 主な焦点は、固い進化問題と不規則なパラメトリゼーションの組み合わせによって生じる課題に対処することである。
  論文  参考訳（メタデータ） (2025-01-21T13:29:36Z)
• Bayesian Model Parameter Learning in Linear Inverse Problems with Application in EEG Focal Source Imaging [49.1574468325115]
  逆問題は、関心のシグナルを直接観測できない限定データ問題として記述することができる。 未知の非線形モデルパラメータを含む線形逆問題について検討した。 ベイズモデルに基づく学習手法を用いて,信号の回復とモデルパラメータの推定を行った。
  論文  参考訳（メタデータ） (2025-01-07T18:14:24Z)
• A fast neural hybrid Newton solver adapted to implicit methods for nonlinear dynamics [6.642649934130245]
  本稿では,厳密な時間進化非線形方程式に対する非線形時間ステップシステムのこの解を高速化する,新しいディープラーニングに基づくハイブリッドニュートン法を提案する。 ニュートン法における量的改善率を示し、教師なし学習戦略の一般化誤差の上限を解析する。
  論文  参考訳（メタデータ） (2024-07-04T14:02:10Z)
• A Structure-Guided Gauss-Newton Method for Shallow ReLU Neural Network [18.06366638807982]
  浅いReLUニューラルネットワークを用いて最小二乗問題を解くための構造誘導型ガウスニュートン法(SgGN)を提案する。 目的関数の最小二乗構造とニューラルネットワーク構造の両方を効果的に活用する。
  論文  参考訳（メタデータ） (2024-04-07T20:24:44Z)
• Adaptive pruning-based Newton's method for distributed learning [14.885388389215587]
  本稿では,分散適応ニュートン学習(textttDANL)という,新規で効率的なアルゴリズムを提案する。 textttDANLは、利用可能なリソースに効率よく適応し、高い効率を維持しながら、線形収束率を達成する。 実験により、textttDANLは、効率的な通信と異なるデータセット間の強い性能で線形収束を実現することが示された。
  論文  参考訳（メタデータ） (2023-08-20T04:01:30Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• DiffPD: Differentiable Projective Dynamics with Contact [65.88720481593118]
  DiffPDは、暗黙の時間積分を持つ効率的な微分可能なソフトボディシミュレータである。 我々はDiffPDの性能を評価し,様々な応用における標準ニュートン法と比較して4～19倍のスピードアップを観測した。
  論文  参考訳（メタデータ） (2021-01-15T00:13:33Z)
• Quantum-Inspired Algorithms from Randomized Numerical Linear Algebra [53.46106569419296]
  我々は、リコメンダシステムと最小二乗回帰のためのクエリをサポートする古典的な(量子でない)動的データ構造を作成する。 これらの問題に対する以前の量子インスパイアされたアルゴリズムは、レバレッジやリッジレベレッジスコアを偽装してサンプリングしていると我々は主張する。
  論文  参考訳（メタデータ） (2020-11-09T01:13:07Z)
• Learning Fast Approximations of Sparse Nonlinear Regression [50.00693981886832]
  本研究では,Threshold Learned Iterative Shrinkage Algorithming (NLISTA)を導入することでギャップを埋める。 合成データを用いた実験は理論結果と相関し,その手法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-26T11:31:08Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。