Fugu-MT 論文翻訳(概要): A Randomised Subspace Gauss-Newton Method for Nonlinear Least-Squares

論文の概要: A Randomised Subspace Gauss-Newton Method for Nonlinear Least-Squares

arxiv url: http://arxiv.org/abs/2211.05727v1
Date: Thu, 10 Nov 2022 17:51:08 GMT
ステータス: 処理完了
システム内更新日: 2022-11-11 16:26:09.183006
Title: A Randomised Subspace Gauss-Newton Method for Nonlinear Least-Squares
Title（参考訳）: 非線形最小二乗に対するランダム化部分空間ガウスニュートン法
Authors: Coralia Cartis, Jaroslav Fowkes, Zhen Shao
Abstract要約: 非線形最小二乗最適化問題を解くためにRandomized Subspace Gauss-Newton (R-SGN)アルゴリズムを提案する。 R-SGNの信頼領域変種に対して、収束結果の線形大域率を示す。
参考スコア（独自算出の注目度）: 0.6445605125467572
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a Randomised Subspace Gauss-Newton (R-SGN) algorithm for solving nonlinear least-squares optimization problems, that uses a sketched Jacobian of the residual in the variable domain and solves a reduced linear least-squares on each iteration. A sublinear global rate of convergence result is presented for a trust-region variant of R-SGN, with high probability, which matches deterministic counterpart results in the order of the accuracy tolerance. Promising preliminary numerical results are presented for R-SGN on logistic regression and on nonlinear regression problems from the CUTEst collection.
Abstract（参考訳）: 非線形最小二乗最適化問題の解法としてRandomized Subspace Gauss-Newton(R-SGN)アルゴリズムを提案する。 R-SGNの信頼領域の変種に対して、収束結果の線形大域率を高い確率で示し、決定論的結果と精度耐性の順序を一致させる。 R-SGNのロジスティック回帰およびCUTEstコレクションからの非線形回帰問題に関する予備的な数値結果を示す。

関連論文リスト

Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
論文参考訳（メタデータ） (2024-09-24T04:39:47Z)
Precise asymptotics of reweighted least-squares algorithms for linear diagonal networks [15.074950361970194]
我々は、IRLS、最近提案されたリンリン-RFMアルゴリズム、交互対角ニューラルネットワークを含むアルゴリズム群を統一的に分析する。適切に選択された再重み付けポリシーにより、少数のスパース構造が良好な性能が得られることを示す。また、これを再重み付け方式で活用することで、座標ワイド再重み付けよりもテスト誤差が良好に向上することを示す。
論文参考訳（メタデータ） (2024-06-04T20:37:17Z)
A Structure-Guided Gauss-Newton Method for Shallow ReLU Neural Network [18.06366638807982]
浅いReLUニューラルネットワークを用いて最小二乗問題を解くための構造誘導型ガウスニュートン法(SgGN)を提案する。目的関数の最小二乗構造とニューラルネットワーク構造の両方を効果的に活用する。
論文参考訳（メタデータ） (2024-04-07T20:24:44Z)
Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
論文参考訳（メタデータ） (2023-05-28T06:33:37Z)
Robust empirical risk minimization via Newton's method [9.797319790710711]
実験的リスク最小化のためのニュートン法の新しい変種について検討した。目的関数の勾配と Hessian は、ロバストな推定器に置き換えられる。また,共役勾配法に基づくニュートン方向のロバストな解を求めるアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-01-30T18:54:54Z)
Stochastic Mirror Descent for Large-Scale Sparse Recovery [13.500750042707407]
本稿では,2次近似の高次元スパースパラメータの統計的推定への応用について論じる。提案アルゴリズムは, 回帰器分布の弱い仮定の下で, 推定誤差の最適収束を実現する。
論文参考訳（メタデータ） (2022-10-23T23:23:23Z)
Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
制約付き非線形最適化問題のオンライン統計的推測を考察する。これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
論文参考訳（メタデータ） (2022-05-27T00:34:03Z)
Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文参考訳（メタデータ） (2021-12-29T18:46:52Z)
Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは経験的に過剰フィットを防げる中心的存在ですこの研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文参考訳（メタデータ） (2021-03-23T17:15:53Z)
Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
スケッチに基づくL2正規化最小二乗問題の解法を提案する。我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
論文参考訳（メタデータ） (2020-06-10T15:00:09Z)
Nonconvex sparse regularization for deep neural networks and its optimality [1.9798034349981162]
ディープニューラルネットワーク(DNN)推定器は、回帰と分類問題に対して最適な収束率を得ることができる。スパースDNNに対する新たなペナル化推定法を提案する。スパースペンタライズされた推定器は、様々な非パラメトリック回帰問題に対する最小収束率を適応的に達成できることを示す。
論文参考訳（メタデータ） (2020-03-26T07:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。