論文の概要: Adaptive Hybrid Subspace Levenberg Marquardt Algorithm with Adequacy Monitor for Large Scale Least Squares Problems

• arxiv url: http://arxiv.org/abs/2608.25524v1
• Date: Wed, 26 Aug 2026 08:33:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.685934
• Title: Adaptive Hybrid Subspace Levenberg Marquardt Algorithm with Adequacy Monitor for Large Scale Least Squares Problems
• Title（参考訳）: 大規模最小二乗問題に対するアダプティブハイブリッド・サブスペース・レバンス・マーカルトアルゴリズム
• Abstract要約: Levenberg-Marquardt (LM) アルゴリズムは非線形最小二乗問題の解法として最も広く用いられている手法である。 低次元部分空間を構成する適応型ハイブリッド部分空間 Levenberg-Marquardt (HSLM) アルゴリズムを提案する。 HSLM は古典的およびクリロフ部分空間 LM (KSLM) に匹敵する収束挙動を達成し、計算コストを大幅に削減する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Levenberg-Marquardt (LM) algorithm is the most widely used method for solving nonlinear least-squares problems, as it combines the robustness of steepest descent with the fast local convergence of the Gauss-Newton method. However, its computational cost can become prohibitive for large-scale problems because each iteration requires solving a large damped linear system, and conventional step acceptance strategies may require repeated solves as the damping parameter is adjusted. Despite this computational challenge, many large-scale least-squares problems exhibit effective low-dimensional structure, with only a small number of parameter-space directions strongly informed by the data. We propose an adaptive hybrid subspace Levenberg-Marquardt (HSLM) algorithm that constructs a low-dimensional subspace from complementary sources of gradient, memory, Krylov-subspace, and randomized curvature information and computes a spectrally damped LM step within this subspace. A distinguishing feature of the method is a deterministic adequacy monitor that quantifies how much descent information is captured by the reduced space and adaptively enriches the subspace when necessary. Step acceptance is decoupled from damping adjustment: Armijo backtracking determines the accepted step length, while the ratio of actual to predicted reduction is used solely to update the damping parameter, thereby avoiding repeated damped-system solves during step acceptance. For the HSLM algorithm, we establish global convergence to stationarity and prove local linear and superlinear convergence. Numerical experiments on neural-network training problems show that HSLM achieves convergence behavior comparable to classical and Krylov subspace LM (KSLM) while substantially reducing per-iteration computational cost, with increasing advantages observed as the parameter dimension grows.
• Abstract（参考訳）: Levenberg-Marquardt (LM) アルゴリズムは、急勾配のロバスト性とガウス・ニュートン法の高速局所収束を組み合わせ、非線形最小二乗問題の解法として最も広く用いられている手法である。 しかし、その計算コストは、各イテレーションが大きな減衰線形系を解く必要があり、従来のステップ受け入れ戦略は減衰パラメータを調整するために繰り返し解決する必要があるため、大規模問題では禁止される可能性がある。 この計算課題にもかかわらず、多くの大規模最小二乗問題は、データから強い情報を得た少数のパラメータ空間方向のみを持つ効果的な低次元構造を示す。 本稿では, 勾配, メモリ, クリロフ部分空間, ランダム化された曲率情報から低次元部分空間を構成する適応型ハイブリッド空間 Levenberg-Marquardt (HSLM) アルゴリズムを提案する。 この方法の特徴は、減量された空間によってどれだけの降下情報が取得され、必要に応じてサブスペースを適応的に富むかを定量化する決定論的妥当性モニタである。 ダンピング調整からステップ受入を分離する:Armijoバックトラックは受入ステップ長を判定し、実際の減算と予測された減算の比率は、ダンピングパラメータの更新にのみ使用されるので、ステップ受入時に繰り返し減衰系が解決するのを避ける。 HSLMアルゴリズムでは、定常性への大域収束を確立し、局所線型および超線型収束を証明する。 ニューラルネットワークのトレーニング問題に関する数値実験により、HSLMは古典的およびクリロフ部分空間LM(KSLM)に匹敵する収束挙動を達成し、パラメータ次元が大きくなるにつれて、計算コストを大幅に削減する。

関連論文リスト

• Sufficient Dimesion Reduction via Generalized Stein's Lemma [2.791614311130759]
  一般化されたシュタインの補題に基づくSDRフレームワークを提案する。 提案手法は線形性条件に頼らず,行列逆転を回避し,ラベルのないデータを活用する。 提案手法は,様々な設定において既存手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2026-08-15T08:46:45Z)
• Higher-Order Geometric Updates for Levenberg-Marquardt Method via Riemann Normal Coordinates [1.7812378608633406]
  最小二乗最適化は回帰、物理インフォームドニューラルネットワーク、その他の機械学習タスクの中心である。 RNC-LMは、湾曲した谷とランク不足問題における収束性と堅牢性を改善する。 大規模な機械学習のポテンシャル-エネルギー-表面フィッティングタスクにおいて、標準のLMよりも34倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-07-08T16:39:03Z)
• A Convex Quasilinearization Method for Solving Nonlinear PDEs with Physics-Informed Neural Networks [0.0]
  非線形偏微分方程式(PDE)の前方解の数値解法を提案する。 この方法であるLiL-Qは、7つのベンチマークで評価され(平面ひずみ弾性と2次元および3次元の非圧縮性ナビエ・ストークス方程式)、不均一な透水性を持つ定常流を含む。
  論文  参考訳（メタデータ） (2026-06-16T17:09:59Z)
• High-Dimensional Change-Point Detection via Angular Kernel Statistics [9.486498387993718]
  本研究では,小バッチの観測から推測を行なわなければならない状況下での高次元データに対する変化点検出について検討した。 我々の主な焦点は高次元低サンプルサイズ(HDLSS)レギュレーションであり、周囲の寸法がばらつきながら配列長が固定される。 本稿では,辺分布シフトを検出するための次元平均角カーネルスキャンフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-25T13:45:38Z)
• Pack only the essentials: Adaptive dictionary learning for kernel ridge regression [69.32538992633842]
  カーネルリッジ回帰 (KRR) の大きな限界の1つは、n 個のサンプルに対するカーネル行列 K_n の保存と操作が O(n2) 空間を必要とすることである。 INK-Estimateはデータセットを漸進的に処理し、RSS、有効次元、Nystrom近似をオンザフライで更新するアルゴリズムである。 本稿では,INK-Estimateをベースとした非正規化RSSを用いた新しいアルゴリズムであるSQUEAKを紹介する。
  論文  参考訳（メタデータ） (2026-04-24T09:22:09Z)
• Deep Learning for Subspace Regression [42.94349364701736]
  そのようなスキームを適用する実践的な方法は、計算的に要求されるオフラインステージにおいて、選択されたパラメータセットのサブスペースを計算することである。 現実的な問題に対して、パラメータの空間は高次元であり、古典的な戦略は実現不可能か信頼できない。 本稿では, 回帰問題を緩和し, 部分空間データに適したいくつかの損失関数を導入し, ニューラルネットワークを高次元目標関数の近似として用いることを提案する。
  論文  参考訳（メタデータ） (2025-09-27T10:56:03Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse Problems [64.29491112653905]
  本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。 具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。 提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
  論文  参考訳（メタデータ） (2023-03-10T07:42:49Z)
• Gaussian process regression and conditional Karhunen-Lo\'{e}ve models for data assimilation in inverse problems [68.8204255655161]
  偏微分方程式モデルにおけるデータ同化とパラメータ推定のためのモデル逆アルゴリズムCKLEMAPを提案する。 CKLEMAP法は標準的なMAP法に比べてスケーラビリティがよい。
  論文  参考訳（メタデータ） (2023-01-26T18:14:12Z)
• Covariance-Free Sparse Bayesian Learning [62.24008859844098]
  共分散行列の明示的な反転を回避する新しいSBL推論アルゴリズムを導入する。 私たちの手法は、既存のベースラインよりも数千倍も高速です。 我々は,SBLが高次元信号回復問題に難なく対処できる新しいアルゴリズムについて紹介する。
  論文  参考訳（メタデータ） (2021-05-21T16:20:07Z)
• Pushing the Envelope of Rotation Averaging for Visual SLAM [69.7375052440794]
  視覚SLAMシステムのための新しい最適化バックボーンを提案する。 従来の単分子SLAMシステムの精度, 効率, 堅牢性を向上させるために, 平均化を活用している。 我々のアプローチは、公開ベンチマークの最先端技術に対して、同等の精度で最大10倍高速に表示することができる。
  論文  参考訳（メタデータ） (2020-11-02T18:02:26Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。