論文の概要: SVD-Preconditioned Gradient Descent Method for Solving Nonlinear Least Squares Problems

• arxiv url: http://arxiv.org/abs/2602.09057v1
• Date: Sat, 07 Feb 2026 18:53:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.159946
• Title: SVD-Preconditioned Gradient Descent Method for Solving Nonlinear Least Squares Problems
• Title（参考訳）: SVDプレコンディショニングによる非線形最小二乗問題の解法
• Authors: Zhipeng Chang, Wenrui Hao, Nian Liu,
• Abstract要約: 本稿では,非線形最小二乗問題に対する新しい最適化アルゴリズムを提案する。 この方法は、ジャコビアンの特異値分解(SVD)を用いて勾配降下方向をプレコンディションすることで導出される。 提案手法の標準正則性仮定の下での局所線形収束を確立し、適切な条件下でアルゴリズムの修正版に対する大域収束を証明した。
• 参考スコア（独自算出の注目度）: 27.21342746802453
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a novel optimization algorithm designed for nonlinear least-squares problems. The method is derived by preconditioning the gradient descent direction using the Singular Value Decomposition (SVD) of the Jacobian. This SVD-based preconditioner is then integrated with the first- and second-moment adaptive learning rate mechanism of the Adam optimizer. We establish the local linear convergence of the proposed method under standard regularity assumptions and prove global convergence for a modified version of the algorithm under suitable conditions. The effectiveness of the approach is demonstrated experimentally across a range of tasks, including function approximation, partial differential equation (PDE) solving, and image classification on the CIFAR-10 dataset. Results show that the proposed method consistently outperforms standard Adam, achieving faster convergence and lower error in both regression and classification settings.
• Abstract（参考訳）: 本稿では,非線形最小二乗問題に対する新しい最適化アルゴリズムを提案する。 この方法は、ジャコビアンの特異値分解(SVD)を用いて勾配降下方向をプレコンディションすることで導出される。 このSVDベースのプレコンディショナーは、Adamオプティマイザの第1および第2モーメント適応学習機構と統合される。 提案手法の標準正則性仮定の下での局所線形収束を確立し、適切な条件下でアルゴリズムの修正版に対する大域収束を証明した。 この手法の有効性は、関数近似、偏微分方程式(PDE)の解法、CIFAR-10データセットの画像分類など、様々なタスクで実験的に実証されている。 その結果,提案手法は標準Adamよりも常に優れており,回帰と分類の両設定においてより高速な収束と誤りの低減を実現していることがわかった。

関連論文リスト

• A Gradient Meta-Learning Joint Optimization for Beamforming and Antenna Position in Pinching-Antenna Systems [63.213207442368294]
  マルチ導波路ピンチアンテナシステムの新しい最適化設計について検討する。 提案したGML-JOアルゴリズムは,既存の最適化手法と比較して,様々な選択や性能に頑健である。
  論文  参考訳（メタデータ） (2025-06-14T17:35:27Z)
• A Natural Primal-Dual Hybrid Gradient Method for Adversarial Neural Network Training on Solving Partial Differential Equations [9.588717577573684]
  偏微分方程式(PDE)を解くためのスケーラブルな事前条件付き原始ハイブリッド勾配アルゴリズムを提案する。 本稿では,提案手法の性能を,一般的なディープラーニングアルゴリズムと比較する。 その結果,提案手法は効率的かつ堅牢に動作し,安定に収束することが示唆された。
  論文  参考訳（メタデータ） (2024-11-09T20:39:10Z)
• Conditional Mean and Variance Estimation via \textit{k}-NN Algorithm with Automated Variance Selection [9.943131787772323]
  条件平均と分散度を共同で推定するための新しいテクストリック・アレスト・ニアレスト回帰法(textitk-NN)を提案する。 提案アルゴリズムは,古典的非パラメトリックテクトitk-NNモデルの計算効率と多様体学習能力を保持する。
  論文  参考訳（メタデータ） (2024-02-02T18:54:18Z)
• A Deep Unrolling Model with Hybrid Optimization Structure for Hyperspectral Image Deconvolution [50.13564338607482]
  本稿では,DeepMixと呼ばれるハイパースペクトルデコンボリューション問題に対する新しい最適化フレームワークを提案する。 これは3つの異なるモジュール、すなわちデータ一貫性モジュール、手作りの正規化器の効果を強制するモジュール、および装飾モジュールで構成されている。 本研究は,他のモジュールの協調作業によって達成される進歩を維持するために設計された,文脈を考慮した認知型モジュールを提案する。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Adaptive Stochastic Optimisation of Nonconvex Composite Objectives [2.1700203922407493]
  一般化された複合ミラー降下アルゴリズムの一群を提案し,解析する。 適応的なステップサイズでは、提案アルゴリズムは問題の事前知識を必要とせずに収束する。 決定集合の低次元構造を高次元問題に活用する。
  論文  参考訳（メタデータ） (2022-11-21T18:31:43Z)
• Adaptive Zeroth-Order Optimisation of Nonconvex Composite Objectives [1.7640556247739623]
  ゼロ階エントロピー合成目的のためのアルゴリズムを解析し,次元依存性に着目した。 これは、ミラー降下法と推定類似関数を用いて、決定セットの低次元構造を利用して達成される。 勾配を改善するため、Rademacherに基づく古典的なサンプリング法を置き換え、ミニバッチ法が非ユークリ幾何学に対処することを示す。
  論文  参考訳（メタデータ） (2022-08-09T07:36:25Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。