論文の概要: Accelerating SAV-based optimization via randomized low-rank Hessian approximation

• arxiv url: http://arxiv.org/abs/2606.10562v1
• Date: Tue, 09 Jun 2026 08:27:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.391882
• Title: Accelerating SAV-based optimization via randomized low-rank Hessian approximation
• Title（参考訳）: ランダム化低ランクヘッセン近似によるSAVに基づく最適化の高速化
• Authors: Ryo Sagawa, Daisuke Furihata, Yuto Miyatake,
• Abstract要約: 我々はNystrm-enhanced relaxed scalar partial variable method(N-RSAV)という新しい最適化手法を提案する。 RSAVフレームワークに曲率情報を組み込んで収束を加速し、無条件修正エネルギー散逸法を保存する。 既存のRSAVベースの手法は1次情報のみに依存しており、しばしば収束が遅い。
• 参考スコア（独自算出の注目度）: 3.7214007898390196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new optimization method, the Nyström-enhanced relaxed scalar auxiliary variable method (N-RSAV), which incorporates curvature information into the RSAV framework to accelerate convergence while preserving an unconditional modified energy dissipation law. Existing RSAV-based methods rely solely on first-order information and often suffer from slow convergence, particularly for ill-conditioned problems such as those arising in physics-informed neural networks (PINNs). To address this limitation, we design the linear operator in the RSAV scheme using approximate Hessian information obtained from a randomized low-rank Nyström approximation. To preserve the dissipation structure, we enforce positive semidefiniteness through eigenvalue truncation. Furthermore, we introduce an adaptive strategy that reuses the approximate Hessian based on the deviation between the original and modified energies, significantly reducing computational cost. We also provide a convergence analysis of the RSAV scheme with a general positive semidefinite operator under the Polyak-Lojasiewicz (PL) condition and establish corresponding convergence guarantees for N-RSAV under the PL condition and an additional convexity assumption. Numerical experiments on ill-conditioned problems with effectively low-rank structure, including convex quadratic problems and training of PINNs, demonstrate that the proposed methods achieve substantially faster convergence than conventional RSAV-based approaches.
• Abstract（参考訳）: 本研究では, RSAVフレームワークに曲率情報を組み込んだNyström-enhanced relaxed scalar partial variable method (N-RSAV) を提案する。 既存のRSAVベースの手法は、一階情報のみに依存しており、特に物理インフォームドニューラルネットワーク(PINN)で発生するような条件の悪い問題に対して、しばしば緩やかな収束に苦しむ。 この制限に対処するために、ランダム化低ランクNyström近似から得られた近似ヘッセン情報を用いてRSAV方式の線形作用素を設計する。 散逸構造を維持するため,固有値切り離しによる正の半確定性を強制する。 さらに、原エネルギーと修正エネルギーの偏差に基づいて近似ヘッセンを再利用し、計算コストを大幅に削減する適応戦略を導入する。 また、ポリアック・ロジャシエヴィチ(PL)条件下での一般正の半定値作用素によるRSAVスキームの収束解析を行い、PL条件下でのN-RSAVの収束保証と追加の凸性仮定を確立する。 凸二次問題やPINNの訓練を含む,効率的な低ランク構造をもつ不条件問題に関する数値実験により,提案手法が従来のRSAV法よりもはるかに高速な収束を実現することを示す。

関連論文リスト

• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• SUMO: Subspace-Aware Moment-Orthogonalization for Accelerating Memory-Efficient LLM Training [25.244065166421517]
  低ランク勾配に基づく最適化手法は、大規模言語モデル(LLM)の訓練において、メモリ効率を大幅に改善した。 これらの手法は主にメモリの節約を強調し、しばしば収束の潜在的な加速を見落としている。 本稿では,SUMO(Subspace-Aware Moment-Orthogonalization)を提案する。 我々は,SUMOがコンバージェンスを加速し,安定性を向上し,性能を向上し,最先端手法と比較してメモリ要求を最大20%削減することを示した。
  論文  参考訳（メタデータ） (2025-05-30T16:08:40Z)
• Refining Adaptive Zeroth-Order Optimization at Ease [24.327161891577727]
  本稿では,Refined Adaptive Zeroth-Order Optimization (R-AdaZO)を紹介する。 まず、ZO勾配推定における第1モーメント推定の未解決分散低減効果を示す。 次に、これらの分散誘導勾配推定に基づいて第2モーメント推定を洗練し、最適化ランドスケープの幾何をより正確に把握する。
  論文  参考訳（メタデータ） (2025-02-03T03:10:44Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Verification of Geometric Robustness of Neural Networks via Piecewise Linear Approximation and Lipschitz Optimisation [57.10353686244835]
  我々は、回転、スケーリング、せん断、翻訳を含む入力画像の幾何学的変換に対するニューラルネットワークの検証の問題に対処する。 提案手法は, 分枝・分枝リプシッツと組み合わせたサンプリングおよび線形近似を用いて, 画素値に対する楽音線形制約を求める。 提案手法では,既存の手法よりも最大32%の検証ケースが解決されている。
  論文  参考訳（メタデータ） (2024-08-23T15:02:09Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• An Element-wise RSAV Algorithm for Unconstrained Optimization Problems [13.975774245256561]
  本稿では,新しい最適化アルゴリズムである要素緩和スカラー補助変数(E-RSAV)を提案する。 このアルゴリズムは凸設定における線形収束の厳密な証明を特徴とする。 また,ステッフェンセンステップサイズを持つ適応型E-RSAVを提案する。
  論文  参考訳（メタデータ） (2023-09-07T20:37:23Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。