論文の概要: SoftServe: A Scalable Quasi-Newton Method for Deep Learning

• arxiv url: http://arxiv.org/abs/2610.02182v1
• Date: Thu, 01 Oct 2026 17:58:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.365878
• Title: SoftServe: A Scalable Quasi-Newton Method for Deep Learning
• Title（参考訳）: SoftServe: ディープラーニングのためのスケーラブルな準ニュートン手法
• Abstract要約: 準ニュートン (Q) 法は, 大規模非拘束凸最適化において, 長年に渡り最も有効な方法の1つである。 客観的な曲率補正やアドホックな曲率補正を克服する手法であるSoftServeを提案する。 建設と大規模ネットワークへのスケールによる対角正性の開発を行う。
• 参考スコア（独自算出の注目度）: 15.36498656219903
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quasi-Newton (QN) methods have long been among the most effective methods for large-scale unconstrained convex optimization. Two obstacles have limited their use in deep learning: non-convexity and enormous parameter sizes. We introduce SoftServe, a family of QN methods designed to overcome these obstacles without line searches or ad hoc curvature corrections. SoftServe derives positivedefinite curvature estimates from the variational objective of Berglund et al. (2025), even in the presence of negative curvature. We develop diagonal and Kroneckerfactored variants that preserve positive definiteness by construction and scale to massive neural networks. Finally, SoftServe relies on the stable coupled Newton-Schulz iteration for the required matrix operations, replacing costly matrix decompositions with GPU-friendly matrix multiplications. SoftServe excels on problems that are severely ill-conditioned, including tasks such as recurrent networks, deep autoencoders, physics-informed neural networks, and a 136M-parameter physics-informed diffusion model, often achieving lower losses than established baselines including Adam, Muon, and SOAP.
• Abstract（参考訳）: 準ニュートン法 (QN) は, 大規模非拘束凸最適化において, 長年に渡り最も有効な方法の1つである。 ディープラーニングにおける2つの障害 – 非凸性と巨大なパラメータサイズ – の使用が制限されている。 我々は,線探索やアドホック曲率補正を伴わずに,これらの障害を克服するQN手法のファミリであるSoftServeを紹介する。 SoftServeは、負の曲率が存在する場合でも、Berglund et al (2025) の変分目的から正定曲率の推定を導出する。 我々は、構築による正の定性を維持し、大規模ニューラルネットワークにスケールする対角形およびクロネッカー型変異体を開発した。 最後に、SoftServeは必要な行列演算に対して安定結合Newton-Schulzイテレーションに依存し、高価な行列分解をGPUフレンドリーな行列乗法に置き換える。 SoftServeは、リカレントネットワーク、ディープオートエンコーダ、物理インフォームドニューラルネットワーク、および136Mパラメータの物理インフォームド拡散モデルなどのタスクを含む、深刻な条件の問題は、しばしばAdam、Muon、SOAPといった既存のベースラインよりも低い損失を達成している。

関連論文リスト

• Physics-Informed Coarsening for Multigrid Graph Neural Surrogates [0.769672852567215]
  本稿では,エンコーダ・プロセッサ・デコーダのバックボーンと物理インフォームド粗大化戦略を結合したソリッドメカニクスのためのグラフニューラルネットワークを提案する。 本研究は,ソリッドメカニクスにおけるスケーラブルなサロゲートモデリングにおける物理インフォームド粗大化の重要性を強調した。
  論文  参考訳（メタデータ） (2026-05-29T08:47:04Z)
• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。 我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• WANCO: Weak Adversarial Networks for Constrained Optimization problems [5.257895611010853]
  まず、拡張ラグランジアン法を用いてミニマックス問題をミニマックス問題に変換する。 次に、それぞれ原始変数と双対変数を表すために、2つの(または複数の)ディープニューラルネットワークを使用します。 ニューラルネットワークのパラメータは、敵のプロセスによって訓練される。
  論文  参考訳（メタデータ） (2024-07-04T05:37:48Z)
• Kronecker-Factored Approximate Curvature for Physics-Informed Neural Networks [3.7308074617637588]
  PINN損失に対するKronecker-factored almost curvature (KFAC)を提案する。 我々のKFACベースの勾配は、小さな問題に対する高価な2階法と競合し、高次元のニューラルネットワークやPDEに好適にスケールし、一階法やLBFGSを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-05-24T14:36:02Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• A multiobjective continuation method to compute the regularization path of deep neural networks [1.3654846342364308]
  数値効率を保証し、モデルの解釈性を改善し、堅牢性を向上させるため、ディープニューラルネットワーク(DNN)では、スパシティは高い特徴である。 本稿では,数百万のパラメータを持つ高次元勾配に対して,上述の目的に対するスパースフロント全体を極めて効率的な方法で実現するアルゴリズムを提案する。 正規化パスの知識がネットワークパラメトリゼーションを十分に一般化することを示す。
  論文  参考訳（メタデータ） (2023-08-23T10:08:52Z)
• Message Passing Neural PDE Solvers [60.77761603258397]
  我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。 本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。 本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
  論文  参考訳（メタデータ） (2022-02-07T17:47:46Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• PFNN: A Penalty-Free Neural Network Method for Solving a Class of Second-Order Boundary-Value Problems on Complex Geometries [4.620110353542715]
  本稿では,2次境界値問題のクラスを解くために,ペナルティのないニューラルネットワーク手法であるPFNNを提案する。 PFNNは、精度、柔軟性、堅牢性の点で、既存のいくつかのアプローチよりも優れている。
  論文  参考訳（メタデータ） (2020-04-14T13:36:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。