論文の概要: Understanding Practical Optimization in Machine Learning

• arxiv url: http://arxiv.org/abs/2610.35209v1
• Date: Mon, 26 Oct 2026 11:00:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.83574
• Title: Understanding Practical Optimization in Machine Learning
• Title（参考訳）: 機械学習における実践的最適化の理解
• Abstract要約: 現代の機械学習は、古典的な分析におけるアルゴリズムとしばしば異なる実用的な最適化手法に依存している。 この論文は、目的、仮定、更新バイアスを分析し、それらを使用するのではなく、これらの手順によって定義される。 全体として、理論が特徴を保ち、それらの最適化挙動を決定すると、実践的な手法がよりよく理解される。
• 参考スコア（独自算出の注目度）: 4.158312416219485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern machine learning relies on practical optimization methods that often differ from the algorithms studied in classical analyses: they train submodels, clip or normalize gradients, use layer-wise non-Euclidean directions, or approximate costly inner computations. This thesis analyzes the objective, assumptions, update, and computation defined by these procedures, rather than those of simplified proxies. For submodel training, we show that Independent Subnetwork Training can converge to a shifted fixed point because sketching before differentiation biases the update for the original objective. Model-Agnostic Sparsified Training instead incorporates the sketch distribution into its objective, which makes sketched gradients unbiased and admits convergence guarantees. For private optimization, we show that adaptive quantile clipping retains bias at any fixed quantile, while suitable quantile schedules recover near-optimal nonconvex rates under heavy-tailed noise. We then combine smoothed normalization with error compensation and obtain distributed private convergence guarantees under standard assumptions, without assuming bounded gradients. For optimizers based on linear minimization oracles, we develop and validate a layer-wise generalized smoothness model and build on it the Gluon framework for Muon- and Scion-style methods. We also show that the approximate orthogonalization in Muon matters: less precise orthogonalization calls for smaller stepsizes, so its precision should be tuned together with the learning rate. Overall, practical methods are better understood when theory retains the features that determine their optimization behavior.
• Abstract（参考訳）: 現代の機械学習は、古典的な分析で研究されるアルゴリズムとしばしば異なる実用的な最適化手法に依存している:それらは、サブモデル、クリップまたは正規化勾配のトレーニング、階層的に非ユークリッド方向の使用、あるいはコストのかかる内部計算である。 この論文は、単純化されたプロキシではなく、これらの手順によって定義された目的、仮定、更新、計算を分析します。 サブモデルトレーニングにおいて,独立サブネットワークトレーニングは,差別化前のスケッチが本来の目的の更新に偏っているため,一定点に収束できることが示される。 Model-Agnostic Sparsified Trainingは、スケッチの分布を目的に組み込んで、スケッチされた勾配をバイアスなくし、収束を保証する。 プライベートな最適化のために、適応的量子化クリッピングは任意の固定量子化のバイアスを保ち、適切な量子化スケジュールは重み付き雑音下での準最適非凸速度を回復することを示す。 次に、スムーズな正規化と誤差補償を組み合わせることで、有界勾配を仮定することなく、標準仮定の下で分散プライベート収束保証を得る。 線形最小化オラクルに基づくオプティマイザに対しては,階層的に一般化された滑らか性モデルを開発し,その上にムーン型およびシオン型手法のGluonフレームワークを構築した。 また、ムオンの近似直交化が重要であり、より精度の低い直交化はより小さなステップサイズを要求するため、学習速度とともに精度を調整すべきである。 全体として、理論が最適化の振る舞いを決定する特徴を保っている場合、実践的な手法はよりよく理解される。

関連論文リスト

• Denoising as Projection: Constrained Optimization with Gradient-Guided Diffusion [8.32006713455785]
  そこで本研究では,Stein denoising演算子がデータ幾何への近似射影として作用できるという観測に基づいて,簡易なプロジェクテッド・グラディエント誘導拡散更新法について検討する。 我々は、この更新を、学習可能なジオメトリに対する制約付き最適化のための、不正確な予測段階的手法として分析する。
  論文  参考訳（メタデータ） (2026-08-30T01:48:22Z)
• Provably Convergent Decentralized Optimization over Directed Graphs under Generalized Smoothness [1.5892054128426507]
  ヘッセンノルムは勾配ノルムとともに線型に成長することを許され、したがってリプシッツの滑らかさを超えて急速に変化する勾配を調節する。 我々は、指向性通信グラフ上の正確な収束を保証するため、勾配追従手法と勾配クリッピングを統合する。 本研究の結果は, 勾配差が非有界である場合でも有効であり, 提案手法は現実的な異種データ環境に適用可能である。
  論文  参考訳（メタデータ） (2026-01-07T04:25:33Z)
• Bilevel Learning via Inexact Stochastic Gradient Descent [5.312803257246881]
  バイレベル最適化は、高次元ハイパーチューニングのための機械学習の中心的なツールである。 両レベル最適化の不正確な理論を推し進める。 我々は収束を証明し、減衰精度とステップサイズスケジュールでレートを確立する。
  論文  参考訳（メタデータ） (2025-11-10T07:02:52Z)
• On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
  既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。 本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
  論文  参考訳（メタデータ） (2025-10-22T18:25:43Z)
• Zeroth-Order Optimization Finds Flat Minima [51.41529512093436]
  標準二点推定器によるゼロ階最適化は、ヘッセンの小さなトレースを持つ解を好むことを示す。 さらに、凸関数と十分に滑らかな関数に対する近似平坦なミニマに対して、ゼロ階最適化の収束率を提供する。
  論文  参考訳（メタデータ） (2025-06-05T17:59:09Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Fast and Correct Gradient-Based Optimisation for Probabilistic Programming via Smoothing [0.0]
  本稿では,後部推論を最適化問題とする変分推論の基礎について検討する。 私たちは、測定可能とスムーズな(近似的な)値セマンティクスの両方を言語に与えました。 提案手法は鍵となる競合相手と同様の収束性を持つが,よりシンプルで,高速で,作業正規化分散の桁違いの低減が達成できることを示す。
  論文  参考訳（メタデータ） (2023-01-09T15:12:45Z)
• From inexact optimization to learning via gradient concentration [22.152317081922437]
  本稿では,滑らかな損失関数を持つ線形モデルの文脈における現象について検討する。 本稿では、不正確な最適化と確率論、特に勾配集中のアイデアを組み合わせた証明手法を提案する。
  論文  参考訳（メタデータ） (2021-06-09T21:23:29Z)
• Deep learning: a statistical viewpoint [120.94133818355645]
  ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。 特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。 我々はこれらの現象を具体的原理で補うと推測する。
  論文  参考訳（メタデータ） (2021-03-16T16:26:36Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。