論文の概要: A Simplified Analysis of SGD for Linear Regression with Weight Averaging

• arxiv url: http://arxiv.org/abs/2506.15535v1
• Date: Wed, 18 Jun 2025 15:10:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.70591
• Title: A Simplified Analysis of SGD for Linear Regression with Weight Averaging
• Title（参考訳）: 重み付き線形回帰のためのSGDの簡易解析
• Authors: Alexandru Meterez, Depen Morwani, Costin-Andrei Oncescu, Jingfeng Wu, Cengiz Pehlevan, Sham Kakade,
• Abstract要約: 最近の研究は、定常学習率を用いた線形回帰におけるSGD最適化のためのシャープレートを提供する。 簡単な線形代数ツールを用いて,2021ベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグナグニグニグニグニグニグニグニグニグニグニグネグニグニグニグニグネグニグニグネグニ 我々の研究は線形回帰の勾配勾配を非常に容易に解析し、ミニバッチと学習率のスケジューリングのさらなる分析に役立てることができると信じている。
• 参考スコア（独自算出の注目度）: 64.2393952273612
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Theoretically understanding stochastic gradient descent (SGD) in overparameterized models has led to the development of several optimization algorithms that are widely used in practice today. Recent work by~\citet{zou2021benign} provides sharp rates for SGD optimization in linear regression using constant learning rate, both with and without tail iterate averaging, based on a bias-variance decomposition of the risk. In our work, we provide a simplified analysis recovering the same bias and variance bounds provided in~\citep{zou2021benign} based on simple linear algebra tools, bypassing the requirement to manipulate operators on positive semi-definite (PSD) matrices. We believe our work makes the analysis of SGD on linear regression very accessible and will be helpful in further analyzing mini-batching and learning rate scheduling, leading to improvements in the training of realistic models.
• Abstract（参考訳）: 過パラメータ化モデルにおける確率勾配勾配勾配(SGD)の理論的理解は、今日では広く使われている最適化アルゴリズムの開発につながっている。 The recent work by~\citet{zou2021benign} provide sharp rate for SGD optimization in linear regression using constant learning rate, with and without tail iteration averaging, based on a bias-variance decomposition of the risk。 本研究では, 単純線型代数ツールに基づく~\citep{zou2021benign} で提供される同じバイアスと分散境界を簡易に解析し, 正半定値行列上の演算子を操作する必要を回避した。 我々の研究は線形回帰に関するSGDの分析を極めて容易にし、さらにミニバッチと学習率のスケジューリングの分析に役立ち、現実的なモデルのトレーニングの改善につながると信じている。

関連論文リスト

• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
  本稿では,高次元一般化線形モデルにおけるオンライン推論に対する新しいアプローチを提案する。 提案手法は単一パスモードで動作し,全データセットアクセスや大次元要約統計ストレージを必要とする既存手法とは異なる。 我々の方法論的革新の核心は、動的目的関数に適した適応的降下アルゴリズムと、新しいオンラインデバイアス処理である。
  論文  参考訳（メタデータ） (2024-05-28T15:36:48Z)
• Meta-Learning with Generalized Ridge Regression: High-dimensional Asymptotics, Optimality and Hyper-covariance Estimation [14.194212772887699]
  本研究では,高次元ランダム効果線形モデルの枠組みにおけるメタラーニングについて考察する。 本研究では,データ次元がタスク毎のサンプル数に比例して大きくなる場合に,新しいテストタスクに対する予測リスクの正確な振る舞いを示す。 トレーニングタスクのデータに基づいて,逆回帰係数を推定する手法を提案し,解析する。
  論文  参考訳（メタデータ） (2024-03-27T21:18:43Z)
• Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
  本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。 本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-29T04:15:58Z)
• Optimal Linear Signal: An Unsupervised Machine Learning Framework to Optimize PnL with Linear Signals [0.0]
  本研究では、定量的ファイナンスにおける利益と損失(PnL)の最適化のための教師なし機械学習手法を提案する。 我々のアルゴリズムは、線形回帰の教師なし変種と同様、外部変数から線形に構築された信号から生成されたPnLのシャープ比を最大化する。
  論文  参考訳（メタデータ） (2023-11-22T21:10:59Z)
• Understanding Incremental Learning of Gradient Descent: A Fine-grained Analysis of Matrix Sensing [74.2952487120137]
  GD(Gradient Descent)は、機械学習モデルにおいて、良い一般化に対する暗黙のバイアスをもたらすと考えられている。 本稿では,行列センシング問題に対するGDのダイナミクスを詳細に解析する。
  論文  参考訳（メタデータ） (2023-01-27T02:30:51Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Nonlinear Regression Analysis Using Multi-Verse Optimizer [0.0]
  回帰解析において、最適化アルゴリズムは回帰モデルにおける係数の探索において重要な役割を果たす。 本稿では,最近開発されたメタヒューリスティック・マルチヴァースモデル(MVO)を用いた非線形回帰解析を提案する。 提案手法は10個のよく知られたベンチマーク非線形回帰問題に適用される。
  論文  参考訳（メタデータ） (2020-04-28T15:03:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。