論文の概要: Accelerating Single-Pass SGD for Generalized Linear Prediction

• arxiv url: http://arxiv.org/abs/2603.01951v1
• Date: Mon, 02 Mar 2026 15:04:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.9268
• Title: Accelerating Single-Pass SGD for Generalized Linear Prediction
• Title（参考訳）: 一般化線形予測のための単一パスSGDの高速化
• Authors: Qian Chen, Shihong Ding, Cong Fang,
• Abstract要約: ストリーミング環境下での一般化線形予測について検討し、各イテレーションは勾配レベルの更新に1つの新しいデータポイントのみを使用する。 そこで本研究では,新しいデータ依存的近位法によりモーメントをうまく組み込んだ最初のアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 10.482631815569919
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study generalized linear prediction under a streaming setting, where each iteration uses only one fresh data point for a gradient-level update. While momentum is well-established in deterministic optimization, a fundamental open question is whether it can accelerate such single-pass non-quadratic stochastic optimization. We propose the first algorithm that successfully incorporates momentum via a novel data-dependent proximal method, achieving dual-momentum acceleration. Our derived excess risk bound decomposes into three components: an improved optimization error, a minimax optimal statistical error, and a higher-order model-misspecification error. The proof handles mis-specification via a fine-grained stationary analysis of inner updates, while localizing statistical error through a two-phase outer-loop analysis. As a result, we resolve the open problem posed by Jain et al. [2018a] and demonstrate that momentum acceleration is more effective than variance reduction for generalized linear prediction in the streaming setting.
• Abstract（参考訳）: ストリーミング環境下での一般化線形予測について検討し、各イテレーションは勾配レベルの更新に1つの新しいデータポイントのみを使用する。 運動量は決定論的最適化において十分に確立されているが、基本的なオープンな問題は、そのようなシングルパスの非二次確率最適化を加速できるかどうかである。 そこで本研究では,新しいデータ依存的近位法によりモーメントをうまく組み込んだ最初のアルゴリズムを提案する。 得られた余剰リスク境界は, 最適化誤差の改善, 最適統計誤差の最小化, 高次モデルミス特定誤差の3つの成分に分解される。 この証明は、2相外ループ解析により統計的誤差を局所化しながら、内部更新の詳細な定常解析を通じて誤特定を処理する。 その結果, Jain et al [2018a] が提起した開放的な問題を解き,ストリーミング環境における一般化線形予測の分散化よりも運動量加速度の方が有効であることを示す。

関連論文リスト

• Training Dynamics of Softmax Self-Attention: Fast Global Convergence via Preconditioning [17.65459083031186]
  線形回帰を訓練したソフトマックス自己アテンション層における勾配降下のダイナミクスを訓練する。 簡単な一階勾配勾配勾配は、大域的に最適な自己注意パラメータに収束できることを示す。
  論文  参考訳（メタデータ） (2026-03-02T06:44:54Z)
• Beyond the Ideal: Analyzing the Inexact Muon Update [54.70108543057578]
  本報告では,Muonコアにおける不正確な更新の初回解析について述べる。 この不正確さと最適なステップサイズと運動量との基本的な結合を明らかにする。
  論文  参考訳（メタデータ） (2025-10-22T18:01:07Z)
• ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
  ResADは正規化された残留軌道モデリングフレームワークである。 学習タスクを再編成し、慣性参照からの残留偏差を予測する。 NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
  論文  参考訳（メタデータ） (2025-10-09T17:59:36Z)
• Generalized Linear Bandits: Almost Optimal Regret with One-Pass Update [70.38810219913593]
  非線形リンク関数を組み込んで古典線形モデルを拡張したコンテキスト型多武装バンディットフレームワークである一般化線形バンディット問題(GLB)について検討する。 GLBは現実世界のシナリオに広く適用できるが、その非線形性は計算効率と統計効率の両方を達成する上で大きな課題をもたらす。 本稿では,$mathcalO(1)$時間と1ラウンドあたりの空間複雑度をほぼ最適に再現するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-07-16T02:24:21Z)
• On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
  Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。 RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。 本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Event-Aided Time-to-Collision Estimation for Autonomous Driving [28.13397992839372]
  ニューロモルフィックなイベントベースカメラを用いて衝突時刻を推定する新しい手法を提案する。 提案アルゴリズムは, 事象データに適合する幾何モデルに対して, 効率的かつ高精度な2段階のアプローチで構成する。 合成データと実データの両方の実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-07-10T02:37:36Z)
• Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
  本稿では,高次元一般化線形モデルにおけるオンライン推論に対する新しいアプローチを提案する。 提案手法は単一パスモードで動作し,全データセットアクセスや大次元要約統計ストレージを必要とする既存手法とは異なる。 我々の方法論的革新の核心は、動的目的関数に適した適応的降下アルゴリズムと、新しいオンラインデバイアス処理である。
  論文  参考訳（メタデータ） (2024-05-28T15:36:48Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)
• Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions [41.7567932118769]
  経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。 本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
  論文  参考訳（メタデータ） (2020-06-16T04:27:38Z)
• Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms [69.45237691598774]
  マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。 この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。 本稿では,経験的リプレイに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T04:26:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。