論文の概要: Factor Augmented High-Dimensional SGD

• arxiv url: http://arxiv.org/abs/2605.19291v1
• Date: Tue, 19 May 2026 03:10:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.091904
• Title: Factor Augmented High-Dimensional SGD
• Title（参考訳）: 因子増強高次元SGD
• Authors: Shubo Li, Yuefeng Han, Xiufan Yu,
• Abstract要約: 勾配降下 (SGD) は、現代の機械学習で広く使われている基本最適化アルゴリズムである。 高次元学習タスクにおける潜在因子表現を利用する新しい最適化手法であるFacter-Augmented SGD(FSGD)を提案する。
• 参考スコア（独自算出の注目度）: 4.542148087324063
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic gradient descent (SGD) is a fundamental optimization algorithm widely used in modern machine learning. In this paper, we propose Factor-Augmented SGD (FSGD), a new optimization method that leverages latent factor representations in high-dimensional learning tasks. Unlike standard two-stage dimension reduction approaches that rely on offline representation learning and full data storage, a key novelty of FSGD is that it operates purely on streaming data, making it scalable to large-scale and high-dimensional problems. Furthermore, we establish the first theoretical framework that explicitly incorporates latent factor estimation error into the analysis of SGD, and provide moment convergence in $\ell^s$ norm under decaying step sizes and mini-batch updates. Our results provide a new foundation for employing SGD reliably and scalably in high-dimensional machine learning systems.
• Abstract（参考訳）: 確率勾配勾配(SGD)は、現代の機械学習で広く使われている基本最適化アルゴリズムである。 本稿では,高次元学習タスクにおける潜在因子表現を利用する新しい最適化手法であるFacter-Augmented SGDを提案する。 オフライン表現学習やフルデータストレージに依存する標準的な2段階の次元削減アプローチとは異なり、FSGDの重要な特徴は、ストリーミングデータで純粋に動作することだ。 さらに、遅延係数推定誤差をSGDの解析に明示的に組み込んだ最初の理論的枠組みを確立し、減衰ステップサイズとミニバッチ更新の下で、$\ell^s$ノルムにおけるモーメント収束を提供する。 本研究は,SGDを高次元機械学習システムに確実に,かつ確実に活用するための新たな基盤を提供する。

関連論文リスト

• How to Set the Learning Rate for Large-Scale Pre-training? [73.03133634525635]
  我々はこの調査を2つの異なる研究パラダイムであるフィッティングとトランスファーに定式化する。 フィッティングパラダイムでは,探索係数のスケーリング法則を導入し,O(n3) から O(n*C_D*C_) への探索複雑性を予測モデルにより効果的に低減する。 我々は、$Transferの原則をMixture of Experts (MoE)アーキテクチャに拡張し、モデル深さ、重量減衰、トークン水平線を含む適用範囲を広げる。
  論文  参考訳（メタデータ） (2026-01-08T15:55:13Z)
• Statistical Guarantees for High-Dimensional Stochastic Gradient Descent [9.729147728224946]
  定常学習速度SGDとASGDの高次元状態における厳密な統計的保証を提供する。 提案フレームワークは,多種多様な高次元学習アルゴリズムを解析するための新しいツールキットを提供する。
  論文  参考訳（メタデータ） (2025-10-13T23:27:56Z)
• Learning Causal Graphs at Scale: A Foundation Model Approach [28.966180222166766]
  複数線形構造方程式モデル(SEM)を学習するための新しい注意機構に基づくアーキテクチャであるAttention-DAG(ADAG)を提案する。 ADAGは、非線形アテンションベースのカーネルを介して、観測データからグラフ構造とパラメータの両方へのマッピングを学習する。 提案手法をベンチマークデータセット上で評価し,DAG学習精度とゼロショット推論効率の両方において,ADAGが大幅に向上することを確認した。
  論文  参考訳（メタデータ） (2025-06-23T04:41:02Z)
• A Simplified Analysis of SGD for Linear Regression with Weight Averaging [64.2393952273612]
  最近の研究は、定常学習率を用いた線形回帰におけるSGD最適化のためのシャープレートを提供する。 簡単な線形代数ツールを用いて,2021ベニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグニグナグニグニグニグニグニグニグニグニグニグニグネグニグニグニグニグネグニグニグネグニ 我々の研究は線形回帰の勾配勾配を非常に容易に解析し、ミニバッチと学習率のスケジューリングのさらなる分析に役立てることができると信じている。
  論文  参考訳（メタデータ） (2025-06-18T15:10:38Z)
• Understanding SGD with Exponential Moving Average: A Case Study in Linear Regression [55.2480439325792]
  指数移動平均(EMA)は近年,現代のディープラーニングモデルのトレーニングにおいて大きな人気を集めている。 本稿では,高次元線形回帰のためのオンラインSGDとEMAのリスクバウンダリを確立する。
  論文  参考訳（メタデータ） (2025-02-19T21:55:11Z)
• The Optimality of (Accelerated) SGD for High-Dimensional Quadratic Optimization [4.7256945641654164]
  勾配降下(SGD)は機械学習、特にニューラルネットワークトレーニングにおいて広く使われているアルゴリズムである。 正準2次最適化や線形回帰のSGDに関する最近の研究は、適切な高次元設定で十分に一般化できることを示している。 本稿では,ステップサイズスケジュールと運動量指数の2つの基本成分を持つSGDについて検討する。
  論文  参考訳（メタデータ） (2024-09-15T14:20:03Z)
• Stochastic Gradient Descent outperforms Gradient Descent in recovering a high-dimensional signal in a glassy energy landscape [4.73194777046253]
  Gradient Descent (SGD) は、ニューラルネットワークのトレーニングに広く使われている平衡外アルゴリズムである。 SGD は GD よりも十分小さいバッチサイズで性能が優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-09T13:29:17Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。