論文の概要: Sequential Least-Squares Estimators with Fast Randomized Sketching for Linear Statistical Models

• arxiv url: http://arxiv.org/abs/2509.06856v1
• Date: Mon, 08 Sep 2025 16:23:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:04.255999
• Title: Sequential Least-Squares Estimators with Fast Randomized Sketching for Linear Statistical Models
• Title（参考訳）: 線形統計モデルに対する高速ランダム化スケッチ付き逐次最小二乗推定器
• Authors: Guan-Yu Chen, Xi Yang,
• Abstract要約: 本稿では,FastSketching (SLSE-FRS) を用いた逐次最小二乗推定器(Sequential Least-Squares Estimators)の大規模線形統計モデル推定のための新しいフレームワークを提案する。 スケッチサイズを増大させて最小二乗(LS)サブプロブレムを反復的に構築し、解決することにより、SLSE-FRSは真のパラメータベクトルの推定を徐々に洗練し、高精度な推定器を生成する。 数値実験により、SLSE-FRSは最先端の手法、すなわち事前条件付き共役勾配法(PCG)および反復ダブルスケッチよりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 7.549184249458097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel randomized framework for the estimation problem of large-scale linear statistical models, namely Sequential Least-Squares Estimators with Fast Randomized Sketching (SLSE-FRS), which integrates Sketch-and-Solve and Iterative-Sketching methods for the first time. By iteratively constructing and solving sketched least-squares (LS) subproblems with increasing sketch sizes to achieve better precisions, SLSE-FRS gradually refines the estimators of the true parameter vector, ultimately producing high-precision estimators. We analyze the convergence properties of SLSE-FRS, and provide its efficient implementation. Numerical experiments show that SLSE-FRS outperforms the state-of-the-art methods, namely the Preconditioned Conjugate Gradient (PCG) method, and the Iterative Double Sketching (IDS) method.
• Abstract（参考訳）: 本研究では,Sketch-and-Solve法とIterative-Sketching法を統合した大規模線形統計モデル,すなわち高速ランダム化Sketching (SLSE-FRS) を用いた逐次最小二乗推定器のランダム化手法を提案する。 スケッチ化された最小二乗(LS)サブプロブレムを反復的に構築・解き、スケッチサイズを増大させ精度を向上することで、SLSE-FRSは真のパラメータベクトルの推定を徐々に洗練し、最終的に高精度な推定器を生成する。 SLSE-FRSの収束特性を解析し,その効率的な実装を提供する。 数値実験により、SLSE-FRSは最先端の手法、すなわちPCG法とIDS法より優れていることが示された。

関連論文リスト

• Beyond First-Order: Training LLMs with Stochastic Conjugate Subgradients and AdamW [2.028622227373579]
  勾配に基づく降下(SGD)は、長い間、大きな言語モデル(LLM)の訓練の中心であった。 本稿では,LLMを学習するための適応サンプリングとともに,共役下次法を提案する。
  論文  参考訳（メタデータ） (2025-07-01T23:30:15Z)
• Sample Complexity of Linear Quadratic Regulator Without Initial Stability [11.98212766542468]
  ReINFORCEに触発されて、未知のパラメータを持つ線形二次レギュレータ(LQR)問題に対して、新しい回帰水平アルゴリズムを導入する。 従来の手法とは異なり、本アルゴリズムはサンプルの複雑さの順序を同じに保ちながら、2点勾配推定に依存することを回避している。
  論文  参考訳（メタデータ） (2025-02-20T02:44:25Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• ALS: Augmented Lagrangian Sketching Methods for Linear Systems [0.0]
  我々は、ペナルティ・スケッチ(PS)と拡張ラグランジアン・スケッチ(ALS)の2つの基本的なスケッチ技術を開発した。 提案手法は,ラグランジアンペナルティスケッチを導入し,Sketch & Project(SP)法の範囲を拡張・一般化する。 我々はPS法とALS法のグローバル収束率とCesaro平均反復率のサブ線形$mathcalO(frac1k)$レートを証明した。
  論文  参考訳（メタデータ） (2022-08-12T07:49:53Z)
• An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification [97.28167655721766]
  本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。 まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
  論文  参考訳（メタデータ） (2022-08-11T22:27:22Z)
• Accelerated, Optimal, and Parallel: Some Results on Model-Based Stochastic Optimization [33.71051480619541]
  凸最適化問題を解決するためのモデルベース手法の近似近位点(aProx)ファミリを拡張します。 我々は、非漸近収束保証と、ミニバッチサイズの線形スピードアップを提供する加速スキームを提供する。 我々は,「補間」問題に対する新しい基本定数を同定し,収束率の改善と下界の整合性を示す。
  論文  参考訳（メタデータ） (2021-01-07T18:58:39Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)
• Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
  このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。 我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。 得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
  論文  参考訳（メタデータ） (2020-02-21T17:45:32Z)
• Low Rank Saddle Free Newton: A Scalable Method for Stochastic Nonconvex Optimization [3.9962751777898955]
  現代のディープラーニングでは、サンプル平均近似(SAA)法よりも、高度にサブサンプル化された近似(SA)法が好まれている。 拡張性のある低階サドルフリーニュートン法(LRSFN)はヘッセン語の形成を回避し,低階近似を優先する。
  論文  参考訳（メタデータ） (2020-02-07T16:33:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。