論文の概要: Online Generalized Sparse Regression: How Does Overparametrization Help?
- arxiv url: http://arxiv.org/abs/2608.17466v1
- Date: Tue, 18 Aug 2026 07:46:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.257052
- Title: Online Generalized Sparse Regression: How Does Overparametrization Help?
- Title（参考訳）: Online Generalized Sparse Regression: オーバーパラメトリゼーションはどのように役立つのか?
- Authors: Shuoguang Yang, Qiang Sun,
- Abstract要約: 規則化された回帰はオフライン環境で広範囲に研究されてきたが、オンラインの定式化はいまだにあまり研究されていない。
本稿では,オンライン濃度制約付き線形回帰と低ランク行列センシングに着目したオンラインスパーシリティ制約付き回帰を提案する。
- 参考スコア（独自算出の注目度）: 5.24179923353549
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Regularized sparse regression has been extensively studied in the offline setting, but online formulation remains relatively under-explored. This gap stems from four key challenges: (i) the infeasibility of dynamically updating the regularization parameter in every online round, (ii) managing storage and memory complexity, (iii) enabling real-time computation via closed-form updates rather than solving full optimization problems at each round, and (iv) achieving optimal statistical guarantees under realistic assumptions. In this paper, we propose an online generalized-sparsity-constrained regression framework, focusing on online cardinality-constrained linear regression and low-rank matrix sensing. Unlike online regularized regression, our constrained formulation eliminates the need for dynamic parameter tuning. We introduce an efficient online hard-thresholding algorithm that performs closed-form updates and requires storing only summary statistics, making it computationally, memory, and storage efficient. Despite the inherent nonconvexity and combinatorial nature of the formulation, our algorithm achieves global convergence at the optimal statistical rate under realistic assumptions, provided that the projection set is properly overparameterized. Numerical experiments demonstrate that our method consistently outperforms state-of-the-art alternatives.
- Abstract（参考訳）: 規則化されたスパースレグレッションはオフライン環境で広く研究されているが、オンラインの定式化はいまだにあまり研究されていない。
このギャップは4つの主要な課題に起因しています。
一 オンラインラウンド毎に規則化パラメータを動的に更新することができないこと。
(II)ストレージとメモリの複雑さを管理すること。
三 ラウンドごとの完全な最適化問題を解くのではなく、クローズドフォーム更新によるリアルタイム計算を可能にすること。
(四)現実的な前提の下で最適な統計的保証を達成すること。
本稿では,オンラインの濃度制約付き線形回帰と低ランク行列センシングに着目した一般化スパーシィ制約付き回帰フレームワークを提案する。
オンライン正規化回帰とは異なり、制約付き定式化は動的パラメータチューニングの必要性を排除します。
我々は、クローズドフォーム更新を行い、要約統計のみを格納し、計算、メモリ、ストレージを効率化する効率的なオンラインハードスレッディングアルゴリズムを導入する。
この定式化の本質的にの非凸性と組合せ性にもかかわらず、射影集合が適切に過度にパラメータ化されていることを前提として、我々のアルゴリズムは、現実的な仮定の下で最適な統計速度で大域収束を達成する。
数値実験により,本手法は最先端の代替手法より一貫して優れていることが示された。
関連論文リスト
- Online Learning with Gradient-Variation Interval Regret [54.59204826681113]
そこで本研究では,勾配変動を伴う時間間隔のリフレッシュなスケーリングを実現するオンライン学習アルゴリズムを提案する。
提案手法では, よりシンプルで効率的な2層オンラインアンサンブル構造を用いて, 高い理論的保証を実現する。
論文 参考訳（メタデータ） (2026-06-02T16:16:45Z) - Online Inference of Constrained Optimization: Primal-Dual Optimality and Sequential Quadratic Programming [55.848340925419286]
等式制約と不等式制約を持つ2次最適化問題の解に対するオンライン統計的推測について検討した。
これらの問題を解決するための逐次プログラミング(SSQP)手法を開発し、目的の近似と制約の線形近似を逐次実行することでステップ方向を計算する。
本手法は,Hjek と Le Cam の意味での最適原始双対制限行列を用いて局所正規性を示す。
論文 参考訳（メタデータ） (2025-11-27T06:16:17Z) - Generalized Linear Bandits: Almost Optimal Regret with One-Pass Update [70.38810219913593]
非線形リンク関数を組み込んで古典線形モデルを拡張したコンテキスト型多武装バンディットフレームワークである一般化線形バンディット問題(GLB)について検討する。
GLBは現実世界のシナリオに広く適用できるが、その非線形性は計算効率と統計効率の両方を達成する上で大きな課題をもたらす。
本稿では,$mathcalO(1)$時間と1ラウンドあたりの空間複雑度をほぼ最適に再現するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-07-16T02:24:21Z) - Semiparametric Counterfactual Regression [2.356908851188234]
一般化可能なフレームワーク内での非実効的回帰のための2つの頑健なスタイル推定器を提案する。
当社のアプローチでは,標準手法を維持しながら適応性を高めるために,漸進的な介入を用いる。
解析の結果,提案した推定器は幅広い問題に対して$sqrn$-consistencyと正規性が得られることがわかった。
論文 参考訳（メタデータ） (2025-04-03T15:32:26Z) - Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
本稿では,高次元一般化線形モデルにおけるオンライン推論に対する新しいアプローチを提案する。
提案手法は単一パスモードで動作し,全データセットアクセスや大次元要約統計ストレージを必要とする既存手法とは異なる。
我々の方法論的革新の核心は、動的目的関数に適した適応的降下アルゴリズムと、新しいオンラインデバイアス処理である。
論文 参考訳（メタデータ） (2024-05-28T15:36:48Z) - Provably tuning the ElasticNet across instances [53.0518090093538]
我々は、複数の問題インスタンスにまたがるリッジ回帰、LASSO、ElasticNetの正規化パラメータをチューニングする問題を考察する。
我々の結果は、この重要な問題に対する学習理論による最初の一般的な保証である。
論文 参考訳（メタデータ） (2022-07-20T21:22:40Z) - Optimal Rates for Random Order Online Optimization [60.011653053877126]
敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。
2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
論文 参考訳（メタデータ） (2021-06-29T09:48:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。