論文の概要: High-dimensional online learning via asynchronous decomposition: Non-divergent results, dynamic regularization, and beyond

• arxiv url: http://arxiv.org/abs/2603.20696v1
• Date: Sat, 21 Mar 2026 07:45:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.044573
• Title: High-dimensional online learning via asynchronous decomposition: Non-divergent results, dynamic regularization, and beyond
• Title（参考訳）: 非同期分解による高次元オンライン学習:非発散結果、動的正規化など
• Authors: Shixiang Liu, Zhifan Li, Hanming Yang, Jianxin Yin,
• Abstract要約: 本稿では,サロゲートスコア関数を構築するために,要約統計を利用した非同期分解フレームワークを提案する。 ストリーミング計算誤差と統計的精度の両方を考慮に入れた統一理論解析を行う。 提案した推定器はバッチが蓄積されるにつれて追加のゲインを適応的に達成し、過去のデータセット全体がアクセス可能であるかのようにオラクルの精度を得る。
• 参考スコア（独自算出の注目度）: 3.278211935191861
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Existing high-dimensional online learning methods often face the challenge that their error bounds, or per-batch sample sizes, diverge as the number of data batches increases. To address this issue, we propose an asynchronous decomposition framework that leverages summary statistics to construct a surrogate score function for current-batch learning. This framework is implemented via a dynamic-regularized iterative hard thresholding algorithm, providing a computationally and memory-efficient solution for sparse online optimization. We provide a unified theoretical analysis that accounts for both the streaming computational error and statistical accuracy, establishing that our estimator maintains non-divergent error bounds and $\ell_0$ sparsity across all batches. Furthermore, the proposed estimator adaptively achieves additional gains as batches accumulate, attaining the oracle accuracy as if the entire historical dataset were accessible and the true support were known. These theoretical properties are further illustrated through an example of the generalized linear model.
• Abstract（参考訳）: 既存の高次元オンライン学習手法は、データバッチの数が増えるにつれて、エラー境界(バッチ単位のサンプルサイズ)が多様化するという課題に直面していることが多い。 この問題に対処するために,サロゲートスコア関数を構築するために要約統計を利用する非同期分解フレームワークを提案する。 このフレームワークは、動的に規則化された反復型ハードしきい値アルゴリズムによって実装され、スパースオンライン最適化のための計算的でメモリ効率のよいソリューションを提供する。 我々は、ストリーミング計算誤差と統計的精度の両方を考慮し、予測器が非発散誤差境界を保ち、全てのバッチに$\ell_0$間隔を保っていることを確かめる統一理論解析を提供する。 さらに,提案した推定器はバッチが蓄積されるにつれて,履歴データセット全体がアクセス可能で,真のサポートが分かっているかのように,オラクルの精度を向上する。 これらの理論的性質は、一般化線型モデルの例を通してさらに説明される。

関連論文リスト

• Accelerate Speculative Decoding with Sparse Computation in Verification [49.74839681322316]
  投機的復号化は、複数のドラフトトークンを並列に検証することにより、自動回帰言語モデル推論を加速する。 既存のスペーシフィケーション方式は主にトークン・バイ・トーケンの自己回帰復号化のために設計されている。 そこで本研究では,注目度,FFN,MoEを両立させるスパース検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-26T07:53:41Z)
• Generalized Linear Bandits: Almost Optimal Regret with One-Pass Update [70.38810219913593]
  非線形リンク関数を組み込んで古典線形モデルを拡張したコンテキスト型多武装バンディットフレームワークである一般化線形バンディット問題(GLB)について検討する。 GLBは現実世界のシナリオに広く適用できるが、その非線形性は計算効率と統計効率の両方を達成する上で大きな課題をもたらす。 本稿では,$mathcalO(1)$時間と1ラウンドあたりの空間複雑度をほぼ最適に再現するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-07-16T02:24:21Z)
• Online-BLS: An Accurate and Efficient Online Broad Learning System for Data Stream Classification [52.251569042852815]
  オンライン更新毎にクローズドフォームソリューションを備えたオンライン広範学習システムフレームワークを導入する。 我々は,効果的な重み推定アルゴリズムと効率的なオンライン更新戦略を設計する。 我々のフレームワークは、コンセプトドリフトを伴うデータストリームシナリオに自然に拡張され、最先端のベースラインを超えます。
  論文  参考訳（メタデータ） (2025-01-28T13:21:59Z)
• Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
  本稿では,高次元一般化線形モデルにおけるオンライン推論に対する新しいアプローチを提案する。 提案手法は単一パスモードで動作し,全データセットアクセスや大次元要約統計ストレージを必要とする既存手法とは異なる。 我々の方法論的革新の核心は、動的目的関数に適した適応的降下アルゴリズムと、新しいオンラインデバイアス処理である。
  論文  参考訳（メタデータ） (2024-05-28T15:36:48Z)
• Online Tensor Inference [0.0]
  従来のオフライン学習は、各計算繰り返しにおける全てのデータの保存と利用を伴い、高次元テンソルデータには実用的ではない。 既存の低ランクテンソル法は、オンラインの方法での統計的推論能力に欠ける。 本手法では,広範囲なメモリ要求を伴わずに効率的なリアルタイムデータ処理を実現するため,グラディエント・Descent (SGD) を用いる。
  論文  参考訳（メタデータ） (2023-12-28T16:37:48Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
  局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。 入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。 実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
  論文  参考訳（メタデータ） (2020-06-16T18:43:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。