論文の概要: Learning from time-dependent streaming data with online stochastic algorithms

• arxiv url: http://arxiv.org/abs/2205.12549v2
• Date: Tue, 18 Jul 2023 20:01:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-20 18:34:40.413796
• Title: Learning from time-dependent streaming data with online stochastic algorithms
• Title（参考訳）: オンライン確率アルゴリズムによる時間依存ストリーミングデータからの学習
• Authors: Antoine Godichon-Baggioni, Nicklas Werge, Olivier Wintenberger
• Abstract要約: 本稿では,時間依存的,偏りのある推定値を用いたストリーミング環境での最適化について述べる。 グラディエントDescent(SGD)、ミニバッチSGD、時間変化のミニバッチSGD、およびPolyak-Ruppert平均値など、いくつかの一階法を解析する。
• 参考スコア（独自算出の注目度）: 7.283533791778357
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses stochastic optimization in a streaming setting with time-dependent and biased gradient estimates. We analyze several first-order methods, including Stochastic Gradient Descent (SGD), mini-batch SGD, and time-varying mini-batch SGD, along with their Polyak-Ruppert averages. Our non-asymptotic analysis establishes novel heuristics that link dependence, biases, and convexity levels, enabling accelerated convergence. Specifically, our findings demonstrate that (i) time-varying mini-batch SGD methods have the capability to break long- and short-range dependence structures, (ii) biased SGD methods can achieve comparable performance to their unbiased counterparts, and (iii) incorporating Polyak-Ruppert averaging can accelerate the convergence of the stochastic optimization algorithms. To validate our theoretical findings, we conduct a series of experiments using both simulated and real-life time-dependent data.
• Abstract（参考訳）: 本稿では,時間依存および偏りの勾配推定を伴うストリーミング環境での確率的最適化について述べる。 我々は,Stochastic Gradient Descent (SGD), mini-batch SGD, time-variant mini-batch SGD,およびPolyak-Ruppert平均値など,いくつかの一階法を解析した。 非漸近的解析は、依存、バイアス、凸レベルを関連付け、収束を加速する新しいヒューリスティックを確立する。 特に我々の発見は (i) 時間変化のミニバッチSGD法は、長距離および短距離依存構造を分解する能力を有する。 (二)バイアス付きSGD法は、バイアスのない手法と同等の性能を達成でき、 3)Polyak-Ruppert平均化は確率最適化アルゴリズムの収束を加速させる。 理論的知見を検証するため,シミュレーションデータと実時間データの両方を用いて一連の実験を行った。

関連論文リスト

• Adaptive Multi-Scale Decomposition Framework for Time Series Forecasting [26.141054975797868]
  時系列予測(TSF)のための新しい適応型マルチスケール分解(AMD)フレームワークを提案する。 我々のフレームワークは時系列を複数のスケールで異なる時間パターンに分解し、MDM(Multi-Scale Decomposable Mixing)ブロックを活用する。 提案手法は,時間依存性とチャネル依存性の両方を効果的にモデル化し,マルチスケールデータ統合を改良するために自己相関を利用する。
  論文  参考訳（メタデータ） (2024-06-06T05:27:33Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• The Capacity and Robustness Trade-off: Revisiting the Channel Independent Strategy for Multivariate Time Series Forecasting [50.48888534815361]
  本稿では、Channel Dependent(CD)戦略でトレーニングされたモデルが、Channel Dependent(CD)戦略でトレーニングされたモデルよりも優れていることを示す。 以上の結果から,CD手法は高いキャパシティを持つが,分散ドリフト時系列を正確に予測する堅牢性に欠けることがわかった。 本稿では,CI戦略を超越した正規化(PRReg)による予測残差法(Predict Residuals with Regularization, PRReg)を提案する。
  論文  参考訳（メタデータ） (2023-04-11T13:15:33Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• Non-Asymptotic Analysis of Stochastic Approximation Algorithms for Streaming Data [0.0]
  ストリーミングフレームワークは、時系列に現れる時間変化のミニバッチを使用して最適化問題を解決するのに類似している。 我々は、様々な勾配に基づくアルゴリズムの漸近収束率を提供する。 時間変化したミニバッチに応じて学習率を選択して収束を加速する方法を示す。
  論文  参考訳（メタデータ） (2021-09-15T06:58:23Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Fast and Robust Online Inference with Stochastic Gradient Descent via Random Scaling [0.9806910643086042]
  本稿では,勾配降下アルゴリズムの平均化法により推定されるパラメータのベクトルに対するオンライン推論法を提案する。 我々のアプローチはオンラインデータで完全に運用されており、機能中心極限定理によって厳格に支えられている。
  論文  参考訳（メタデータ） (2021-06-06T15:38:37Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Longitudinal Deep Kernel Gaussian Process Regression [16.618767289437905]
  縦型ディープカーネルプロセスレグレッション(L-DKGPR)を導入する。 L-DKGPRは、縦方向のデータから複雑な多レベル相関構造の発見を自動化する。 そこで我々は,L-DKGPRを学習するための効率的なアルゴリズムを,遅延空間誘導点と変分推論を用いて導出した。
  論文  参考訳（メタデータ） (2020-05-24T15:10:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。