Fugu-MT 論文翻訳(概要): Learning from time-dependent streaming data with online stochastic algorithms

論文の概要: Learning from time-dependent streaming data with online stochastic algorithms

arxiv url: http://arxiv.org/abs/2205.12549v1
Date: Wed, 25 May 2022 07:53:51 GMT
ステータス: 処理完了
システム内更新日: 2022-05-26 13:29:45.665171
Title: Learning from time-dependent streaming data with online stochastic algorithms
Title（参考訳）: オンライン確率アルゴリズムによる時間依存ストリーミングデータからの学習
Authors: Antoine Godichon-Baggioni (LPSM (UMR\_8001)), Nicklas Werge (LPSM (UMR\_8001)), Olivier Wintenberger (LPSM (UMR\_8001))
Abstract要約: 我々は、依存データソースからのサンプルに基づいてトレーニングされたストリーミングフレームワークでアルゴリズムを研究する。非漸近的な方法でグラディエント法(SG)の収束を解析する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study stochastic algorithms in a streaming framework, trained on samples coming from a dependent data source. In this streaming framework, we analyze the convergence of Stochastic Gradient (SG) methods in a non-asymptotic manner; this includes various SG methods such as the well-known stochastic gradient descent (i.e., Robbins-Monro algorithm), mini-batch SG methods, together with their averaged estimates (i.e., Polyak-Ruppert averaged). Our results form a heuristic by linking the level of dependency and convexity to the rest of the model parameters. This heuristic provides new insights into choosing the optimal learning rate, which can help increase the stability of SGbased methods; these investigations suggest large streaming batches with slow decaying learning rates for highly dependent data sources.
Abstract（参考訳）: ストリーミングフレームワークで確率的アルゴリズムを研究し、依存するデータソースからのサンプルに基づいてトレーニングする。このストリーミングフレームワークでは、確率勾配勾配(Robins-Monroアルゴリズム)やミニバッチSG法などのSG法、および平均推定値(Polyak-Ruppert averaged)などの様々なSG法を含む、非漸近的な方法で確率勾配(SG)法の収束を解析する。私たちの結果は、依存性と凸性のレベルを他のモデルのパラメータに結びつけることでヒューリスティックを形成します。このヒューリスティックは、最適な学習率の選択に関する新たな洞察を提供し、sgベースの方法の安定性向上に寄与する。

関連論文リスト

Adaptive Multi-Scale Decomposition Framework for Time Series Forecasting [26.141054975797868]
時系列予測(TSF)のための新しい適応型マルチスケール分解(AMD)フレームワークを提案する。我々のフレームワークは時系列を複数のスケールで異なる時間パターンに分解し、MDM(Multi-Scale Decomposable Mixing)ブロックを活用する。提案手法は,時間依存性とチャネル依存性の両方を効果的にモデル化し,マルチスケールデータ統合を改良するために自己相関を利用する。
論文参考訳（メタデータ） (2024-06-06T05:27:33Z)
Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文参考訳（メタデータ） (2023-12-19T21:45:38Z)
Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
論文参考訳（メタデータ） (2023-07-27T04:27:26Z)
The Capacity and Robustness Trade-off: Revisiting the Channel Independent Strategy for Multivariate Time Series Forecasting [50.48888534815361]
本稿では、Channel Dependent(CD)戦略でトレーニングされたモデルが、Channel Dependent(CD)戦略でトレーニングされたモデルよりも優れていることを示す。以上の結果から,CD手法は高いキャパシティを持つが,分散ドリフト時系列を正確に予測する堅牢性に欠けることがわかった。本稿では,CI戦略を超越した正規化(PRReg)による予測残差法(Predict Residuals with Regularization, PRReg)を提案する。
論文参考訳（メタデータ） (2023-04-11T13:15:33Z)
Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文参考訳（メタデータ） (2021-10-20T02:25:25Z)
Non-Asymptotic Analysis of Stochastic Approximation Algorithms for Streaming Data [0.0]
ストリーミングフレームワークは、時系列に現れる時間変化のミニバッチを使用して最適化問題を解決するのに類似している。我々は、様々な勾配に基づくアルゴリズムの漸近収束率を提供する。時間変化したミニバッチに応じて学習率を選択して収束を加速する方法を示す。
論文参考訳（メタデータ） (2021-09-15T06:58:23Z)
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文参考訳（メタデータ） (2021-07-21T17:10:14Z)
Fast and Robust Online Inference with Stochastic Gradient Descent via Random Scaling [0.9806910643086042]
本稿では,勾配降下アルゴリズムの平均化法により推定されるパラメータのベクトルに対するオンライン推論法を提案する。我々のアプローチはオンラインデータで完全に運用されており、機能中心極限定理によって厳格に支えられている。
論文参考訳（メタデータ） (2021-06-06T15:38:37Z)
Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
論文参考訳（メタデータ） (2021-04-27T16:56:09Z)
Longitudinal Deep Kernel Gaussian Process Regression [16.618767289437905]
縦型ディープカーネルプロセスレグレッション(L-DKGPR)を導入する。 L-DKGPRは、縦方向のデータから複雑な多レベル相関構造の発見を自動化する。そこで我々は,L-DKGPRを学習するための効率的なアルゴリズムを,遅延空間誘導点と変分推論を用いて導出した。
論文参考訳（メタデータ） (2020-05-24T15:10:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。