論文の概要: Variance Reduction in Training Forecasting Models with Subgroup Sampling

• arxiv url: http://arxiv.org/abs/2103.02062v1
• Date: Tue, 2 Mar 2021 22:23:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-04 15:09:59.962189
• Title: Variance Reduction in Training Forecasting Models with Subgroup Sampling
• Title（参考訳）: サブグループサンプリングによるトレーニング予測モデルのばらつき低減
• Authors: Yucheng Lu, Youngsuk Park, Lifan Chen, Yuyang Wang, Christopher De Sa, Dean Foster
• Abstract要約: 一般的に用いられる勾配(例)の予測モデルを示す。 sgd) 大きなばらつきがあり、長時間のトレーニングが必要となる。 この問題を軽減するために,サブグループサンプリングというサンプリング戦略を提案する。 SCottは勾配と壁面時計の両方の目標に対してより高速に収束することを示す。
• 参考スコア（独自算出の注目度）: 34.941630385114216
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In real-world applications of large-scale time series, one often encounters the situation where the temporal patterns of time series, while drifting over time, differ from one another in the same dataset. In this paper, we provably show under such heterogeneity, training a forecasting model with commonly used stochastic optimizers (e.g. SGD) potentially suffers large gradient variance, and thus requires long time training. To alleviate this issue, we propose a sampling strategy named Subgroup Sampling, which mitigates the large variance via sampling over pre-grouped time series. We further introduce SCott, a variance reduced SGD-style optimizer that co-designs subgroup sampling with the control variate method. In theory, we provide the convergence guarantee of SCott on smooth non-convex objectives. Empirically, we evaluate SCott and other baseline optimizers on both synthetic and real-world time series forecasting problems, and show SCott converges faster with respect to both iterations and wall clock time. Additionally, we show two SCott variants that can speed up Adam and Adagrad without compromising generalization of forecasting models.
• Abstract（参考訳）: 大規模時系列の現実世界のアプリケーションでは、時系列の時間パターンが時間とともにドリフトしながら同じデータセット内で互いに異なる状況に遭遇することが多い。 本稿では,このような不均一性の下で,確率最適化器を用いて予測モデルを訓練する(例)。 SGD)は大きな勾配のばらつきに苦しむ可能性があるため、長期間の訓練が必要です。 そこで本研究では,プリグループ時系列のサンプリングによる大きなばらつきを緩和するサブグループサンプリングと呼ばれるサンプリング戦略を提案する。 さらに、分散化SGDスタイルの最適化器であるSCottを導入し、サブグループサンプリングを制御変数法と共設計する。 理論的には、スムーズな非凸目的に対するSCottの収束保証を提供する。 SCottと他のベースラインオプティマイザを合成時間と実時間の両方の時系列予測問題で評価し,反復時間と壁時計時間の両方に関してSCottがより高速に収束することを示す。 さらに、予測モデルの一般化を損なうことなく、Adam と Adagrad を高速化できる2つの SCott 変種を示す。

関連論文リスト

• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• VE: Modeling Multivariate Time Series Correlation with Variate Embedding [0.4893345190925178]
  現在のチャネル非依存(CI)モデルとCI最終射影層を持つモデルは相関を捉えることができない。 可変埋め込み(VE)パイプラインを提案し,各変数に対して一意かつ一貫した埋め込みを学習する。 VEパイプラインは、CI最終プロジェクション層を持つ任意のモデルに統合して、多変量予測を改善することができる。
  論文  参考訳（メタデータ） (2024-09-10T02:49:30Z)
• Addressing Distribution Shift in Time Series Forecasting with Instance Normalization Flows [36.956983415564274]
  時系列予測のための一般化された定式化を提案する。 このような定式化を二段階最適化問題に定式化する。 提案手法は, 合成データと実世界のデータの両方において, 最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2024-01-30T06:35:52Z)
• Compatible Transformer for Irregularly Sampled Multivariate Time Series [75.79309862085303]
  本研究では,各サンプルに対して総合的な時間的相互作用特徴学習を実現するためのトランスフォーマーベースのエンコーダを提案する。 実世界の3つのデータセットについて広範な実験を行い、提案したCoFormerが既存の手法を大幅に上回っていることを検証した。
  論文  参考訳（メタデータ） (2023-10-17T06:29:09Z)
• Improving Forecasts for Heterogeneous Time Series by "Averaging", with Application to Food Demand Forecast [0.609170287691728]
  本稿では,k-Nearest Neighbor方式で近隣地区を構築するために,動的時間ワープの類似度を利用した一般的なフレームワークを提案する。 平均化を行ういくつかの方法が提案され、理論的議論は平均化が予測に有用であることを示す。
  論文  参考訳（メタデータ） (2023-06-12T13:52:30Z)
• Generative Time Series Forecasting with Diffusion, Denoise, and Disentanglement [51.55157852647306]
  時系列予測は多くのアプリケーションにおいて非常に重要な課題である。 実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。 本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2023-01-08T12:20:46Z)
• Imputing Missing Observations with Time Sliced Synthetic Minority Oversampling Technique [0.3973560285628012]
  本稿では,データセット内の各サンプルに対して均一な不規則な時系列を構成することを目的とした,単純かつ斬新な時系列計算手法を提案する。 我々は、観測時間の重複しないビン(「スライス」と呼ばれる)の中間点で定義される格子を固定し、各サンプルが所定の時間にすべての特徴に対して値を持つことを保証する。 これにより、完全に欠落した観察をインプットし、データ全体の時系列の均一な分類を可能にし、特別な場合には個々の欠落した特徴をインプットすることができる。
  論文  参考訳（メタデータ） (2022-01-14T19:23:24Z)
• Cluster-and-Conquer: A Framework For Time-Series Forecasting [94.63501563413725]
  本稿では,高次元時系列データを予測するための3段階フレームワークを提案する。 当社のフレームワークは非常に汎用的で,各ステップで時系列予測やクラスタリングが利用可能です。 単純な線形自己回帰モデルでインスタンス化されると、いくつかのベンチマークデータセットで最先端の結果が得られる。
  論文  参考訳（メタデータ） (2021-10-26T20:41:19Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue [95.23775347605923]
  深層学習の成功に基づいて、GAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータが入力分布の既存のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。 情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し、それらの多様性を増大させる。
  論文  参考訳（メタデータ） (2020-09-24T19:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。