論文の概要: Data Augmentation Policy Search for Long-Term Forecasting

• arxiv url: http://arxiv.org/abs/2405.00319v2
• Date: Sat, 08 Feb 2025 16:33:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 18:57:48.446635
• Title: Data Augmentation Policy Search for Long-Term Forecasting
• Title（参考訳）: 長期予測のためのデータ拡張ポリシー探索
• Authors: Liran Nochumsohn, Omri Azencot,
• Abstract要約: TSAAという時系列自動拡張手法を導入する。 TSAAは2段階のプロセスを通じて関連する二段階最適化問題に取り組む。 安定していくつかの堅牢なベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 4.910937238451485
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data augmentation serves as a popular regularization technique to combat overfitting challenges in neural networks. While automatic augmentation has demonstrated success in image classification tasks, its application to time-series problems, particularly in long-term forecasting, has received comparatively less attention. To address this gap, we introduce a time-series automatic augmentation approach named TSAA, which is both efficient and easy to implement. The solution involves tackling the associated bilevel optimization problem through a two-step process: initially training a non-augmented model for a limited number of epochs, followed by an iterative split procedure. During this iterative process, we alternate between identifying a robust augmentation policy through Bayesian optimization and refining the model while discarding suboptimal runs. Extensive evaluations on challenging univariate and multivariate forecasting benchmark problems demonstrate that TSAA consistently outperforms several robust baselines, suggesting its potential integration into prediction pipelines. Code is available at this repository: https://github.com/azencot-group/TSAA.
• Abstract（参考訳）: データ拡張は、ニューラルネットワークにおける過度に適合する課題に対処する一般的な正規化テクニックとして機能する。 自動拡張は画像分類タスクに成功しているが、特に長期予測における時系列問題への応用は比較的少ない。 このギャップに対処するため,TSAAという時系列自動拡張手法を導入する。 このソリューションは、関連する二段階最適化問題に2段階のプロセスで対処することを含む: 最初は、限られた数のエポックに対して拡張されていないモデルを訓練し、次に反復的な分割手順を施す。 この反復的プロセスの間、ベイズ最適化を通じて頑健な拡張ポリシーを識別し、準最適実行を破棄しながらモデルを精錬する。 単変量および多変量予測ベンチマーク問題に対する広範な評価は、TSAAが一貫していくつかの堅牢なベースラインを上回り、予測パイプラインへの潜在的な統合を示唆していることを示している。 このリポジトリでは、 https://github.com/azencot-group/TSAA.com/ というコードがある。

関連論文リスト

• Long-Sequence Recommendation Models Need Decoupled Embeddings [49.410906935283585]
  我々は、既存の長期推薦モデルにおいて無視された欠陥を識別し、特徴付ける。 埋め込みの単一のセットは、注意と表現の両方を学ぶのに苦労し、これら2つのプロセス間の干渉につながります。 本稿では,2つの異なる埋め込みテーブルを別々に学習し,注意と表現を完全に分離する,DARE(Decoupled Attention and Representation Embeddings)モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-03T15:45:15Z)
• Step-by-Step Reasoning for Math Problems via Twisted Sequential Monte Carlo [55.452453947359736]
  Twisted Sequential Monte Carlo(TSMC)に基づく新しい検証手法を提案する。 TSMCを大規模言語モデルに適用し、部分解に対する将来的な報酬を推定する。 このアプローチは、ステップワイドなヒューマンアノテーションを必要としない、より直接的なトレーニングターゲットをもたらす。
  論文  参考訳（メタデータ） (2024-10-02T18:17:54Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [0.0]
  フェデレートラーニング(FL)は、データを複数の場所に保持するモデル("clients")をセキュアにトレーニングするために提案されている。 FLアルゴリズムの性能を阻害する2つの大きな課題は、階層化クライアントによって引き起こされる長いトレーニング時間と、非イドローカルなデータ分布("client drift")によるモデル精度の低下である。 本稿では,Asynchronous Exact Averaging (AREA, Asynchronous Exact Averaging) を提案する。Asynchronous Exact Averaging (AREA) は,通信を利用して収束を高速化し,拡張性を向上し,クライアント更新頻度の変動によるクライアントのドリフトの補正にクライアントメモリを利用する。
  論文  参考訳（メタデータ） (2024-05-16T14:22:49Z)
• Fast Two-Time-Scale Stochastic Gradient Method with Applications in Reinforcement Learning [5.325297567945828]
  本稿では,従来の手法よりもはるかに高速な収束を実現する2段階最適化手法を提案する。 提案アルゴリズムは,様々な条件下で特徴付けられ,オンラインサンプルベース手法に特化していることを示す。
  論文  参考訳（メタデータ） (2024-05-15T19:03:08Z)
• Concrete Dense Network for Long-Sequence Time Series Clustering [4.307648859471193]
  時系列クラスタリングは、時間的パターンを発見するためのデータ分析において基本である。 深部時間クラスタリング手法は、ニューラルネットワークのエンドツーエンドトレーニングに標準k平均を組み込もうとしている。 LoSTerは、時系列クラスタリング問題に対する新しい密集型オートエンコーダアーキテクチャである。
  論文  参考訳（メタデータ） (2024-05-08T12:31:35Z)
• Loss Shaping Constraints for Long-Term Time Series Forecasting [79.3533114027664]
  本稿では,長期時系列予測のための制約付き学習手法を提案する。 提案手法は, 予測ウィンドウ上でエラーを発生させながら, 時系列ベンチマークにおける競合平均性能を示すことを示すための, 実用的なプリマル・デュアルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:20:44Z)
• Split-Boost Neural Networks [1.1549572298362787]
  本稿では,スプリットブートと呼ばれるフィードフォワードアーキテクチャの革新的なトレーニング戦略を提案する。 このような新しいアプローチは、最終的に正規化項を明示的にモデル化することを避けることができる。 提案した戦略は、ベンチマーク医療保険設計問題内の実世界の(匿名化された)データセットでテストされる。
  論文  参考訳（メタデータ） (2023-09-06T17:08:57Z)
• Detection of Anomalies in Multivariate Time Series Using Ensemble Techniques [3.2422067155309806]
  最終的な決定に向けて,複数の基本モデルを組み合わせたアンサンブル手法を提案する。 また,ロジスティック回帰器を用いて基本モデルの出力を結合する半教師付き手法を提案する。 異常検出精度の点での性能改善は、教師なしモデルでは2%、半教師なしモデルでは少なくとも10%に達する。
  論文  参考訳（メタデータ） (2023-08-06T17:51:22Z)
• Latent Autoregressive Source Separation [5.871054749661012]
  本稿では,ベクトル量子化遅延自己回帰音源分離(入力信号を構成源にデミックスする)を導入する。 分離法は, 自己回帰モデルが先行するベイズ式に依拠し, 付加トークンの潜在和に対して離散的(非パラメトリック)確率関数を構築した。
  論文  参考訳（メタデータ） (2023-01-09T17:32:00Z)
• Post-Processing Temporal Action Detection [134.26292288193298]
  時間的行動検出(TAD)法は、通常、入力された可変長のビデオを固定長のスニペット表現シーケンスに変換する際に、前処理のステップを踏む。 この前処理ステップは、ビデオを時間的にダウンサンプリングし、推論の解像度を低減し、元の時間分解における検出性能を阻害する。 モデルの再設計や再学習を伴わない新しいモデル非依存のポストプロセッシング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-27T19:50:37Z)
• Distributed stochastic optimization with large delays [59.95552973784946]
  大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。 DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
  論文  参考訳（メタデータ） (2021-07-06T21:59:49Z)
• Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
  ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。 DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。 有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
  論文  参考訳（メタデータ） (2021-02-23T18:56:13Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Recent Developments Combining Ensemble Smoother and Deep Generative Networks for Facies History Matching [58.720142291102135]
  本研究は、ファシズムモデルのための連続パラメータ化を構築するためのオートエンコーダネットワークの利用に焦点を当てる。 本稿では,VAE,GAN,Wasserstein GAN,変分自動符号化GAN,サイクルGANの主成分分析(PCA),転送スタイルネットワークのPCA,スタイル損失のVAEの7種類の定式化をベンチマークする。
  論文  参考訳（メタデータ） (2020-05-08T21:32:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。