論文の概要: Training for the Future: A Simple Gradient Interpolation Loss to Generalize Along Time

• arxiv url: http://arxiv.org/abs/2108.06721v1
• Date: Sun, 15 Aug 2021 11:20:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-17 15:23:50.177224
• Title: Training for the Future: A Simple Gradient Interpolation Loss to Generalize Along Time
• Title（参考訳）: 未来へのトレーニング:時間とともに一般化する簡単な勾配補間損失
• Authors: Anshul Nasery, Soumyadeep Thakur, Vihari Piratla, Abir De, Sunita Sarawagi
• Abstract要約: いくつかの実世界のアプリケーションでは、機械学習モデルがデプロイされ、時間とともに分布が徐々に変化するデータの予測を行う。 本稿では,時間に敏感なパラメータを持つモデルから始める単純な手法を提案する。
• 参考スコア（独自算出の注目度）: 26.261277497201565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In several real world applications, machine learning models are deployed to make predictions on data whose distribution changes gradually along time, leading to a drift between the train and test distributions. Such models are often re-trained on new data periodically, and they hence need to generalize to data not too far into the future. In this context, there is much prior work on enhancing temporal generalization, e.g. continuous transportation of past data, kernel smoothed time-sensitive parameters and more recently, adversarial learning of time-invariant features. However, these methods share several limitations, e.g, poor scalability, training instability, and dependence on unlabeled data from the future. Responding to the above limitations, we propose a simple method that starts with a model with time-sensitive parameters but regularizes its temporal complexity using a Gradient Interpolation (GI) loss. GI allows the decision boundary to change along time and can still prevent overfitting to the limited training time snapshots by allowing task-specific control over changes along time. We compare our method to existing baselines on multiple real-world datasets, which show that GI outperforms more complicated generative and adversarial approaches on the one hand, and simpler gradient regularization methods on the other.
• Abstract（参考訳）: いくつかの現実世界のアプリケーションでは、分散が時間とともに徐々に変化するデータを予測するために機械学習モデルがデプロイされ、列車とテスト分布のドリフトに繋がる。 このようなモデルは、しばしば新しいデータに対して定期的に再訓練されるため、将来遠くないデータに一般化する必要がある。 この文脈では、時間的一般化(例えば、時間的一般化)を強化するための多くの先行的な作業がある。 過去のデータとカーネルの連続輸送、時間に敏感なパラメータの平滑化、そして最近では、時間不変特徴の逆学習。 しかし、これらの手法はスケーラビリティの貧弱さ、トレーニングの不安定さ、ラベル付きデータへの将来依存など、いくつかの制限を満たしている。 上記の制約に対応して,時間に敏感なパラメータを持つモデルから始めて,勾配補間(gi)損失を用いて時間的複雑性を正規化する簡単な手法を提案する。 GIにより、決定境界は時間とともに変更でき、時間とともにタスク固有の変更制御を許すことで、限られたトレーニング時間スナップショットへの過度な適合を防止することができる。 本研究では,複数の実世界のデータセット上の既存のベースラインと比較し,giがより複雑な生成的手法や敵意的アプローチよりも優れており,一方はより単純な勾配正規化法であることを示した。

関連論文リスト

• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• GinAR: An End-To-End Multivariate Time Series Forecasting Model Suitable for Variable Missing [21.980379175333443]
  本稿では,グラフ補間注意再帰ネットワーク(GinAR)を提案する。 GinARでは、2つの重要なコンポーネント、すなわち注意と適応グラフの畳み込みで構成されている。 5つの実世界のデータセットで実施された実験では、GinARは11のSOTAベースラインより優れており、90%の変数が欠落している場合でも、すべての変数の将来の値を正確に予測できる。
  論文  参考訳（メタデータ） (2024-05-18T16:42:44Z)
• Graph Spatiotemporal Process for Multivariate Time Series Anomaly Detection with Missing Values [67.76168547245237]
  本稿では,グラフ時間過程と異常スコアラを用いて異常を検出するGST-Proという新しいフレームワークを提案する。 実験結果から,GST-Pro法は時系列データ中の異常を効果的に検出し,最先端の手法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-01-11T10:10:16Z)
• Spatiotemporal-Linear: Towards Universal Multivariate Time Series Forecasting [10.404951989266191]
  本稿ではSTL(Spatio-Temporal-Linear)フレームワークを紹介する。 STLは、Linearベースのアーキテクチャを拡張するために、時間組込みと空間インフォームドのバイパスをシームレスに統合する。 実証的な証拠は、さまざまな観測時間と予測期間とデータセットにわたって、LinearとTransformerのベンチマークを上回り、STLの成果を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-12-22T17:46:34Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Correlation-aware Spatial-Temporal Graph Learning for Multivariate Time-series Anomaly Detection [67.60791405198063]
  時系列異常検出のための相関対応時空間グラフ学習(CST-GL)を提案する。 CST-GLは、多変量時系列相関学習モジュールを介してペアの相関を明示的にキャプチャする。 新規な異常スコアリング成分をCST-GLにさらに統合し、純粋に教師なしの方法で異常の度合いを推定する。
  論文  参考訳（メタデータ） (2023-07-17T11:04:27Z)
• OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning [67.07363529640784]
  提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。 我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。 リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
  論文  参考訳（メタデータ） (2023-06-20T03:02:14Z)
• A Deep Learning Framework for Traffic Data Imputation Considering Spatiotemporal Dependencies [7.835274806604221]
  トラフィックネットワークにおける依存関係の複雑さのため、S.temporalデータの計算は非常に困難である。 既存のアプローチは主に、時系列や静的な空間的依存関係における時間的依存関係のみをキャプチャする。 それらはモデルのS.temporal依存性表現能力をモデル化するのに失敗する。
  論文  参考訳（メタデータ） (2023-04-18T07:13:52Z)
• Multivariate Time Series Imputation by Graph Neural Networks [13.308026049048717]
  我々は,多変量時系列の異なるチャネルにおける行方不明データを再構成することを目的としたGRILというグラフニューラルネットワークアーキテクチャを導入する。 予備的な結果は,本モデルが関連するベンチマーク上での計算処理において,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-31T17:47:10Z)
• Low-Rank Autoregressive Tensor Completion for Spatiotemporal Traffic Data Imputation [4.9831085918734805]
  データ計算の欠如は長年の研究課題であり、現実世界のインテリジェント交通システムにとって重要な応用である。 テキストの時間変化を新たな正規化項として導入し,低ランク自動回帰テンソル補完(LATC)フレームワークを提案する。 本研究では,複数の実世界の交通データ集合について広範な数値実験を行い,LATCの有効性を実証した。
  論文  参考訳（メタデータ） (2021-04-30T12:00:57Z)
• Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks [91.65637773358347]
  多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。 グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。 提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-24T04:02:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。