論文の概要: ReFine: Boosting Time Series Prediction of Extreme Events by Reweighting and Fine-tuning
- arxiv url: http://arxiv.org/abs/2409.14232v1
- Date: Sat, 21 Sep 2024 19:29:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 23:37:15.896511
- Title: ReFine: Boosting Time Series Prediction of Extreme Events by Reweighting and Fine-tuning
- Title（参考訳）: ReFine: 再重み付けと微調整による極端事象の時系列予測
- Authors: Jimeng Shi, Azam Shirali, Giri Narasimhan,
- Abstract要約: 衝撃的な出来事を表すため、極端に重要な出来事である。
極端な出来事を正確に予測することは 困難です 希少さと不規則さのために
課題に対処するために、再重み付けと微調整という2つの戦略を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Extreme events are of great importance since they often represent impactive occurrences. For instance, in terms of climate and weather, extreme events might be major storms, floods, extreme heat or cold waves, and more. However, they are often located at the tail of the data distribution. Consequently, accurately predicting these extreme events is challenging due to their rarity and irregularity. Prior studies have also referred to this as the out-of-distribution (OOD) problem, which occurs when the distribution of the test data is substantially different from that used for training. In this work, we propose two strategies, reweighting and fine-tuning, to tackle the challenge. Reweighting is a strategy used to force machine learning models to focus on extreme events, which is achieved by a weighted loss function that assigns greater penalties to the prediction errors for the extreme samples relative to those on the remainder of the data. Unlike previous intuitive reweighting methods based on simple heuristics of data distribution, we employ meta-learning to dynamically optimize these penalty weights. To further boost the performance on extreme samples, we start from the reweighted models and fine-tune them using only rare extreme samples. Through extensive experiments on multiple data sets, we empirically validate that our meta-learning-based reweighting outperforms existing heuristic ones, and the fine-tuning strategy can further increase the model performance. More importantly, these two strategies are model-agnostic, which can be implemented on any type of neural network for time series forecasting. The open-sourced code is available at \url{https://github.com/JimengShi/ReFine}.
- Abstract（参考訳）: 極端に重要な出来事は、しばしば衝撃的な出来事を表すためである。
例えば、気候や天候の面では、極端な出来事は大きな嵐、洪水、極端な熱や冷たい波などである。
しかし、それらはしばしばデータ分布の尾にある。
したがって、これらの極端な事象を正確に予測することは、その希薄さと不規則さのために困難である。
以前の研究では、テストデータの分布がトレーニングで使用されるものと大きく異なる場合に発生する、アウト・オブ・ディストリビューション(OOD)問題(out-of-distriion)問題(英語版)とも言及されていた。
本研究では,この課題に取り組むために,再重み付けと微調整という2つの戦略を提案する。
再重み付け(reweighting)は、機械学習モデルに極端なイベントに集中させるための戦略であり、残りのデータと比較して、極端なサンプルの予測エラーにより大きなペナルティを割り当てる重み付き損失関数によって達成される。
データ分布の単純ヒューリスティックスに基づく従来の直感的な再重み付け手法とは異なり、メタラーニングを用いてこれらのペナルティ重みを動的に最適化する。
極端サンプルの性能をさらに高めるため、再重み付けされたモデルから始めて、稀な極端サンプルのみを用いて微調整する。
複数のデータセットに関する広範な実験を通じて、我々のメタラーニングベースの再重み付けが既存のヒューリスティックよりも優れており、微調整戦略はモデルの性能をさらに向上させることができることを実証的に検証する。
さらに重要なのは、これらの2つの戦略がモデルに依存しないことだ。
オープンソースコードは \url{https://github.com/JimengShi/ReFine} で公開されている。
関連論文リスト
- Evaluating the Role of Data Enrichment Approaches Towards Rare Event Analysis in Manufacturing [1.3980986259786223]
希少な出来事は、一般的な通常の出来事よりもはるかに低い頻度で起こる出来事である。
製造業では、計画外のダウンタイム、設備寿命の短縮、高エネルギー消費につながるため、このような事象を予測することが特に重要である。
本稿では,データエンリッチメント技術と教師付き機械学習技術を組み合わせて,まれな事象の検出と予測を行う役割について検討する。
論文 参考訳（メタデータ） (2024-07-01T00:05:56Z) - Reducing Bias in Pre-trained Models by Tuning while Penalizing Change [8.862970622361747]
大量のデータに基づいてトレーニングされた深層モデルには、トレーニング期間中に存在する暗黙のバイアスが組み込まれていることが多い。
新しいデータは、しばしば高価で、自律運転や医療意思決定のような分野では入手が困難である。
本稿では,事前学習モデルを用いて,事前検出したバイアスを軽減するために重みを適応する変化ペナライゼーションに基づく手法を提案する。
論文 参考訳（メタデータ） (2024-04-18T16:12:38Z) - Ask Your Distribution Shift if Pre-Training is Right for You [67.90850628695563]
実際に、事前訓練されたモデルの微調整は、いくつかのケースではロバスト性を大幅に改善するが、他のケースではまったく改善しない。
分散シフト中のモデルの2つの障害モード – トレーニングデータの補間不足とバイアス – に注目する。
我々の研究は、親指の規則として、事前学習は、粗悪な外挿を緩和するがデータセットのバイアスを緩和する助けとなることを示唆している。
論文 参考訳（メタデータ） (2024-02-29T23:46:28Z) - A non-intrusive machine learning framework for debiasing long-time
coarse resolution climate simulations and quantifying rare events statistics [0.0]
粗いモデルは、無視された「サブグリッド」スケールのために固有のバイアスに悩まされる。
ニューラルネット(NN)補正演算子を用いて,非侵襲的に粗大分解能気候予測を行うフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-28T17:06:19Z) - ExtremeCast: Boosting Extreme Value Prediction for Global Weather Forecast [57.6987191099507]
非対称な最適化を行い、極端な天気予報を得るために極端な値を強調する新しい損失関数であるExlossを導入する。
また,複数のランダムサンプルを用いて予測結果の不確かさをキャプチャするExBoosterについても紹介する。
提案手法は,上位中距離予測モデルに匹敵する全体的な予測精度を維持しつつ,極端気象予測における最先端性能を達成することができる。
論文 参考訳（メタデータ） (2024-02-02T10:34:13Z) - An Extreme-Adaptive Time Series Prediction Model Based on
Probability-Enhanced LSTM Neural Networks [6.5700527395783315]
我々は、極端および正常な予測関数を同時に学習するNEC+と呼ばれる新しい確率強調型ニューラルネットワークモデルを提案する。
本研究では,カリフォルニアの9つの貯水池に適用された3日間の前向き水位予測課題について,提案モデルの評価を行った。
論文 参考訳（メタデータ） (2022-11-29T03:01:59Z) - Output-weighted and relative entropy loss functions for deep learning
precursors of extreme events [0.0]
低次元の出力を持つシステムに対する相対エントロピーに基づく損失関数の適用性を拡張し、新しい損失関数、調整された出力重み付き損失を提案する。
提案関数は, 極端な事象を示す力学系のいくつかの事例を用いて検証し, 極端な事象の予測精度を著しく向上させることを示した。
論文 参考訳（メタデータ） (2021-12-01T21:05:54Z) - Improved Fine-tuning by Leveraging Pre-training Data: Theory and
Practice [52.11183787786718]
対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。
近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。
本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
論文 参考訳（メタデータ） (2021-11-24T06:18:32Z) - Evaluating Prediction-Time Batch Normalization for Robustness under
Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。
予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。
この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文 参考訳（メタデータ） (2020-06-19T05:08:43Z) - Learning a Unified Sample Weighting Network for Object Detection [113.98404690619982]
地域サンプリングや重み付けは、現代の地域ベースの物体検出器の成功に極めて重要である。
サンプル重み付けはデータ依存でタスク依存であるべきだと我々は主張する。
サンプルのタスク重みを予測するための統一的なサンプル重み付けネットワークを提案する。
論文 参考訳（メタデータ） (2020-06-11T16:19:16Z) - Ambiguity in Sequential Data: Predicting Uncertain Futures with
Recurrent Models [110.82452096672182]
逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。
また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
論文 参考訳（メタデータ） (2020-03-10T09:15:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。