論文の概要: Forecast Evaluation for Data Scientists: Common Pitfalls and Best
Practices
- arxiv url: http://arxiv.org/abs/2203.10716v1
- Date: Mon, 21 Mar 2022 03:24:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 18:41:37.379574
- Title: Forecast Evaluation for Data Scientists: Common Pitfalls and Best
Practices
- Title（参考訳）: データサイエンティストの予測評価:共通の落とし穴とベストプラクティス
- Authors: Hansika Hewamalage, Klaus Ackermann, Christoph Bergmeir
- Abstract要約: 本稿では,全体予測プロセスにおける最も重要なステップの1つ,すなわち評価について,チュートリアルライクにまとめる。
非正規性や非定常性といった時系列の異なる問題特性について詳述する。
予測評価のベストプラクティスは、データのパーティショニング、エラー計算、統計的テストなど、さまざまなステップについて概説されている。
- 参考スコア（独自算出の注目度）: 4.2951168699706646
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine Learning (ML) and Deep Learning (DL) methods are increasingly
replacing traditional methods in many domains involved with important decision
making activities. DL techniques tailor-made for specific tasks such as image
recognition, signal processing, or speech analysis are being introduced at a
fast pace with many improvements. However, for the domain of forecasting, the
current state in the ML community is perhaps where other domains such as
Natural Language Processing and Computer Vision were at several years ago. The
field of forecasting has mainly been fostered by statisticians/econometricians;
consequently the related concepts are not the mainstream knowledge among
general ML practitioners. The different non-stationarities associated with time
series challenge the data-driven ML models. Nevertheless, recent trends in the
domain have shown that with the availability of massive amounts of time series,
ML techniques are quite competent in forecasting, when related pitfalls are
properly handled. Therefore, in this work we provide a tutorial-like
compilation of the details of one of the most important steps in the overall
forecasting process, namely the evaluation. This way, we intend to impart the
information of forecast evaluation to fit the context of ML, as means of
bridging the knowledge gap between traditional methods of forecasting and
state-of-the-art ML techniques. We elaborate on the different problematic
characteristics of time series such as non-normalities and non-stationarities
and how they are associated with common pitfalls in forecast evaluation. Best
practices in forecast evaluation are outlined with respect to the different
steps such as data partitioning, error calculation, statistical testing, and
others. Further guidelines are also provided along selecting valid and suitable
error measures depending on the specific characteristics of the dataset at
hand.
- Abstract（参考訳）: 機械学習(ML)とディープラーニング(DL)の手法は、重要な意思決定活動に関わる多くの領域において、伝統的な手法に置き換わっている。
画像認識や信号処理,音声解析などの特定のタスクに適したDL技術が,多くの改良を伴って急速に導入されている。
しかしながら、予測の領域では、mlコミュニティの現在の状況は、おそらく数年前に自然言語処理やコンピュータビジョンといった他のドメインが存在した場所だろう。
予測の分野は統計学者や計量学者によって主に育まれているため、関連する概念は一般のML実践者の間では主流の知識ではない。
時系列に関連する異なる非定常性は、データ駆動MLモデルに挑戦する。
しかし,近年の傾向は,大量の時系列が利用可能であることから,関連する落とし穴を適切に処理した場合に,ML技術は予測に極めて適していることを示している。
そこで本研究では,全体的な予測プロセスにおける最も重要なステップである評価の1つについて,チュートリアルのような詳細をまとめる。
このようにして,従来の予測手法と最先端のML技術との知識ギャップを埋める手段として,予測評価に関する情報をMLのコンテキストに適合させる。
非正規性や非定常性といった時系列の異なる問題特性と、予測評価における共通の落とし穴との関連について詳述する。
予測評価のベストプラクティスは、データのパーティショニング、エラー計算、統計的テストなど、さまざまなステップについて概説されている。
また、データセットの特定の特性に応じて、有効かつ適切なエラー対策を選択するとともに、さらにガイドラインが提供される。
関連論文リスト
- Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。
我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。
実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
論文 参考訳（メタデータ） (2024-10-24T17:56:08Z) - XForecast: Evaluating Natural Language Explanations for Time Series Forecasting [72.57427992446698]
時系列予測は、特に正確な予測に依存するステークホルダーにとって、意思決定を支援する。
伝統的に説明可能なAI(XAI)メソッドは、機能や時間的重要性を基盤とするものであり、専門家の知識を必要とすることが多い。
時系列データにおける複雑な因果関係のため,予測NLEの評価は困難である。
論文 参考訳（メタデータ） (2024-10-18T05:16:39Z) - Worst-Case Convergence Time of ML Algorithms via Extreme Value Theory [8.540426791244533]
本稿では、極端な値の統計を利用して、機械学習アルゴリズムの最悪の収束時間を予測する。
タイミングはMLシステムの重要な非機能特性であり、最悪の収束時間を提供することは、MLとそのサービスの可用性を保証するために不可欠である。
論文 参考訳（メタデータ） (2024-04-10T17:05:12Z) - Machine Learning Algorithms for Time Series Analysis and Forecasting [0.0]
時系列データは、販売記録から患者の健康進化指標まで、あらゆる場所で使用されている。
様々な統計的および深層学習モデル、特にARIMA、Prophet、LSTMが検討されている。
我々の研究は、誰でも予測プロセスの理解を深め、現在使われている様々な芸術モデルの状態を識別するために利用できる。
論文 参考訳（メタデータ） (2022-11-25T22:12:03Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳（メタデータ） (2022-03-08T09:57:48Z) - TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。
本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。
本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
論文 参考訳（メタデータ） (2022-02-07T21:37:29Z) - Uncertainty Prediction for Machine Learning Models of Material
Properties [0.0]
物質特性のAIベースの予測の不確実性は、物質科学におけるAIアプリケーションの成功と信頼性にとって非常に重要である。
このような個人的不確実性を得るための3つの異なるアプローチを比較し、それらを12のML物理特性で検証する。
論文 参考訳（メタデータ） (2021-07-16T16:33:55Z) - Quantifying Uncertainty in Deep Spatiotemporal Forecasting [67.77102283276409]
本稿では,正規格子法とグラフ法という2種類の予測問題について述べる。
我々はベイジアンおよび頻繁な視点からUQ法を解析し、統計的決定理論を通じて統一的な枠組みを提示する。
実際の道路ネットワークのトラフィック、疫病、空気質予測タスクに関する広範な実験を通じて、異なるUQ手法の統計計算トレードオフを明らかにする。
論文 参考訳（メタデータ） (2021-05-25T14:35:46Z) - Spatiotemporal Attention for Multivariate Time Series Prediction and
Interpretation [17.568599402858037]
最も重要な時間ステップと変数の同時学習のための時間的注意機構(STAM)。
結果: STAMは最先端の予測精度を維持しつつ,正確な解釈可能性の利点を提供する。
論文 参考訳（メタデータ） (2020-08-11T17:34:55Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳（メタデータ） (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。