論文の概要: Forecast Evaluation for Data Scientists: Common Pitfalls and Best
Practices
- arxiv url: http://arxiv.org/abs/2203.10716v1
- Date: Mon, 21 Mar 2022 03:24:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 18:41:37.379574
- Title: Forecast Evaluation for Data Scientists: Common Pitfalls and Best
Practices
- Title(参考訳): データサイエンティストの予測評価:共通の落とし穴とベストプラクティス
- Authors: Hansika Hewamalage, Klaus Ackermann, Christoph Bergmeir
- Abstract要約: 本稿では,全体予測プロセスにおける最も重要なステップの1つ,すなわち評価について,チュートリアルライクにまとめる。
非正規性や非定常性といった時系列の異なる問題特性について詳述する。
予測評価のベストプラクティスは、データのパーティショニング、エラー計算、統計的テストなど、さまざまなステップについて概説されている。
- 参考スコア(独自算出の注目度): 4.2951168699706646
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine Learning (ML) and Deep Learning (DL) methods are increasingly
replacing traditional methods in many domains involved with important decision
making activities. DL techniques tailor-made for specific tasks such as image
recognition, signal processing, or speech analysis are being introduced at a
fast pace with many improvements. However, for the domain of forecasting, the
current state in the ML community is perhaps where other domains such as
Natural Language Processing and Computer Vision were at several years ago. The
field of forecasting has mainly been fostered by statisticians/econometricians;
consequently the related concepts are not the mainstream knowledge among
general ML practitioners. The different non-stationarities associated with time
series challenge the data-driven ML models. Nevertheless, recent trends in the
domain have shown that with the availability of massive amounts of time series,
ML techniques are quite competent in forecasting, when related pitfalls are
properly handled. Therefore, in this work we provide a tutorial-like
compilation of the details of one of the most important steps in the overall
forecasting process, namely the evaluation. This way, we intend to impart the
information of forecast evaluation to fit the context of ML, as means of
bridging the knowledge gap between traditional methods of forecasting and
state-of-the-art ML techniques. We elaborate on the different problematic
characteristics of time series such as non-normalities and non-stationarities
and how they are associated with common pitfalls in forecast evaluation. Best
practices in forecast evaluation are outlined with respect to the different
steps such as data partitioning, error calculation, statistical testing, and
others. Further guidelines are also provided along selecting valid and suitable
error measures depending on the specific characteristics of the dataset at
hand.
- Abstract(参考訳): 機械学習(ML)とディープラーニング(DL)の手法は、重要な意思決定活動に関わる多くの領域において、伝統的な手法に置き換わっている。
画像認識や信号処理,音声解析などの特定のタスクに適したDL技術が,多くの改良を伴って急速に導入されている。
しかしながら、予測の領域では、mlコミュニティの現在の状況は、おそらく数年前に自然言語処理やコンピュータビジョンといった他のドメインが存在した場所だろう。
予測の分野は統計学者や計量学者によって主に育まれているため、関連する概念は一般のML実践者の間では主流の知識ではない。
時系列に関連する異なる非定常性は、データ駆動MLモデルに挑戦する。
しかし,近年の傾向は,大量の時系列が利用可能であることから,関連する落とし穴を適切に処理した場合に,ML技術は予測に極めて適していることを示している。
そこで本研究では,全体的な予測プロセスにおける最も重要なステップである評価の1つについて,チュートリアルのような詳細をまとめる。
このようにして,従来の予測手法と最先端のML技術との知識ギャップを埋める手段として,予測評価に関する情報をMLのコンテキストに適合させる。
非正規性や非定常性といった時系列の異なる問題特性と、予測評価における共通の落とし穴との関連について詳述する。
予測評価のベストプラクティスは、データのパーティショニング、エラー計算、統計的テストなど、さまざまなステップについて概説されている。
また、データセットの特定の特性に応じて、有効かつ適切なエラー対策を選択するとともに、さらにガイドラインが提供される。
関連論文リスト
- Estimating Fr\'echet bounds for validating programmatic weak supervision [50.13475056199486]
我々は、ある変数が連続的に評価される(おそらく高次元の)分布クラス上のFr'echeの境界を推定する手法を開発する。
プログラム弱監督(PWS)を訓練した機械学習(ML)モデルの性能を評価することで,アルゴリズムの有用性を実証する。
論文 参考訳(メタデータ) (2023-12-07T07:15:11Z) - Towards a Prediction of Machine Learning Training Time to Support
Continuous Learning Systems Development [5.207307163958806]
我々は全文を実証研究する。
ZhengらによるFPTC(Time Complexity)アプローチ。
本稿では,ロジスティック回帰とランダムフォレスト分類のための定式化について検討する。
本研究では,本研究から,学習時間の予測が文脈とどのように密接に関連しているかを観察する。
論文 参考訳(メタデータ) (2023-09-20T11:35:03Z) - Uncertainty Estimation based on Geometric Separation [13.588210692213568]
機械学習では、特定の入力が正しい確率を正確に予測することがリスク管理に不可欠である。
機械学習モデルにおける不確実性推定を改善するための新しい幾何学的アプローチを提案する。
論文 参考訳(メタデータ) (2023-01-11T13:19:24Z) - Machine Learning Algorithms for Time Series Analysis and Forecasting [0.0]
時系列データは、販売記録から患者の健康進化指標まで、あらゆる場所で使用されている。
様々な統計的および深層学習モデル、特にARIMA、Prophet、LSTMが検討されている。
我々の研究は、誰でも予測プロセスの理解を深め、現在使われている様々な芸術モデルの状態を識別するために利用できる。
論文 参考訳(メタデータ) (2022-11-25T22:12:03Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳(メタデータ) (2022-03-08T09:57:48Z) - TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。
本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。
本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
論文 参考訳(メタデータ) (2022-02-07T21:37:29Z) - CAMul: Calibrated and Accurate Multi-view Time-Series Forecasting [70.54920804222031]
本稿では,一般的な確率的マルチビュー予測フレームワークであるCAMulを提案する。
多様なデータソースから表現と不確実性を学ぶことができる。
動的コンテキスト固有の方法で、各データビューからの知識と不確実性を統合する。
CAMulは、他の最先端確率予測モデルよりも精度とキャリブレーションが25%以上向上していることを示す。
論文 参考訳(メタデータ) (2021-09-15T17:13:47Z) - Uncertainty Prediction for Machine Learning Models of Material
Properties [0.0]
物質特性のAIベースの予測の不確実性は、物質科学におけるAIアプリケーションの成功と信頼性にとって非常に重要である。
このような個人的不確実性を得るための3つの異なるアプローチを比較し、それらを12のML物理特性で検証する。
論文 参考訳(メタデータ) (2021-07-16T16:33:55Z) - Quantifying Uncertainty in Deep Spatiotemporal Forecasting [67.77102283276409]
本稿では,正規格子法とグラフ法という2種類の予測問題について述べる。
我々はベイジアンおよび頻繁な視点からUQ法を解析し、統計的決定理論を通じて統一的な枠組みを提示する。
実際の道路ネットワークのトラフィック、疫病、空気質予測タスクに関する広範な実験を通じて、異なるUQ手法の統計計算トレードオフを明らかにする。
論文 参考訳(メタデータ) (2021-05-25T14:35:46Z) - Spatiotemporal Attention for Multivariate Time Series Prediction and
Interpretation [17.568599402858037]
最も重要な時間ステップと変数の同時学習のための時間的注意機構(STAM)。
結果: STAMは最先端の予測精度を維持しつつ,正確な解釈可能性の利点を提供する。
論文 参考訳(メタデータ) (2020-08-11T17:34:55Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳(メタデータ) (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。