論文の概要: Model Selection for Time Series Forecasting: Empirical Analysis of Different Estimators

• arxiv url: http://arxiv.org/abs/2104.00584v1
• Date: Thu, 1 Apr 2021 16:08:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 20:48:53.302241
• Title: Model Selection for Time Series Forecasting: Empirical Analysis of Different Estimators
• Title（参考訳）: 時系列予測のためのモデル選択:異なる推定器の実証分析
• Authors: Vitor Cerqueira, Luis Torgo, Carlos Soares
• Abstract要約: 時系列予測タスクにおけるモデル選択のための一連の推定手法を比較する。 その結果,最適解選択のための推定器の精度は低いことがわかった。 サンプルサイズなどのいくつかの要因は、推定器の相対的性能において重要である。
• 参考スコア（独自算出の注目度）: 1.6328866317851185
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating predictive models is a crucial task in predictive analytics. This process is especially challenging with time series data where the observations show temporal dependencies. Several studies have analysed how different performance estimation methods compare with each other for approximating the true loss incurred by a given forecasting model. However, these studies do not address how the estimators behave for model selection: the ability to select the best solution among a set of alternatives. We address this issue and compare a set of estimation methods for model selection in time series forecasting tasks. We attempt to answer two main questions: (i) how often is the best possible model selected by the estimators; and (ii) what is the performance loss when it does not. We empirically found that the accuracy of the estimators for selecting the best solution is low, and the overall forecasting performance loss associated with the model selection process ranges from 1.2% to 2.3%. We also discovered that some factors, such as the sample size, are important in the relative performance of the estimators.
• Abstract（参考訳）: 予測モデルの評価は予測分析において重要なタスクである。 このプロセスは、観察が時間的依存性を示す時系列データでは特に困難である。 いくつかの研究では、与えられた予測モデルによって生じる真の損失を近似するために、異なる性能推定方法が互いにどのように比較されるかを分析している。 しかしながら、これらの研究はモデル選択に対する推定者がどのように振る舞うかについて言及していない。 本稿では,時系列予測タスクにおけるモデル選択のための一連の推定手法を比較する。 我々は2つの主な質問に答えようとしている: (i) 推定者によって選択できる最良のモデルがどれくらいあるか; (ii) そうでない場合のパフォーマンス損失は何か。 実験の結果,最適解選択のための推定器の精度は低く,モデル選択過程に伴う全体的な予測性能の損失は1.2%から2.3%であることがわかった。 また,試料サイズなどいくつかの要因が,推定器の相対的性能において重要であることも分かった。

関連論文リスト

• Model Assessment and Selection under Temporal Distribution Shift [1.024113475677323]
  我々は,与えられたモデルの一般化誤差を推定する適応型ローリングウインドウ手法を開発した。 また、ペアワイズ比較を単一消去トーナメントに統合し、候補の集合から最適に近いモデル選択を行う。
  論文  参考訳（メタデータ） (2024-02-13T18:54:08Z)
• In Search of Insights, Not Magic Bullets: Towards Demystification of the Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
  本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。 選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
  論文  参考訳（メタデータ） (2023-02-06T16:55:37Z)
• Empirical Analysis of Model Selection for Heterogeneous Causal Effect Estimation [24.65301562548798]
  本研究では,因果推論におけるモデル選択の問題,特に条件付き平均処理効果(CATE)の推定について検討する。 本研究では,本研究で導入されたサロゲートモデル選択指標と,本研究で導入された新しい指標のベンチマークを行う。
  論文  参考訳（メタデータ） (2022-11-03T16:26:06Z)
• Post-Selection Confidence Bounds for Prediction Performance [2.28438857884398]
  機械学習では、潜在的に多くの競合モデルから有望なモデルを選択し、その一般化性能を評価することが重要な課題である。 本稿では,評価セットの予測性能に基づいて選択された複数のモデルに対して,有効な低信頼境界を求めるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:28:43Z)
• Multi-Objective Model Selection for Time Series Forecasting [9.473440847947492]
  44のデータセット上で7つの古典的および6つのディープラーニング予測手法を評価する。 ベンチマーク評価を利用して、精度やレイテンシといった複数の目標を考慮した優れたデフォルトを学習します。 予測モデルから性能指標へのマッピングを学習することにより,提案手法のPARETOSELECTが正確にモデルを選択することができることを示す。
  論文  参考訳（メタデータ） (2022-02-17T07:40:15Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)
• A Worrying Analysis of Probabilistic Time-series Models for Sales Forecasting [10.690379201437015]
  確率的時系列モデルは、不確実性の下で最適な決定を下すのに役立つため、予測分野で人気がある。 販売予測のための3つの顕著な確率的時系列モデルの性能解析を行った。
  論文  参考訳（メタデータ） (2020-11-21T03:31:23Z)
• Counterfactual Predictions under Runtime Confounding [74.90756694584839]
  本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。 本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
  論文  参考訳（メタデータ） (2020-06-30T15:49:05Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。