論文の概要: Model selection with proper scoring rules on data sets of time series
- arxiv url: http://arxiv.org/abs/2606.24715v1
- Date: Tue, 23 Jun 2026 15:36:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 22:16:49.040926
- Title: Model selection with proper scoring rules on data sets of time series
- Title(参考訳): 時系列データセットにおける適切なスコアリング規則を用いたモデル選択
- Authors: Giorgio Corani, Stefano Damato, Dario Azzimonti, Lorenzo Zambon,
- Abstract要約: 時系列のデータセットにおける確率モデル間のモデル選択の問題を考える。
モデル選択には、スコアの値を複数の時系列に集約する必要がある。
- 参考スコア(独自算出の注目度): 0.13599496385950985
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the problem of model selection between probabilistic models on data sets of time series. Chosen a proper scoring rule, we denote by the term \textit{score} the average value of the scoring rule on the test of an individual time series. For model selection, we need aggregating the values of the scores across multiple time series. Three summary statistics are commonly used for model selection: mean score, median score, and mean rank. Results in previous papers show that these statistics can yield conflicting decisions; we show how the conflicting conclusions are due to the skewness of the distribution of scores. We also show that as the test set of each time series of the data set increases, the different model selection criteria progressively converge to the same conclusion. However, for short tests sets, only the mean score identifies the true model as the best. We illustrate these phenomena with an analysis on intermittent time series, including the data set of the M5 competition, where we underline the importance of having a large test set. In such experiments, we further notice that model selection based on mean ranks remains unchanged using different scaling factors.
- Abstract(参考訳): 時系列のデータセットにおける確率モデル間のモデル選択の問題を考える。
適切なスコアリングルールを作成すれば、個々の時系列のテストにおけるスコアリングルールの平均値が「textit{score}」という用語で表される。
モデル選択には、スコアの値を複数の時系列に集約する必要がある。
3つの要約統計は、平均スコア、中央値スコア、平均ランクというモデル選択によく用いられる。
以上の結果から,これらの統計値が相反する決定を下す可能性が示唆された。
また、データセットの各時系列のテストセットが増加するにつれて、異なるモデル選択基準が徐々に同じ結論に収束することを示す。
しかし、短いテストセットでは、平均スコアのみが真のモデルを最高のものとして識別する。
これらの現象を,M5コンペティションのデータセットを含む断続時系列の分析で説明し,大きなテストセットを持つことの重要性を強調する。
このような実験では, 平均階数に基づくモデル選択が, 異なるスケーリング因子を用いて変化しないことが明らかとなった。
関連論文リスト
- Adaptive Time Series Reasoning via Segment Selection [26.93604782076093]
ARTISTは時系列推論を逐次決定問題として定式化する。
適応時間セグメント選択による推論をインターリーブする。
平均精度は最強のベースラインで6.46ポイント向上する。
論文 参考訳(メタデータ) (2026-02-20T22:37:36Z) - Consensus-Driven Active Model Selection [29.150990754584978]
本稿では,候補モデルからの予測を用いたアクティブモデル選択手法を提案し,テストデータポイントのラベル付けを優先する。
提案手法は,カテゴリとデータポイントの関係をモデル化し,コンセンサス駆動のアクティブモデル選択を行う。
モデル選択シナリオをキャプチャする26のベンチマークタスクの集合をキュレートすることで、我々のアプローチを検証する。
論文 参考訳(メタデータ) (2025-07-31T17:56:28Z) - Breaking Silos: Adaptive Model Fusion Unlocks Better Time Series Forecasting [64.45587649141842]
時系列予測は多くの現実世界のアプリケーションにおいて重要な役割を果たす。
1つのモデルは、異なるテストサンプルで一貫して他よりも優れていますが、(ii) それぞれのモデルは特定のケースで優れています。
異種モデルのサンプルレベル適応融合による時系列予測のためのフレームワークであるTimeFuseを紹介する。
論文 参考訳(メタデータ) (2025-05-24T00:45:07Z) - GIFT-Eval: A Benchmark For General Time Series Forecasting Model Evaluation [90.53485251837235]
時系列基礎モデルはゼロショット予測に優れ、明示的なトレーニングなしで多様なタスクを処理する。
GIFT-Evalは、多様なデータセットに対する評価を促進するための先駆的なベンチマークである。
GIFT-Evalには、144,000の時系列と17700万のデータポイントの23のデータセットが含まれている。
論文 参考訳(メタデータ) (2024-10-14T11:29:38Z) - Sharing pattern submodels for prediction with missing values [12.981974894538668]
機械学習の多くのアプリケーションでは欠落値は避けられず、トレーニング中もテスト時にも課題が提示される。
パターンサブモデル(パターンサブモデル)と呼ばれる別の手法を提案する。これは、テスト時に欠落した値に対して、予測を堅牢にし、パターンサブモデルの予測力を維持または改善させる。
論文 参考訳(メタデータ) (2022-06-22T15:09:40Z) - Bayesian Regression Approach for Building and Stacking Predictive Models
in Time Series Analytics [0.0]
本稿では,時系列モデルの構築と時系列の予測モデルへのベイズ回帰の利用について述べる。
これにより、時系列予測の不確実性を推定し、リスク特性の値を計算することができる。
論文 参考訳(メタデータ) (2022-01-06T12:58:23Z) - Data-driven Model Generalizability in Crosslinguistic Low-resource
Morphological Segmentation [4.339613097080119]
低リソースのシナリオでは、データコレクションのアーティファクトは、外れ値のデータセットを生成できるため、モデルパフォーマンスに関する結論が一致している可能性がある。
パラメータ化の異なるモデルの3つのクラスを比較し、11の言語から6つの言語ファミリーのデータを抽出する。
その結果、モデル一般化の程度はデータセットの特性に依存することが示され、必ずしもデータセットのサイズに大きく依存するとは限らない。
論文 参考訳(メタデータ) (2022-01-05T22:19:10Z) - Towards Debiasing Temporal Sentence Grounding in Video [59.42702544312366]
ビデオ(TSGV)タスクの時間文グラウンドングは、未編集のビデオから時間モーメントを見つけ、言語クエリにマッチさせることである。
モーメントアノテーションのバイアスを考慮せずに、多くのモデルはモーメントアノテーションの統計的規則性を捉える傾向がある。
本稿では,データデバイアスとモデルデバイアスという2つのデバイアス戦略を提案する。
論文 参考訳(メタデータ) (2021-11-08T08:18:25Z) - A Case Study on Sampling Strategies for Evaluating Neural Sequential
Item Recommendation Models [69.32128532935403]
負の項目をサンプリングする2つのよく知られた戦略は、一様ランダムサンプリングと人気によるサンプリングである。
我々は、現在最先端のシーケンシャルレコメンデータモデルを再評価する。
いずれのサンプリング戦略も,モデルの完全なランキングと比較すると,一貫性のないランキングを生成できることがわかった。
論文 参考訳(メタデータ) (2021-07-27T19:06:03Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳(メタデータ) (2021-01-02T02:11:37Z) - Overcoming Statistical Shortcuts for Open-ended Visual Counting [54.858754825838865]
出力ラベルに関係なく、カウントする適切なメカニズムを学習するモデルを開発することを目的としている。
まず,統計的ショートカットに過度に依存するモデルを罰するModifying Count Distributionプロトコルを提案する。
第2に、視覚分析と自然言語質問に基づく数え上げを専門とする空間カウントネットワーク(SCN)を導入する。
論文 参考訳(メタデータ) (2020-06-17T18:02:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。