論文の概要: Model selection with proper scoring rules on data sets of time series

• arxiv url: http://arxiv.org/abs/2606.24715v1
• Date: Tue, 23 Jun 2026 15:36:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:49.040926
• Title: Model selection with proper scoring rules on data sets of time series
• Title（参考訳）: 時系列データセットにおける適切なスコアリング規則を用いたモデル選択
• Abstract要約: 時系列のデータセットにおける確率モデル間のモデル選択の問題を考える。 モデル選択には、スコアの値を複数の時系列に集約する必要がある。
• 参考スコア（独自算出の注目度）: 0.13599496385950985
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the problem of model selection between probabilistic models on data sets of time series. Chosen a proper scoring rule, we denote by the term \textit{score} the average value of the scoring rule on the test of an individual time series. For model selection, we need aggregating the values of the scores across multiple time series. Three summary statistics are commonly used for model selection: mean score, median score, and mean rank. Results in previous papers show that these statistics can yield conflicting decisions; we show how the conflicting conclusions are due to the skewness of the distribution of scores. We also show that as the test set of each time series of the data set increases, the different model selection criteria progressively converge to the same conclusion. However, for short tests sets, only the mean score identifies the true model as the best. We illustrate these phenomena with an analysis on intermittent time series, including the data set of the M5 competition, where we underline the importance of having a large test set. In such experiments, we further notice that model selection based on mean ranks remains unchanged using different scaling factors.
• Abstract（参考訳）: 時系列のデータセットにおける確率モデル間のモデル選択の問題を考える。 適切なスコアリングルールを作成すれば、個々の時系列のテストにおけるスコアリングルールの平均値が「textit{score}」という用語で表される。 モデル選択には、スコアの値を複数の時系列に集約する必要がある。 3つの要約統計は、平均スコア、中央値スコア、平均ランクというモデル選択によく用いられる。 以上の結果から,これらの統計値が相反する決定を下す可能性が示唆された。 また、データセットの各時系列のテストセットが増加するにつれて、異なるモデル選択基準が徐々に同じ結論に収束することを示す。 しかし、短いテストセットでは、平均スコアのみが真のモデルを最高のものとして識別する。 これらの現象を,M5コンペティションのデータセットを含む断続時系列の分析で説明し,大きなテストセットを持つことの重要性を強調する。 このような実験では, 平均階数に基づくモデル選択が, 異なるスケーリング因子を用いて変化しないことが明らかとなった。

関連論文リスト

• Adaptive Time Series Reasoning via Segment Selection [26.93604782076093]
  ARTISTは時系列推論を逐次決定問題として定式化する。 適応時間セグメント選択による推論をインターリーブする。 平均精度は最強のベースラインで6.46ポイント向上する。
  論文  参考訳（メタデータ） (2026-02-20T22:37:36Z)
• Consensus-Driven Active Model Selection [29.150990754584978]
  本稿では,候補モデルからの予測を用いたアクティブモデル選択手法を提案し,テストデータポイントのラベル付けを優先する。 提案手法は,カテゴリとデータポイントの関係をモデル化し,コンセンサス駆動のアクティブモデル選択を行う。 モデル選択シナリオをキャプチャする26のベンチマークタスクの集合をキュレートすることで、我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2025-07-31T17:56:28Z)
• Size-adaptive Hypothesis Testing for Fairness [8.315080617799445]
  我々は、公正性評価を証拠に基づく統計的決定に変換する統一的、サイズ適応的、仮説テストフレームワークを導入する。 統計的パリティ差に対して中央限の結果が証明され、解析的信頼区間と、タイプI(偽陽性)エラーがレベル$alpha$で保証されるウォルド試験が導かれる。 小さな交叉群の長い尾に対して、完全ベイズ的ディリクレ・マルチノミカル推定器を導出する。
  論文  参考訳（メタデータ） (2025-06-12T11:22:09Z)
• How Benchmark Prediction from Fewer Data Misses the Mark [18.693874781163657]
  ベンチマーク予測は、評価ポイントの小さなサブセットを選択し、そのサブセットからベンチマーク全体のパフォーマンスを予測することを目的としている。 本論文では,19種類のベンチマークにおいて,11種類のベンチマーク予測手法の長所と短所を体系的に評価する。
  論文  参考訳（メタデータ） (2025-06-09T11:50:41Z)
• Breaking Silos: Adaptive Model Fusion Unlocks Better Time Series Forecasting [64.45587649141842]
  時系列予測は多くの現実世界のアプリケーションにおいて重要な役割を果たす。 1つのモデルは、異なるテストサンプルで一貫して他よりも優れていますが、(ii) それぞれのモデルは特定のケースで優れています。 異種モデルのサンプルレベル適応融合による時系列予測のためのフレームワークであるTimeFuseを紹介する。
  論文  参考訳（メタデータ） (2025-05-24T00:45:07Z)
• GIFT-Eval: A Benchmark For General Time Series Forecasting Model Evaluation [90.53485251837235]
  時系列基礎モデルはゼロショット予測に優れ、明示的なトレーニングなしで多様なタスクを処理する。 GIFT-Evalは、多様なデータセットに対する評価を促進するための先駆的なベンチマークである。 GIFT-Evalには、144,000の時系列と17700万のデータポイントの23のデータセットが含まれている。
  論文  参考訳（メタデータ） (2024-10-14T11:29:38Z)
• Deep Neural Network Benchmarks for Selective Classification [27.098996474946446]
  複数の選択的な分類フレームワークが存在し、その多くはディープニューラルネットワークアーキテクチャに依存している。 提案手法は,選択誤差率,経験的カバレッジ,拒否されたインスタンスのクラス分布,アウト・オブ・ディストリビューション・インスタンスの性能など,いくつかの基準を用いて評価する。
  論文  参考訳（メタデータ） (2024-01-23T12:15:47Z)
• Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
  モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。 我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
  論文  参考訳（メタデータ） (2023-06-19T18:48:15Z)
• Post-Selection Confidence Bounds for Prediction Performance [2.28438857884398]
  機械学習では、潜在的に多くの競合モデルから有望なモデルを選択し、その一般化性能を評価することが重要な課題である。 本稿では,評価セットの予測性能に基づいて選択された複数のモデルに対して,有効な低信頼境界を求めるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:28:43Z)
• Sharing pattern submodels for prediction with missing values [12.981974894538668]
  機械学習の多くのアプリケーションでは欠落値は避けられず、トレーニング中もテスト時にも課題が提示される。 パターンサブモデル(パターンサブモデル)と呼ばれる別の手法を提案する。これは、テスト時に欠落した値に対して、予測を堅牢にし、パターンサブモデルの予測力を維持または改善させる。
  論文  参考訳（メタデータ） (2022-06-22T15:09:40Z)
• BRIO: Bringing Order to Abstractive Summarization [107.97378285293507]
  非決定論的分布を前提とした新しい学習パラダイムを提案する。 提案手法は, CNN/DailyMail (47.78 ROUGE-1) と XSum (49.07 ROUGE-1) のデータセット上で, 最新の結果が得られる。
  論文  参考訳（メタデータ） (2022-03-31T05:19:38Z)
• Bayesian Regression Approach for Building and Stacking Predictive Models in Time Series Analytics [0.0]
  本稿では,時系列モデルの構築と時系列の予測モデルへのベイズ回帰の利用について述べる。 これにより、時系列予測の不確実性を推定し、リスク特性の値を計算することができる。
  論文  参考訳（メタデータ） (2022-01-06T12:58:23Z)
• Data-driven Model Generalizability in Crosslinguistic Low-resource Morphological Segmentation [4.339613097080119]
  低リソースのシナリオでは、データコレクションのアーティファクトは、外れ値のデータセットを生成できるため、モデルパフォーマンスに関する結論が一致している可能性がある。 パラメータ化の異なるモデルの3つのクラスを比較し、11の言語から6つの言語ファミリーのデータを抽出する。 その結果、モデル一般化の程度はデータセットの特性に依存することが示され、必ずしもデータセットのサイズに大きく依存するとは限らない。
  論文  参考訳（メタデータ） (2022-01-05T22:19:10Z)
• Towards Debiasing Temporal Sentence Grounding in Video [59.42702544312366]
  ビデオ(TSGV)タスクの時間文グラウンドングは、未編集のビデオから時間モーメントを見つけ、言語クエリにマッチさせることである。 モーメントアノテーションのバイアスを考慮せずに、多くのモデルはモーメントアノテーションの統計的規則性を捉える傾向がある。 本稿では,データデバイアスとモデルデバイアスという2つのデバイアス戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-08T08:18:25Z)
• A Case Study on Sampling Strategies for Evaluating Neural Sequential Item Recommendation Models [69.32128532935403]
  負の項目をサンプリングする2つのよく知られた戦略は、一様ランダムサンプリングと人気によるサンプリングである。 我々は、現在最先端のシーケンシャルレコメンデータモデルを再評価する。 いずれのサンプリング戦略も,モデルの完全なランキングと比較すると,一貫性のないランキングを生成できることがわかった。
  論文  参考訳（メタデータ） (2021-07-27T19:06:03Z)
• CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation [107.63407690972139]
  Conditional Score-based Diffusion Model for Imputation (CSDI) は、観測データに条件付きスコアベース拡散モデルを利用する新しい時系列計算法である。 CSDIは、一般的なパフォーマンスメトリクスの既存の確率論的計算方法よりも40-70%改善されている。 さらに、Cは最先端の決定論的計算法と比較して誤差を5-20%削減する。
  論文  参考訳（メタデータ） (2021-07-07T22:20:24Z)
• Model Selection for Time Series Forecasting: Empirical Analysis of Different Estimators [1.6328866317851185]
  時系列予測タスクにおけるモデル選択のための一連の推定手法を比較する。 その結果,最適解選択のための推定器の精度は低いことがわかった。 サンプルサイズなどのいくつかの要因は、推定器の相対的性能において重要である。
  論文  参考訳（メタデータ） (2021-04-01T16:08:25Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• The Gap on GAP: Tackling the Problem of Differing Data Distributions in Bias-Measuring Datasets [58.53269361115974]
  バイアスモデルを検出する診断データセットは、自然言語処理におけるバイアス低減の重要な前提条件である。 収集されたデータの望ましくないパターンは、そのようなテストを誤ったものにします。 実験データにおけるそのようなパターンに対処するために, 実験サンプルを重み付けする理論的基礎的手法を提案する。
  論文  参考訳（メタデータ） (2020-11-03T16:50:13Z)
• Overcoming Statistical Shortcuts for Open-ended Visual Counting [54.858754825838865]
  出力ラベルに関係なく、カウントする適切なメカニズムを学習するモデルを開発することを目的としている。 まず,統計的ショートカットに過度に依存するモデルを罰するModifying Count Distributionプロトコルを提案する。 第2に、視覚分析と自然言語質問に基づく数え上げを専門とする空間カウントネットワーク(SCN)を導入する。
  論文  参考訳（メタデータ） (2020-06-17T18:02:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。