Fugu-MT 論文翻訳(概要): Comparing Sequential Forecasters

論文の概要: Comparing Sequential Forecasters

arxiv url: http://arxiv.org/abs/2110.00115v1
Date: Thu, 30 Sep 2021 22:54:46 GMT
ステータス: 処理完了
システム内更新日: 2021-10-05 03:30:23.049461
Title: Comparing Sequential Forecasters
Title（参考訳）: 逐次予測器の比較
Authors: Yo Joong Choe and Aaditya Ramdas
Abstract要約: 我々は2つ以上の予測器が時間とともに一連の予測を行うと考えている。この研究は、統計的に厳密な方法でそれらを比較する方法を説明する。
参考スコア（独自算出の注目度）: 32.76405470953079
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We consider two or more forecasters each making a sequence of predictions over time and tackle the problem of how to compare them -- either online or post-hoc. In fields ranging from meteorology to sports, forecasters make predictions on different events or quantities over time, and this work describes how to compare them in a statistically rigorous manner. Specifically, we design a nonasymptotic sequential inference procedure for estimating the time-varying difference in forecast quality when using a relatively large class of scoring rules (bounded scores with a linear equivalent). The resulting confidence intervals can be continuously monitored and yield statistically valid comparisons at arbitrary data-dependent stopping times ("anytime-valid"); this is enabled by adapting recent variance-adaptive confidence sequences (CS) to our setting. In the spirit of Shafer and Vovk's game-theoretic probability, the coverage guarantees for our CSs are also distribution-free, in the sense that they make no distributional assumptions whatsoever on the forecasts or outcomes. Additionally, in contrast to a recent preprint by Henzi and Ziegel, we show how to sequentially test a weak null hypothesis about whether one forecaster outperforms another on average over time, by designing different e-processes that quantify the evidence at any stopping time. We examine the validity of our methods over their fixed-time and asymptotic counterparts in synthetic experiments and demonstrate their effectiveness in real-data settings, including comparing probability forecasts on Major League Baseball (MLB) games and comparing statistical postprocessing methods for ensemble weather forecasts.
Abstract（参考訳）: 2つ以上の予測者が時間とともに一連の予測を行い、それらをオンラインまたはポストホックに比較する方法の問題に取り組む。気象学からスポーツまで幅広い分野において、予測者は時間とともに異なる事象や量について予測を行い、統計学的に厳密な方法でそれらを比較する方法を説明する。具体的には,比較的大きなスコアリングルール(線形同値のバウンドスコア)を用いた場合の予測品質の時間変動差を推定するための非漸近的逐次推定手法を設計する。その結果得られる信頼区間は連続的に監視され、任意のデータ依存停止時間("anytime-valid")における統計的に妥当な比較結果が得られる。 Shafer と Vovk のゲーム理論的確率の精神では、予測や結果によらず分布的な仮定をしないという意味で、CS のカバレッジ保証も分布自由である。さらに、Henzi と Ziegel による最近の事前プリントとは対照的に、ある予測器が平均的に他の予測器よりも優れているかどうかについて弱いヌル仮説を逐次テストする方法を示し、任意の停止時間で証拠を定量化する異なる電子プロセスを設計する。本手法は, 総合実験における固定時間および漸近的な結果に対する妥当性を検証し, メジャーリーグ野球(mlb)試合の確率予測の比較, アンサンブル気象予報のための統計的後処理法の比較など, 実データ環境での有効性を実証する。

関連論文リスト

Distribution-Free Conformal Joint Prediction Regions for Neural Marked Temporal Point Processes [4.324839843326325]
我々は、共形予測の枠組みを用いて、ニューラルTPPモデルにおける不確実性に対するより信頼性の高い手法を開発した。主な目的は、イベントの到着時刻とマークに対する分布自由な共同予測領域を生成し、有限サンプルの限界カバレッジを保証することである。
論文参考訳（メタデータ） (2024-01-09T15:28:29Z)
Early-Exit Neural Networks with Nested Prediction Sets [26.618810100134862]
アーリーエグジットニューラルネットワーク(EENN)は、フォワードパス中に複数のステージで予測を提供することで、適応的で効率的な推論を可能にする。共形予測や信頼できる集合といった標準的なベイズ的手法はEENNには適さない。時効性信頼シーケンス(AVCS)について検討する。これらのシーケンスは本質的にネストされており、EENNのシーケンシャルな予測に適している。
論文参考訳（メタデータ） (2023-11-10T08:38:18Z)
SMURF-THP: Score Matching-based UnceRtainty quantiFication for Transformer Hawkes Process [76.98721879039559]
SMURF-THPは,変圧器ホークス過程を学習し,予測の不確かさを定量化するスコアベース手法である。具体的には、SMURF-THPは、スコアマッチング目標に基づいて、イベントの到着時刻のスコア関数を学習する。我々は,イベントタイプ予測と到着時刻の不確実性定量化の両方において,広範な実験を行う。
論文参考訳（メタデータ） (2023-10-25T03:33:45Z)
Score Matching-based Pseudolikelihood Estimation of Neural Marked Spatio-Temporal Point Process with Uncertainty Quantification [59.81904428056924]
我々は、不確実な定量化を伴うmarkPsを学習するためのスコアMAtching推定器であるSMASHを紹介する。具体的には,スコアマッチングによるマークPsの擬似的類似度を推定することにより,正規化自由度を推定する。提案手法の優れた性能は、事象予測と不確実性定量化の両方において広範な実験によって実証される。
論文参考訳（メタデータ） (2023-10-25T02:37:51Z)
Streaming Motion Forecasting for Autonomous Driving [71.7468645504988]
ストリーミングデータにおける将来の軌跡を問うベンチマークを導入し,これを「ストリーミング予測」と呼ぶ。我々のベンチマークは本質的に、スナップショットベースのベンチマークでは見過ごされていない安全上の問題であるエージェントの消失と再出現を捉えている。我々は,任意のスナップショットベースの予測器をストリーミング予測器に適応させることのできる,"Predictive Streamer"と呼ばれるプラグアンドプレイメタアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-10-02T17:13:16Z)
Sequential Predictive Two-Sample and Independence Testing [114.4130718687858]
逐次的非パラメトリック2サンプルテストと独立テストの問題点について検討する。私たちは賭けによる(非パラメトリックな)テストの原則に基づいています。
論文参考訳（メタデータ） (2023-04-29T01:30:33Z)
Sequential Predictive Conformal Inference for Time Series [16.38369532102931]
逐次データ(例えば時系列)に対する分布自由共形予測アルゴリズムを提案する。具体的には,時系列データは交換不可能であり,既存の共形予測アルゴリズムでは適用できない性質を具体的に説明する。
論文参考訳（メタデータ） (2022-12-07T05:07:27Z)
How to Evaluate Uncertainty Estimates in Machine Learning for Regression? [1.4610038284393165]
両手法とも,不確実性評価の品質評価には深刻な欠陥があることが示唆された。第一に、どちらのアプローチも、予測の不確実性を共同で生み出す別個のコンポーネントを解き放つことはできない。第3に、予測間隔を直接テストする現在のアプローチには、さらなる欠陥がある。
論文参考訳（メタデータ） (2021-06-07T07:47:46Z)
Quantifying Uncertainty in Deep Spatiotemporal Forecasting [67.77102283276409]
本稿では,正規格子法とグラフ法という2種類の予測問題について述べる。我々はベイジアンおよび頻繁な視点からUQ法を解析し、統計的決定理論を通じて統一的な枠組みを提示する。実際の道路ネットワークのトラフィック、疫病、空気質予測タスクに関する広範な実験を通じて、異なるUQ手法の統計計算トレードオフを明らかにする。
論文参考訳（メタデータ） (2021-05-25T14:35:46Z)
Sequential Aggregation of Probabilistic Forecasts -- Applicaton to Wind Speed Ensemble Forecasts [0.0]
本稿では,段階的累積分布関数 (CDF) として発行される確率的予測の場合に対して,専門家の助言で予測理論を適応させる。本研究の第2の目的は,連続格付け確率スコア(CRPS)とJolliffe-Primoテストの2つの予測性能基準の利用を検討することである。
論文参考訳（メタデータ） (2020-05-07T15:07:43Z)
Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
論文参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。