論文の概要: Quantifying Protocol-Induced Uncertainty in Comparative Predictive-Model Evaluation: Evidence from Large-Scale Daily PM10 Forecasting
- arxiv url: http://arxiv.org/abs/2609.26288v1
- Date: Wed, 26 Aug 2026 02:33:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.955947
- Title: Quantifying Protocol-Induced Uncertainty in Comparative Predictive-Model Evaluation: Evidence from Large-Scale Daily PM10 Forecasting
- Title（参考訳）: 比較予測モデル評価におけるプロトコル誘起不確かさの定量化:大規模日毎PM10予測による証拠
- Abstract要約: 本稿では,プロトコルの切り換えによるランクのずれと,固定されたプロトコル内での従来の選択によるずれを比較検討する枠組みを提案する。
これらの効果を,Protocol Sensitivity Score(PSS)とProtocol内リファレンスを用いて定量化する。
これらの結果は,モデル選択の結論が正当性評価の選択に依存していることを示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Comparative studies of predictive models often end by ranking candidate models, yet these rankings depend on evaluation protocols whose influence is rarely treated as a source of uncertainty. We formalize this problem as protocol-induced ranking uncertainty and introduce a framework that compares ranking displacement caused by switching protocols with displacement produced by conventional choices within a fixed protocol. We quantify these effects using the Protocol Sensitivity Score (PSS) and a full-refit intraprotocol reference. We validate the framework in a large-scale sequential prediction study of daily PM10. Static-split and rolling-origin evaluation are compared across 425 European background stations and 365 US EPA monitors. Switching protocols produces mean PSS values of 0.801 and 0.772 and changes the selected model at 35.3% and 31.5% of stations, respectively. In Europe, intraprotocol perturbations with identical scored targets produce PSS values of 0.072 and 0.230, with winner-swap rates of 0.8% and 4.9%. Between-protocol displacement is therefore substantially larger than the selected within-protocol references. Expanding the candidate set from three to nine models increases the between-protocol winner-swap rate to 60.2% in Europe. The pattern also persists under a frozen protocol applied to held-out background and non-background stations. These results show that model-selection conclusions can depend materially on legitimate evaluation choices. We recommend reporting ranking stability under a small set of defensible intraprotocol perturbations alongside claims of model superiority.
- Abstract（参考訳）: 予測モデルの比較研究は、しばしばランキング候補モデルによって終わるが、これらのランキングは、不確実性の原因として扱われることがほとんどない評価プロトコルに依存している。
本稿では,この問題をプロトコルによるランキングの不確実性として定式化するとともに,プロトコルの切り替えに伴うランキングのずれと,固定されたプロトコル内での従来の選択による変位とを比較する枠組みを提案する。
これらの効果を,Protocol Sensitivity Score(PSS)とProtocol内リファレンスを用いて定量化する。
本研究では,日常PM10の大規模連続予測実験において,その枠組みを検証した。
スタティック・スプリットとローリング・オリジンの評価は、ヨーロッパの425のバックグラウンドステーションと365のEPAモニターで比較される。
スイッチングプロトコルは平均PSS値0.801と0.772を生成し、それぞれ35.3%と31.5%で選択されたモデルを変更する。
ヨーロッパでは、同じ目標のプロトコール内摂動は0.072と0.230のPSS値を生成し、勝者のスワップ率は0.8%と4.9%である。
したがって、プロトコール間の変位は、選択されたプロトコール内部参照よりもかなり大きい。
3つのモデルから9つのモデルに候補を拡大すると、ヨーロッパにおける勝者-スワップ間の比率は60.2%に上昇する。
このパターンは、ホールドアウトバックグラウンドや非バックグラウンドステーションに適用されるフリーズプロトコルの下でも持続する。
これらの結果は,モデル選択の結論が正当性評価の選択に依存していることを示している。
モデル優越性の主張と並行して,少数のプロトコール内摂動の下でのランク安定性の報告を推奨する。
関連論文リスト
- Peer-Voted LLM-Agent Stress Tests Find Feed-Induced Lexical Convergence but No Reliable Matched-Exposure Advantage for Distributed Sources [0.013714053458441644]
ピア投票型ソーシャルプラットフォームテストベッドであるPV-SSTを紹介する。
実験は448の試験と112の完全なモデル・バイ・トピック・バイ・シードブロックで構成されている。
論文 参考訳（メタデータ） (2026-08-20T12:01:19Z) - Auditing Medical Vision-Language Models on Chest Radiographs: Estimating Reference Agreement Across Institutions [6.575315179481716]
視覚言語モデルでは、信頼スコアを示さないインターフェースを通して、構造化胸部画像像を返却する。
胸部X線写真コーパスを用いた3つの生成視覚言語モデルについて検討した。
論文 参考訳（メタデータ） (2026-08-01T16:18:59Z) - LeNEPA: No-Augmentation Next-Latent Prediction for Time-Series Representation Learning [59.34593956287438]
我々は,事前学習信号ファミリーが変化した後,メソッド固有の構成が再利用されない場合にSSLレシピがどのように振る舞うかを検討する。
我々は遅延ユークリッド次世代予測アーキテクチャ(LeNEPA)を紹介する。
LeNEPAは、バニラNEPAが使用する停止段階/EMA安定化をSIGRegベースのイソトロピー正則化に置き換える。
論文 参考訳（メタデータ） (2026-07-01T13:56:21Z) - Preserving Disagreement: Architectural Heterogeneity and Coherence Validation in Multi-Agent Policy Simulation [0.0]
政策シミュレーションにおいて,大規模言語モデル(LLM)を用いたマルチエージェント検討システムの提案が進んでいる。
評価エージェントは、割り当てられた値の観点に関わらず、同じ選択肢に収束する。
我々は、三段階の審議フレームワークであるAI Councilを提示し、2つの介入をテストするための2つの政策シナリオにわたる120の審議を行う。
論文 参考訳（メタデータ） (2026-04-29T11:47:28Z) - Quantifying Ranking Instability Across Evaluation Protocol Axes in Gene Regulatory Network Benchmarking [0.0]
4つのプロトコル軸間のペアワイズ反転率を定量化する。
置換ヌルは、観測された逆数率がランダムな順序予測よりもはるかに低いことを確認する。
分析の結果,逆転は基本レートのインフレーションではなく,手法の相対的差別能力の変化によって引き起こされることが明らかとなった。
論文 参考訳（メタデータ） (2026-03-03T20:09:59Z) - DeliberationBench: When Do More Voices Hurt? A Controlled Study of Multi-LLM Deliberation Protocols [0.0]
大規模言語モデルがコンセンサスを意図的に形成するマルチエージェントシステムは大きな注目を集めている。
3つの検討プロトコルを評価するベンチマークであるDELIBERATIONBENCHを紹介する。
ベストシングルベースラインは82.5%+-3.3%の勝利率を獲得し、最高の熟考プロトコルを劇的に上回っている。
論文 参考訳（メタデータ） (2025-12-14T10:29:55Z) - Practical Improvements of A/B Testing with Off-Policy Estimation [51.25970890274447]
従来の手法よりも分散度を低くする非バイアスのオフ・ポリティクス推定器のファミリーを導入する。
提案手法の有効性と実用性を理論的に検証した。
論文 参考訳（メタデータ） (2025-06-12T13:11:01Z) - Evaluating Perceptual Distance Models by Fitting Binomial Distributions to Two-Alternative Forced Choice Data [43.714290271351466]
本稿では,二項決定モデルに最大推定値を適用し,より頑健な距離モデル評価手法を提案する。
提案手法は2つの2AFC PFデータセット上での様々な視覚距離モデルの評価から, 簡便さ, 可視性, 柔軟性, 計算効率が優れていることを示す。
論文 参考訳（メタデータ） (2024-03-15T15:21:04Z) - Forecast reconciliation for vaccine supply chain optimization [61.13962963550403]
ワクチンサプライチェーン最適化は階層的な時系列予測の恩恵を受けることができる。
異なる階層レベルの予測は、上位レベルの予測が下位レベルの予測の総和と一致しないときに不整合となる。
我々は2010年から2021年にかけてのGSKの販売データを階層的時系列としてモデル化し,ワクチン販売予測問題に取り組む。
論文 参考訳（メタデータ） (2023-05-02T14:34:34Z) - OpenKBP-Opt: An international and reproducible evaluation of 76
knowledge-based planning pipelines [48.547200649819615]
放射線治療における知識ベース計画(KBP)のための計画最適化モデルを開発するためのオープンフレームワークを構築した。
当フレームワークは, 頭頸部癌100例の基準計画と, 19KBPモデルによる高用量予測を含む。
論文 参考訳（メタデータ） (2022-02-16T19:18:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。