論文の概要: Evaluation Choices Decide the Forecasting Leaderboard: Evidence from a Production Marketplace Panel
- arxiv url: http://arxiv.org/abs/2609.27867v1
- Date: Thu, 20 Aug 2026 12:38:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.99826
- Title: Evaluation Choices Decide the Forecasting Leaderboard: Evidence from a Production Marketplace Panel
- Title（参考訳）: 評価は予測的リーダーボードを決定する - 生産市場パネルからの証拠
- Abstract要約: 我々は,2025年代の時系列基礎モデルを含む24の予測手法と1つの教科書参照をベンチマークした。
我々は、データ、地平線、期間を固定し、評価設計だけを変える。
3つの選択はそれぞれ、見出しの結論を逆転または解消する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A forecasting benchmark reports which method won. We show that the answer is set by the evaluator's choices before any model is fitted. We benchmark 24 forecasting methods and one textbook reference, including six 2025-era time series foundation models, on a production marketplace panel of 1,887 business customers over 67 months. We hold the data, the horizon and the period fixed, and vary only the evaluation design. Three choices each reverse or dissolve a headline conclusion. Changing the unit of analysis from the market total to the individual customer moves our production baseline from second of nineteen, beaten by nothing, to twenty-third of twenty-five. Nineteen of its twenty-four challengers beat it there. Changing how much error is pooled decides whether a Diebold-Mariano test finds anything at all. Scoring prediction intervals rather than point forecasts reorders the field almost completely, with a rank correlation of 0.02 on intermittent demand. We then measure what the deployed system gets from this. Its selection rule captures 55% of the distance between doing nothing and choosing with hindsight. The reversal is not a quirk of our data. We ran the released protocol, unchanged, on the public M5 retail panel. The same baseline shape places first at the market total and last per series, beaten by everything, and a replayed selection rule closes 64.7% of the same floor-to-ceiling distance there. Adding five zero-shot foundation models to that roster changes who wins at the total, not the shape. The bands' blind spot travels too: conformal bands under-cover most on the spikiest items. Splitting our own panel into ever smaller groups turns the contrast into a curve: the baseline's rank worsens at every level of disaggregation. We release the evaluation protocol and report an error of our own that inverted a result before we caught it.
- Abstract（参考訳）: 予測ベンチマークは、どのメソッドが勝ったかを報告します。
任意のモデルが適合する前に,評価者の選択によって解が設定されることを示す。
67ヶ月のビジネス顧客1,887社の生産市場パネルにおいて,24の予測手法と6つの2025年代時系列基盤モデルを含む1つの教科書参照をベンチマークした。
我々は、データ、地平線、期間を固定し、評価設計だけを変える。
3つの選択はそれぞれ、見出しの結論を逆転または解消する。
分析単位を市場から個々の顧客へ変更することで、生産ベースラインを19分の1から25分の2に、無に打ち負かされ、25分の2に移行させます。
23人の挑戦者のうち19人が打ち負かした。
どれだけのエラーがプールされているかを変えると、Diebold-Marianoテストで何も見つからないかどうかが決定される。
点予測よりも予測間隔のスコア付けは、間欠的な需要に対して0.02のランク相関で、ほぼ完全にフィールドを並べ替える。
そして、デプロイされたシステムがこれから何を得るかを測定する。
その選択規則は、何もしないことと後方視で選ぶことの間の距離の55%を捉えている。
逆転は私たちのデータには当てはまらない。
私たちは公開のM5リテールパネルでリリース済みのプロトコルを実行しました。
同じベースラインの形状は、先ず市場全体で、最後に全てに打ち負かされ、同じフロア・ツー・シーリング距離の64.7%がリプレイされる。
ゼロショットのファンデーションモデルが5つ加わったことで、総当たりの勝利者も、その形ではなく変わっていく。
バンドの盲点も旅し、コンフォーマルなバンドは最もスパイクなアイテムのほとんどを覆い隠している。
パネルをもっと小さなグループに分割すると、コントラストは曲線に変わります。
我々は評価プロトコルを公開し、それを見つける前に結果が逆転した自分自身のエラーを報告します。
関連論文リスト
- Augur: A Synthetic Decision Lab for Rehearsing Reactions to Product and Policy Changes [0.0]
Augurは、人々が製品やポリシーにどう反応するかを、オフラインでリハーサルする。
変更文書からタイプドナレッジグラフを構築し、接地されたペルソナ市場をポップアップさせ、インタラクションをシミュレートし、監査可能な決定メモを返す。
我々は、50の製品とポリシーのエピソードに対する5方向のリリース評価をスコア付けします。
論文 参考訳（メタデータ） (2026-09-24T15:10:29Z) - A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction [45.496856835431885]
3D再構成モデルは、下流システムが信頼性信号として読み取る画素当たりの信頼を出力する。
4つの特性に対する信頼度、エラーのランク付けの正確さ、そのレベルが平均的に正しいかどうか、信頼範囲を越えて保持されているかどうか、そしてその間隔が真実をカバーしているかどうか。
信頼度は誤差をよくランク付けするが、予測された不確実性は、トレーニングの正確さではない条件下で読み取られると低すぎる。
論文 参考訳（メタデータ） (2026-08-30T10:21:34Z) - Whose Gold? Annotator-Pool Disagreement Is Large at the Item Level, and Hidden by Small Leaderboards [0.0]
評価ベンチマークはアノテータの採用によって構築され、それらのアノテータの同一性は実装の詳細として扱われる。
2,885件のMultiPrefアイテムには、両方のプールが全会一致で配置されているため、ネクタイ破りのコンベンションは一切ない。
しかし、両方のコーパスでは、結果のモデルリーダーボードはビット識別される: Kendall tau = 1.00 で、6つのモデルのうちゼロが置き換えられる。
論文 参考訳（メタデータ） (2026-08-17T00:19:52Z) - Gated Against One Model, Open to the Next: Option-Only Solvability in Legal Multiple-Choice Benchmarks [0.0]
複数選択のベンチマークは、モデルが正しい選択肢を選ぶかどうか、質問が必要なかどうかで評価される。
UA-JudgeExam: 11,990件の4つのオプション項目を公式キーで測定し、ウクライナの高等審査委員会(Higher Qualification Commission of Judges)が公表した。
11.8%のアイテムは、偶然に予想される0.2項目に対して、8つのオプションのすべてで盲目で答えられる。
論文 参考訳（メタデータ） (2026-08-15T22:11:00Z) - Explaining AI-Image Detection: What the Heatmap Actually Shows [65.01025489527173]
私たちは検出器を構築し、その証拠として属性マップを添付します。
私たちは、そのペアがコントロール下の186,527のイメージにもたらすものを測定します。
属性ランキングが存在するかどうかは、検出器が画像に反応するかどうかに依存する。
論文 参考訳（メタデータ） (2026-07-31T16:07:05Z) - DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。
一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
論文 参考訳（メタデータ） (2026-07-31T05:34:02Z) - FIFA World Cup 2026 as a Contamination-Free Benchmark for LLM Forecasting Agents: Four Models, a Bookmaker, and 104 Matches [2.8722431362974077]
大規模言語モデル(LLM)を評価するためのベンチマークとデータセットであるWC2026-Agentsを紹介する。
2026 FIFAワールドカップの104試合ごとに、4つのフロンティアモデルが同一のサーチ・アクト・リフレクト・ループを実行した。
4人のエージェントを、同じ情報環境から引き出された5番目の競合相手と組み合わせます。
論文 参考訳（メタデータ） (2026-07-20T10:00:11Z) - Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳（メタデータ） (2026-07-19T22:27:00Z) - Interaction Scaling: Grounding the Third Axis of Test-Time Compute [0.33451037881913753]
一つの変数がこの第3の軸を接地として支配し、ループの両側に保持しなければならないと論じる。
固定トークン予算でのハードコーディングタスクでは、推論のみとベストオブNの両方をサンプリングする。
提案手法は, ラン・ツー・ラン分散を伴わず, 100%パスレートに到達した。
論文 参考訳（メタデータ） (2026-07-13T14:22:06Z) - The Fourth Monocular Depth Estimation Challenge [100.38910331027051]
本報告では, 単眼深度推定チャレンジ(MDEC)の第4版の結果について述べる。
SynS-Patchesベンチマークへのゼロショットの一般化に焦点を当てており、自然環境と屋内環境の両方で挑戦的な環境を特徴とするデータセットである。
この挑戦は合計24件の応募を受け、テストセットのベースラインを上回りました。
優勝者は3D F-Scoreを22.58%から23.05%に引き上げた。
論文 参考訳（メタデータ） (2025-04-24T17:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。