論文の概要: Winning by Peeking: Unenforced Budgets and Test-Set Selection Inflate Short-Budget AutoML Comparisons

• arxiv url: http://arxiv.org/abs/2608.07303v1
• Date: Fri, 07 Aug 2026 15:00:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.537193
• Title: Winning by Peeking: Unenforced Budgets and Test-Set Selection Inflate Short-Budget AutoML Comparisons
• Title（参考訳）: Peekingによる勝利: 未強化予算とテストセット選択が短予算オートML比較に影響を及ぼす
• Abstract要約: 簡単なAutoMLエンジンであるOrcetraが513のOpenMLデータセットでFLAMLとAutoGluonに勝っているというケーススタディを報告する。 両方のマージンは、結果テーブルに表示できないプロトコルの欠陥から来ています。
• 参考スコア（独自算出の注目度）: 4.156551823302787
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Comparisons between AutoML systems at short time budgets -- tens of seconds rather than hours -- are common in tool READMEs and workshop papers, and they are easy to get wrong. We report a case study in which a simple AutoML engine, Orcetra, appeared to beat FLAML and AutoGluon on 513 OpenML datasets, winning 57.1% of them at a nominal 60-second budget and 78.4% of datasets against FLAML alone at 30 seconds. Both margins came from protocol defects that a results table cannot show. The search loop scored every candidate on the test split and reported the best, making the headline metric a maximum over dozens of noisy estimates while the baselines selected on training data and touched the test set once; and the budget was checked before launching a candidate but never enforced during one, so the system consumed a median of 120 s against a 60-second budget, 2.24x the wall-clock AutoGluon used. Re-running with selection moved to a validation split, the deadline enforced externally and every framework pinned to an equal share of the machine, Orcetra's win rate on the re-run subset falls from 59.4% to 34.3% and no pairwise difference against either competitor remains significant. Recording both estimands inside a single search lets us attribute the collapse: the selection rule accounts for 4.8 percentage points and unequal compute for most of the rest. The same traces give the selection bias as a function of budget, measured rather than assumed: it grows with $K$ but reaches only 0.27 accuracy points, about five times below the $σ\sqrt{2\ln K}$ bound a marginal-standard-error argument predicts, because candidates scored on shared test rows cancel most of the noise. We close with a checklist for short-budget comparisons. Code, per-dataset results and the scripts that regenerate every number and figure in the paper are released with it.
• Abstract（参考訳）: 短時間の予算(時間ではなく数秒)でのAutoMLシステムの比較は、ツールのREADMEやワークショップの論文で一般的であり、間違いを犯すのは容易です。 我々は、単純なAutoMLエンジンであるOrcetraが513のOpenMLデータセットでFLAMLとAutoGluonを破り、57.1%が名目上の60秒予算で、78.4%がFLAMLに対して30秒で勝利したケーススタディを報告した。 両方のマージンは、結果テーブルに表示できないプロトコルの欠陥から来ています。 サーチループは試験の全ての候補をスコア付けしてベストを報告し、ヘッドラインの基準値が数十以上のノイズ推定値にし、トレーニングデータで選択されたベースラインが一度テストセットに触れ、予算は候補の立ち上げ前にチェックされたが、その間に実施されなかったため、システムは60秒の予算に対して120秒の中央値、そして2.24倍のオートグルーオンを使用していた。 選択による再実行は検証の分割に移行し、期限は外部から強制され、全てのフレームワークはマシンの均等なシェアに固定され、再実行サブセットでのOrcetraの勝利率は59.4%から34.3%に低下し、どちらの競合とも対等に差はない。 一つの検索で両方の推定値を記録すると、この崩壊を原因とすることができる。選択ルールは4.8ポイント、残りのほとんどは不等値計算である。 K$で成長するが、精度は0.27ポイントにしか達せず、σ\sqrt{2\ln K}$より5倍も低い。 短期予算比較のチェックリストに近づいた。 コード、データセット毎の結果、および論文のすべての数字と図形を再生するスクリプトは、それと共にリリースされます。

関連論文リスト

• Cadence: Error-Bounded Lossy Compression of Demand Time Series with a Time-Series Foundation Model [0.0]
  Cadenceは、数値時系列のエラーバウンド損失圧縮機である。 330Mシリーズの基礎モデルと適応型算術コーダを組み合わせている。
  論文  参考訳（メタデータ） (2026-09-05T10:25:09Z)
• Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
  クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。 反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
  論文  参考訳（メタデータ） (2026-09-02T08:10:22Z)
• KONTOGRAPH: Verified Point-in-Time Feature Consistency and Amortised Explanation for Real-Time Anti-Money Laundering under a 200 ms Decision Budget [0.0]
  EU(EU)2024/886は、欧州の決済サービスプロバイダに対し、ユーロの送金を10秒以内で停止するよう義務付けている。 これにより、アンチマネーロンダリング(AML)分析が伝統的に実行されていた一晩のバッチウィンドウと、リカバリを可能にする解決遅延の両方が削除される。 我々は,自称200ミリ秒99セントの予算で構築されたSEPA Instant鉄道用エンドツーエンドAMLパイプラインであるKONTOGRAPHを提示する。
  論文  参考訳（メタデータ） (2026-08-23T12:28:26Z)
• LatticeMind: A Conflict-Aware Memory Primitive for Multi-Agent Systems [25.528721794297713]
  本稿では,書き込み時の矛盾を処理するコンフリクト対応構造化メモリLatticeMindについて述べる。 明確な項目のステータスを維持し、シンボルの競合チェックを安価に適用し、未解決のセマンティックケースに対してのみLCM和解を実行する。 LatticeMindは4つのうち3つで単純なマージを破るが、反復検索に報いるタスクの熟考方法を置き換えるものではない。
  論文  参考訳（メタデータ） (2026-08-08T17:05:08Z)
• CoBa: Cost-Effective Test-Time Scaling via Compute-Balanced Routing [15.829191594065888]
  本稿では,次の計算単位が生成,検証,停止に費やされるべきかどうかをシステムが決定しなければならない計算割当問題として,テスト時間推論を定式化する。 計算バランスの取れたルーティングポリシであるCoBaを導入し、まず少数の候補を最初に獲得し、より安価な検証を広く適用し、不確実性や高価値な候補をルートしてより強力な検証を行う。
  論文  参考訳（メタデータ） (2026-08-07T17:12:13Z)
• When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
  CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。 CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
  論文  参考訳（メタデータ） (2026-08-04T11:45:46Z)
• One Human, $N$ Agents: Audit-Budget Allocation for LLM Agent Fleets under Miscalibrated, Correlated Confidence [41.99844472131922]
  一人の人間が1ラウンド当たり$N$ LLMエージェントを予算$B ll N$監査で監査しなければならない。 我々はこれを、2段階のガウス的コーパスに対する予算付きノイズ検査としてモデル化し、信頼度の高い監査がランダムである場合の誤校正しきい値($*$過去)を特定する。
  論文  参考訳（メタデータ） (2026-07-30T14:52:36Z)
• Rehearse: Stepping Back from the Confidence Cliff in Self-Improving Autoresearch [44.05969616406614]
  Autoresearchは、変更を提案し、フルトレーニングジョブを実行し、メトリックを改善する変更を維持することによって、マシンラーニングコードを改善する。 本研究では,この事前執行判断の信頼性が,自動検索の軌道上でどのように変化するかを検討する。
  論文  参考訳（メタデータ） (2026-07-30T05:08:15Z)
• Adversarial Test-Hardening for AI-Written Code: An Instrument Autopsy and a Pre-Registered Causal Estimate of the Critic Loop [0.0]
  メカニカルオラクル下での対向試験硬化ループについて検討した。 テスタモデルはテストを書き、変異テスト名は生き残った欠陥を注入し、Cryticモデルはテストを書き、それらを正確に実行します。 私たちは、すべてのレシートと分析コードの両方のプロトコルをリリースします。
  論文  参考訳（メタデータ） (2026-07-25T02:38:07Z)
• Do LLM Attribution Metrics Transfer? Auditing Retrieval-Augmented Generation Evaluation Across Datasets and Constructs [11.997694190254974]
  しばしば、帰属のための自動メトリクスを交換可能なものとして扱う。 3つの評価項目にまたがって8つの自動スコアを監査する。 評価器を選択するための単純な"best-on-average"ルールは、そのままのデータセットアウトに失敗する。
  論文  参考訳（メタデータ） (2026-06-22T20:25:36Z)
• Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
  Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。 本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。 Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
  論文  参考訳（メタデータ） (2026-06-01T04:43:36Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• BiAxisAudit: A Novel Framework to Evaluate LLM Bias Across Prompt Sensitivity and Response-Layer Divergence [22.315546054051143]
  大規模言語モデルのバイアス監査は、EU AI Actなどのガバナンスフレームワーク内で運用されている。 このプロトコルでは、各バイアススコアを2つの軸上での信頼性推定とともに報告する。
  論文  参考訳（メタデータ） (2026-05-09T16:26:49Z)
• More Test-Time Compute Can Hurt: Overestimation Bias in LLM Beam Search [40.90281862767655]
  本稿では、雑音の多いスコアラー出力に対するビーム選択に基づいて、エクストリーム値理論に基づく分析を行う。 我々は,探索性能を劣化させる最大ビーム幅$hatk$を導出する。 本分析では,ビーム幅選択を規定する鍵量として,スコアの信号対雑音比を同定する。
  論文  参考訳（メタデータ） (2026-03-16T14:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。