論文の概要: On Hyperparameter Tuning on the Test Set
- arxiv url: http://arxiv.org/abs/2610.05902v1
- Date: Mon, 05 Oct 2026 07:21:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 03:19:15.31335
- Title: On Hyperparameter Tuning on the Test Set
- Title（参考訳）: テストセットのハイパーパラメータチューニングについて
- Abstract要約: 「テストセットにハイパーパラメータをチューニングするな」と機械学習の教科書でしばしば述べられている。
効果は実効性があり重要であるが,他のノイズ源と比較して小さい場合が多い。
最も重要なことは、テストセットをチューニングした後も、モデルランキングが本質的に保存されていることです。
- 参考スコア（独自算出の注目度）: 10.653571804518599
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: "Don't tune hyperparameters on the test set" is often stated in machine learning textbooks. Violating it is considered a cardinal sin that produces misleadingly optimistic results, corrupts benchmark integrity, and thus can even be interpreted as scientific fraud. Yet evidence suggests that test set hyperparameter tuning does occur in practice, making it all the more important to understand its actual consequences. So how bad is it, really? In this work we question this dogma and put it to an empirical test. We systematically study the magnitude of the performance inflation caused by tuning the hyperparameters on the test set for MNIST-1D, CIFAR-10, and three tasks from the GLUE benchmark. Our experiments show that while the effect is real and significant, it is frequently small relative to other sources of noise. In many cases, we find that tuning on the test set recovers exactly the same model as when tuning on the validation set. Most importantly, we find that the rankings of models remain essentially preserved after tuning on the test set and therefore that consistent test-set tuning may not invalidate benchmarks or model selection. Our results call for a more nuanced view of tuning hyperparameters on the test set, stimulating researchers to openly report test tuning.
- Abstract（参考訳）: 「テストセットでハイパーパラメータをチューニングするな」と機械学習の教科書でしばしば述べられている。
不正行為は、誤解を招くほど楽観的な結果を生み出し、ベンチマークの整合性を損なう中心的な罪であると考えられており、科学的な詐欺とも解釈できる。
しかし証拠は、テストセットのハイパーパラメータチューニングが実際に発生し、実際の結果を理解することがより重要であることを示唆している。
では、どのくらい悪いのか?
この研究では、このドグマに疑問を呈し、経験的なテストに当てはめます。
MNIST-1D, CIFAR-10, GLUEベンチマークの3つのテストセット上で, ハイパーパラメータの調整による性能インフレーションの大きさを系統的に検討した。
実験の結果,効果は実効性が高く,他のノイズ源と比較して小さいことが判明した。
多くの場合、テストセットのチューニングは検証セットのチューニングとまったく同じモデルを復元する。
最も重要なことは、テストセットをチューニングした後もモデルランキングは基本的に保存されているため、一貫したテストセットチューニングがベンチマークやモデル選択を無効にしない可能性があることである。
実験結果から,テストセット上でのハイパーパラメータのチューニングについて,より微妙な視点を求めるとともに,テストチューニングをオープンに報告するよう研究者に促した。
関連論文リスト
- ROC-n-reroll: How verifier imperfection affects test-time scaling [23.16719763215363]
テストタイムスケーリングは、推論中に追加の計算を活用することで、言語モデルのパフォーマンスを向上させることを目的としている。
BoNとRSは、テストタイムのスケーリングを可能にする検証器を使用するテクニックである。
これらの手法のインスタンスレベルの精度は, 検証器のROC曲線の幾何学的に特徴付けられる。
論文 参考訳（メタデータ） (2025-07-16T16:44:29Z) - Sequential Kernelized Independence Testing [77.237958592189]
我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。
シミュレーションデータと実データの両方にアプローチのパワーを実証する。
論文 参考訳（メタデータ） (2022-12-14T18:08:42Z) - Validation tests of GBS quantum computers give evidence for quantum
advantage with a decoherent target [62.997667081978825]
複数モードデータの検証に指紋としてグループカウント確率の正P位相空間シミュレーションを用いる。
偽データを解き放つ方法を示し、これを古典的なカウントアルゴリズムに適用する。
論文 参考訳（メタデータ） (2022-11-07T12:00:45Z) - Exploring Robustness of Prefix Tuning in Noisy Data: A Case Study in
Financial Sentiment Analysis [0.0]
ノイズデータに直面する場合,ファインチューニングはプレフィックスチューニングよりもノイズに強いことを示す。
我々は,現在最先端のプレフィックスチューニング手法をノイズデータに適用する場合,注意が必要であることを強く主張する。
論文 参考訳（メタデータ） (2022-10-26T01:13:41Z) - Noisy Adaptive Group Testing using Bayesian Sequential Experimental
Design [63.48989885374238]
病気の感染頻度が低い場合、Dorfman氏は80年前に、人のテストグループは個人でテストするよりも効率が良いことを示した。
本研究の目的は,ノイズの多い環境で動作可能な新しいグループテストアルゴリズムを提案することである。
論文 参考訳（メタデータ） (2020-04-26T23:41:33Z) - Rethinking the Hyperparameters for Fine-tuning [78.15505286781293]
事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクのデファクトスタンダードとなっている。
ファインチューニングの現在のプラクティスは、通常、ハイパーパラメータのアドホックな選択を選択することである。
本稿では、微調整のためのハイパーパラメータの設定に関するいくつかの一般的なプラクティスを再検討する。
論文 参考訳（メタデータ） (2020-02-19T18:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。