論文の概要: Below what training size do deep tabular generators stop beating trivial baselines? A preregistered benchmark on a size ladder of clinical and standard datasets

• arxiv url: http://arxiv.org/abs/2610.03500v1
• Date: Fri, 02 Oct 2026 15:58:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.465312
• Title: Below what training size do deep tabular generators stop beating trivial baselines? A preregistered benchmark on a size ladder of clinical and standard datasets
• Title（参考訳）: ディープタブラジェネレータはどのトレーニングサイズで、自明なベースラインを叩くのをやめるのか?臨床および標準データセットのサイズラグに事前登録されたベンチマーク
• Abstract要約: 深層生成モデルは数万行のデータセットでベンチマークされる。 われわれは、この2つのレジームの分岐点を見つけるために、サイズ・ラダーのベンチマークを事前登録し実行した。 2.220 の結果ファイル、事前登録とそのハッシュ、およびそれらのファイルからすべての図形と番号を再生するコードはすべて公開されています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep tabular generative models are benchmarked on datasets with tens of thousands of rows; clinical datasets have hundreds. We preregistered and ran a size-ladder benchmark to find where the two regimes diverge: 8 public datasets subsampled from 200 to 20,000 training rows, seven generators (independent marginals, Gaussian copula, SMOTE, unconditional SMOTE, CTGAN, TVAE, TabDDPM) with a fixed 20-trial tuning budget and 5 evaluation seeds, plus 4 natively small clinical datasets at true size, for 2,220 committed runs in total. The primary metric is the AUROC of fixed classifiers trained on synthetic and tested on real data. In 23 of 24 (dataset, deep model) pairs no deep model ever beats the best trivial baseline by more than seed noise, at any training size we measured. The best baseline wins 40 of 49 (dataset, size) cells. Our preregistered prediction that the deep models' ranking would be unstable at small sizes is falsified: mean Kendall tau between adjacent rungs below 5,000 rows is 0.806, above our 0.8 threshold, and stability is highest at the smallest sizes rather than lowest. One caveat bounds all of this: in 81% of cells the gap between the top two methods is smaller than the variation between seeds. Finally, method rankings on natively small clinical datasets agree only moderately with rankings on subsampled large ones (mean tau 0.57 to 0.64), which questions whether a subsampled large dataset can stand in for a small one. All 2,220 result files, the preregistration and its hash, and the code that regenerates every figure and number from those files are public.
• Abstract（参考訳）: 深層表生成モデルは、数万行のデータセットでベンチマークされる。 8つのパブリックデータセットが200から20,000のトレーニング行にサブサンプリングされ、7つのジェネレータ(独立縁数、ガウシアンコプラ、SMOTE、無条件SMOTE、CTGAN、TVAE、TabDDPM)が固定された20件のチューニング予算と5つの評価シードを持ち、さらに4つのネイティブに2,220件の臨床データセットが真のサイズで実行された。 主要な計量は、実データで合成およびテストされた固定分類器のAUROCである。 24組中23組(データセット、ディープモデル)は、私たちが測定した任意のトレーニングサイズにおいて、シードノイズ以上の、最高の自明なベースラインを打ち負かさない。 最高のベースラインは49セル中40セル(データセット、サイズ)で勝利する。 5000行以下で隣接するラング間のケンドールタウは0.806以上であり、安定性は最低値よりも最小値よりも高い。 81%の細胞では、上位2つの方法の間のギャップは種子間の差異よりも小さい。 最後に、ネイティブに小さな臨床データセット上のメソッドランキングは、サブサンプリングされた大きなデータセット(すなわち、タウ0.57から0.64)のランキングと適度に一致している。 2.220 の結果ファイル、事前登録とそのハッシュ、およびそれらのファイルからすべての図形と番号を再生するコードはすべて公開されています。

関連論文リスト

• Open ultrasound foundation model for robust segmentation and clinical measurement across heterogeneous settings [66.3653308198376]
  SonoCorpusは、24の臨床応用と17の国にまたがる53のパブリックデータセットから、456,963のイメージと1,626,085のエキスパートマスクを統合するオープンリソースである。 SonoBaseは、事前にトレーニングされたインタラクティブセグメンテーション基盤モデルである。
  論文  参考訳（メタデータ） (2026-09-16T15:34:21Z)
• Scaling Laws for Classical Machine Learning on Tabular Data: A Benchmark Study [0.0]
  127人の大学院生が、それぞれ3つの割り当てられたデータセットに固定されたプロトコルを実行した。 6つのファミリーのうち5つのファミリーレベルの指数は、各ファミリーのクロスデータセット曲線とデータセットごとの指数とをほぼ同等に予測する。 また,N* がターゲット誤差 0.15 に達するための実用的なデータ要求表を作成した。
  論文  参考訳（メタデータ） (2026-07-23T23:45:09Z)
• TabPFN-2.5: Advancing the State of the Art in Tabular Foundation Models [76.52858476275865]
  TabPFN-2.5は5万のデータポイントと2,000の機能を持つデータセット用に構築されている。 チューニングされたツリーベースモデルとAutoGluon 1.4の精度を大幅に上回った。 生産用として,TabPFN-2.5を小型または木製アンサンブルに変換する新しい蒸留エンジンを導入する。
  論文  参考訳（メタデータ） (2025-11-11T18:57:15Z)
• scDrugMap: Benchmarking Large Foundation Models for Drug Response Prediction [5.058966163642362]
  scDrugMapはPythonのコマンドラインインターフェースと薬物反応予測のためのWebサーバを備えた統合フレームワークである。 scDrugMapは8つの単一セルモデルと2つの大きな言語モデルを含む、幅広い基礎モデルを評価する。 scDrugMapは、単一セルデータの薬物反応予測のための基礎モデルの大規模なベンチマークとして、初めてのものである。
  論文  参考訳（メタデータ） (2025-05-08T19:46:19Z)
• DataDecide: How to Predict Best Pretraining Data with Small Experiments [67.95896457895404]
  私たちはDataDecideのモデル、データ、評価を公開しています。 最大100Bトークン,最大1Bパラメータのモデルサイズ,および3つのランダムシードを用いて,25コーパスにわたる事前学習実験を行った。
  論文  参考訳（メタデータ） (2025-04-15T17:02:15Z)
• TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second [48.87527918630822]
  トレーニングされたトランスフォーマーであるTabPFNは、小さなデータセットの教師付き分類を1秒以内で行うことができる。 TabPFNはコンテキスト内学習(ICL)を行い、ラベル付きサンプルのシーケンスを使用して予測を行う。 提案手法は, 強化木よりも明らかに優れており, 230$times$ Speedupの複雑なAutoMLシステムと同等性能を示す。
  論文  参考訳（メタデータ） (2022-07-05T07:17:43Z)
• Automatic sleep stage classification with deep residual networks in a mixed-cohort setting [63.52264764099532]
  我々は,大規模コホートの一般化性を評価するために,新しいディープニューラルネットワークモデルを開発した。 総合的な分類精度はトレーニングデータの分数を増やして向上した。
  論文  参考訳（メタデータ） (2020-08-21T10:48:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。