論文の概要: On Data Scaling in Tabular ML: More Data, Better Generalization?

• arxiv url: http://arxiv.org/abs/2610.26794v1
• Date: Mon, 19 Oct 2026 17:40:30 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-21 06:55:50.448795
• Title: On Data Scaling in Tabular ML: More Data, Better Generalization?
• Title（参考訳）: タブラルMLにおけるデータスケーリングについて: さらなるデータ、より良い一般化か?
• Abstract要約: トレーニングデータのスケーリングを、最大1000万のトレーニング例で研究しています。 GBDTとベースモデルは、トレーニングデータの追加とアルゴリズムによる改善の両方で、広く似たスケーリング傾向を示していることが分かりました。 また、パイプラインにおけるモデル選択に使用する検証データと、コンテキスト内適合に使用する検証データとを比較した。
• 参考スコア（独自算出の注目度）: 23.172092178374324
• License:
• Abstract: Recent work in tabular machine learning has emphasized the importance of diverse and realistic evaluation settings. The niche of large-scale (1M+) data, however, remains under-explored. To study training-data scaling, we assemble eight real-world tabular datasets with up to around ten million training examples, retaining the natural distribution shifts of the tasks and using random-split evaluation as a control. We find that GBDTs and MLP-based models show broadly similar scaling trends, with gains from both additional training data and algorithmic improvements. Tabular foundation models show more varied scaling behavior, with recent versions benefiting more consistently from larger contexts even under distribution shift. However, scaling training data under distribution shift introduces new challenges: in-distribution and out-of-distribution performance mostly improve together at smaller scales but can diverge at larger scales. We examine this through MLP capacity sweeps and comparisons of the validation distributions used for tuning and early stopping in MLPs and GBDTs. We also compare common practices of using validation data, contrasting its use for model selection in MLP pipelines with using it for in-context fitting in tabular foundation model pipelines. Under stronger shifts, MLPs selected using validation representative of the evaluation conditions generally maintain or improve performance as training data grows. In contrast, including such examples in context improves foundation-model performance, but does not prevent deterioration with increasing training size in our experiments.
• Abstract（参考訳）: 表型機械学習における最近の研究は、多様で現実的な評価設定の重要性を強調している。 しかし、大規模な(1M+)データのニッチは未調査のままである。 トレーニングデータスケーリングを研究するために、最大1000万のトレーニング例を持つ8つの実世界の表グラフデータセットを組み立て、タスクの自然な分散シフトを維持し、ランダムスプリット評価を制御として使用する。 GBDT と MLP ベースのモデルでは,トレーニングデータの追加とアルゴリズム的改善の両面から,スケーリングの傾向がほぼ同じであることがわかった。 タブラル基礎モデルは、より多様なスケーリング行動を示し、最近のバージョンは、分散シフトの下でも、より大きなコンテキストからより一貫した恩恵を受ける。 しかし、分散シフト下でのトレーニングデータのスケーリングには新たな課題が伴う。 MLPのキャパシティスイープと,MLPおよびGBDTのチューニングと早期停止に使用されるバリデーション分布の比較を行った。 また,MLPパイプラインのモデル選択に使用する検証データと,表層基礎モデルパイプラインのコンテキスト内適合に使用する検証データとを比較した。 より強いシフトの下で、評価条件の検証代表を用いて選択されたMLPは、トレーニングデータが増加するにつれて、一般に性能を維持または改善する。 対照的に、このような文脈での例を含むと基礎モデルの性能は向上するが、我々の実験ではトレーニングサイズの増加に伴う劣化を防げない。

関連論文リスト

• Scaling Laws, Tabular Data and Actuarial Ratemaking Models [0.0]
  現代のディープラーニングにおける法則のスケーリングは、モデルキャパシティ、トレーニングデータ、計算量の増加として、ホールドアウト損失がどのように改善されるかを記述している。 本研究では,データ構造が表層,不均一,ノイズ,GLMなどの古典的モデルが強いベースラインを維持している場合において,規則性のスケーリングが生じるかどうかを考察する。 実世界の自動車保険ポートフォリオを用いて、トレーニングデータと複数のランダムシードの比率の増加にまたがって、異なる家族のモデルをトレーニングし、より低い値がより適していることを示すポアソン数予測の確率に基づく損失である、サンプル外偏差を評価する。
  論文  参考訳（メタデータ） (2026-09-02T19:40:36Z)
• Data Attribution in Large Language Models via Bidirectional Gradient Optimization [35.61634772862795]
  大きな言語モデル(LLM)は、様々なアプリケーションにまたがってデプロイされるようになっている。 モデルの出力に最も影響したトレーニングデータの理解は、依然として根本的なオープンな問題である。 トレーニング中に生成されたアウトプットを見た場合、トレーニングデータにどのような影響があるのか? 提案手法は, 生成したテキストサンプルに対して, 双方向勾配最適化(漸進的上昇・降下)を用いてベースモデルを摂動させ, トレーニングサンプル間の損失変化を計測する。
  論文  参考訳（メタデータ） (2026-06-03T14:21:53Z)
• Bagging-Based Model Merging for Robust General Text Embeddings [73.51674133699196]
  汎用テキスト埋め込みモデルは、幅広いNLPおよび情報検索アプリケーションを支える。 本稿では,データスケジューリングとモデルマージという2つの観点から,テキスト埋め込みのためのマルチタスク学習の体系的研究を行う。 本稿では,Baging ベースの rObust mOdel Merging (BOOM) を提案する。
  論文  参考訳（メタデータ） (2026-02-05T15:45:08Z)
• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• TabDPT: Scaling Tabular Foundation Models on Real Data [20.00390825519329]
  ICLに基づく検索と自己教師付き学習を組み合わせた基礎モデルの学習手法を提案する。 事前学習フェーズに実際のデータを組み込むことで、学習が大幅に速くなり、見当たらないデータへの一般化が向上することを示す。 得られたモデルであるTabDPTは回帰 (CTR23) と分類 (CC18) のベンチマークで最高の性能を達成する。
  論文  参考訳（メタデータ） (2024-10-23T18:00:00Z)
• Towards Understanding Link Predictor Generalizability Under Distribution Shifts [34.58496513149175]
  LPShiftと呼ばれる新しい分割戦略を導入し、制御された分散シフトを誘導する。 我々は,元のデータセット分割の16 LPShift 変種に対する SOTA LP モデルの実証評価により,LPShift の効果を検証する。
  論文  参考訳（メタデータ） (2024-06-13T03:47:12Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。