論文の概要: TabArena: A Living Benchmark for Machine Learning on Tabular Data
- arxiv url: http://arxiv.org/abs/2506.16791v2
- Date: Wed, 25 Jun 2025 16:14:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-26 12:28:29.347501
- Title: TabArena: A Living Benchmark for Machine Learning on Tabular Data
- Title(参考訳): TabArena: タブラルデータによる機械学習のためのリビングベンチマーク
- Authors: Nick Erickson, Lennart Purucker, Andrej Tschalzev, David Holzmüller, Prateek Mutalik Desai, David Salinas, Frank Hutter,
- Abstract要約: 本稿では,最初の持続的リビングベンチマークシステムであるTabArenaを紹介する。
我々は、データセットとよく実装されたモデルの代表的なコレクションを手動でキュレートする。
大規模なベンチマーク調査を行い、公開リーダボードを初期化し、経験豊富なメンテナのチームを組み立てます。
- 参考スコア(独自算出の注目度): 41.730597870821775
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the growing popularity of deep learning and foundation models for tabular data, the need for standardized and reliable benchmarks is higher than ever. However, current benchmarks are static. Their design is not updated even if flaws are discovered, model versions are updated, or new models are released. To address this, we introduce TabArena, the first continuously maintained living tabular benchmarking system. To launch TabArena, we manually curate a representative collection of datasets and well-implemented models, conduct a large-scale benchmarking study to initialize a public leaderboard, and assemble a team of experienced maintainers. Our results highlight the influence of validation method and ensembling of hyperparameter configurations to benchmark models at their full potential. While gradient-boosted trees are still strong contenders on practical tabular datasets, we observe that deep learning methods have caught up under larger time budgets with ensembling. At the same time, foundation models excel on smaller datasets. Finally, we show that ensembles across models advance the state-of-the-art in tabular machine learning and investigate the contributions of individual models. We launch TabArena with a public leaderboard, reproducible code, and maintenance protocols to create a living benchmark available at https://tabarena.ai.
- Abstract(参考訳): グラフデータに対するディープラーニングと基礎モデルの人気が高まっているため、標準化された信頼性の高いベンチマークの必要性はこれまで以上に高くなる。
しかし、現在のベンチマークは静的である。
欠陥が見つかったり、モデルバージョンが更新されたり、新しいモデルがリリースされたりしても、それらの設計は更新されない。
この問題に対処するために,最初の継続維持型リビングタブキュラーベンチマークシステムであるTabArenaを紹介する。
TabArenaをローンチするために、データセットと十分に実装されたモデルの代表的なコレクションを手作業でキュレートし、大規模なベンチマーク調査を行い、公開リーダボードを初期化し、経験豊富なメンテナのチームを組み立てます。
本研究は,評価手法とハイパーパラメータ構成がベンチマークモデルに与える影響について検討した。
勾配木はいまだに実践的な表形式のデータセットにおいて強力な競争相手であるが、ディープラーニング手法がより大規模な時間予算で集結しているのを観察する。
同時に、ファンデーションモデルは小さなデータセットよりも優れている。
最後に,各モデルにまたがるアンサンブルが,表型機械学習の最先端を推し進め,個々のモデルのコントリビューションについて検討する。
公開のリーダボード、再現可能なコード、メンテナンスプロトコルを備えたTabArenaをローンチし、https://tabarena.ai.comで利用可能なライブベンチマークを作成します。
関連論文リスト
- Representation Learning for Tabular Data: A Comprehensive Survey [23.606506938919605]
行と列として構造化されたタブラルデータは、機械学習の分類と回帰アプリケーションにおいて最も一般的なデータタイプの一つである。
ディープニューラルネットワーク(DNN)は、最近、表現学習の能力を通じて有望な結果を実証した。
既存の手法を一般化能力に応じて3つの主要なカテゴリに分類する。
論文 参考訳(メタデータ) (2025-04-17T17:58:23Z) - TabReD: Analyzing Pitfalls and Filling the Gaps in Tabular Deep Learning Benchmarks [30.922069185335246]
典型的産業応用における表型データの2つの共通特性は、通常文献で評価に使用されるデータセットに不足している。
運用環境におけるデータセットのかなりの部分は、広範なデータ取得と機能エンジニアリングパイプラインに由来する。
これは、学術的なデータセットと比較して、予測的、非形式的、相関的な特徴の絶対的および相対的な数に影響を与える可能性がある。
論文 参考訳(メタデータ) (2024-06-27T17:55:31Z) - LaTable: Towards Large Tabular Models [63.995130144110156]
タブラル生成基盤モデルは、異なるデータセットの不均一な特徴空間のために構築が困難である。
LaTableは、これらの課題に対処し、異なるデータセットでトレーニング可能な、新しい拡散モデルである。
LaTableは、分散生成のベースラインよりも優れており、微調整されたLaTableは、より少ないサンプルで分散データセットをより良く生成できる。
論文 参考訳(メタデータ) (2024-06-25T16:03:50Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳(メタデータ) (2023-05-18T16:28:29Z) - Generative Table Pre-training Empowers Models for Tabular Prediction [71.76829961276032]
本稿では,テーブル事前学習を利用した最初の試みであるTapTapを提案する。
TapTapは、プライバシ保護、リソースの低さ、価値計算の欠如、不均衡な分類など、さまざまなアプリケーションをサポートするための高品質な合成テーブルを生成することができる。
LightGBM、Multilayer Perceptron (MLP)、Transformerなどのバックボーンモデルと簡単に組み合わせることができる。
論文 参考訳(メタデータ) (2023-05-16T06:37:38Z) - STUNT: Few-shot Tabular Learning with Self-generated Tasks from
Unlabeled Tables [64.0903766169603]
我々は,Unlabeled Tables (STUNT) からの自己生成タスクを作成した,数発のセミ教師付き学習のためのフレームワークを提案する。
私たちのキーとなるアイデアは、ランダムに選択された列をターゲットラベルとして扱うことで、多様なショットタスクを自己生成することです。
次に、メタラーニング手法を用いて、構築されたタスクで一般化可能な知識を学習する。
論文 参考訳(メタデータ) (2023-03-02T02:37:54Z) - Why do tree-based models still outperform deep learning on tabular data? [0.0]
木をベースとしたモデルが中規模データの最先端のままであることを示す。
木系モデルとニューラルネットワーク(NN)の異なる帰納バイアスに関する実証的研究を行う。
論文 参考訳(メタデータ) (2022-07-18T08:36:08Z) - SLADE: A Self-Training Framework For Distance Metric Learning [75.54078592084217]
我々は、追加のラベルのないデータを活用することで、検索性能を向上させるための自己学習フレームワークSLADEを提案する。
まず、ラベル付きデータに基づいて教師モデルをトレーニングし、ラベルなしデータに対して擬似ラベルを生成する。
次に、最終機能埋め込みを生成するために、ラベルと擬似ラベルの両方で学生モデルをトレーニングします。
論文 参考訳(メタデータ) (2020-11-20T08:26:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。