論文の概要: TabPFN: A Transformer That Solves Small Tabular Classification Problems
in a Second
- arxiv url: http://arxiv.org/abs/2207.01848v6
- Date: Sat, 16 Sep 2023 09:33:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 01:40:58.990983
- Title: TabPFN: A Transformer That Solves Small Tabular Classification Problems
in a Second
- Title（参考訳）: tabpfn:小さな表の分類問題を1秒で解決するトランスフォーマー
- Authors: Noah Hollmann, Samuel M\"uller, Katharina Eggensperger, Frank Hutter
- Abstract要約: トレーニングされたトランスフォーマーであるTabPFNは、小さなデータセットの教師付き分類を1秒以内で行うことができる。
TabPFNはコンテキスト内学習(ICL)を行い、ラベル付きサンプルのシーケンスを使用して予測を行う。
提案手法は, 強化木よりも明らかに優れており, 230$times$ Speedupの複雑なAutoMLシステムと同等性能を示す。
- 参考スコア（独自算出の注目度）: 48.87527918630822
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present TabPFN, a trained Transformer that can do supervised
classification for small tabular datasets in less than a second, needs no
hyperparameter tuning and is competitive with state-of-the-art classification
methods. TabPFN performs in-context learning (ICL), it learns to make
predictions using sequences of labeled examples (x, f(x)) given in the input,
without requiring further parameter updates. TabPFN is fully entailed in the
weights of our network, which accepts training and test samples as a set-valued
input and yields predictions for the entire test set in a single forward pass.
TabPFN is a Prior-Data Fitted Network (PFN) and is trained offline once, to
approximate Bayesian inference on synthetic datasets drawn from our prior. This
prior incorporates ideas from causal reasoning: It entails a large space of
structural causal models with a preference for simple structures. On the 18
datasets in the OpenML-CC18 suite that contain up to 1 000 training data
points, up to 100 purely numerical features without missing values, and up to
10 classes, we show that our method clearly outperforms boosted trees and
performs on par with complex state-of-the-art AutoML systems with up to
230$\times$ speedup. This increases to a 5 700$\times$ speedup when using a
GPU. We also validate these results on an additional 67 small numerical
datasets from OpenML. We provide all our code, the trained TabPFN, an
interactive browser demo and a Colab notebook at
https://github.com/automl/TabPFN.
- Abstract（参考訳）: 我々は,少量の表型データセットの教師付き分類を1秒未満で実行し,ハイパーパラメータチューニングを必要とせず,最先端の分類手法と競合するトレーニングされたトランスフォーマであるtabpfnを提案する。
TabPFNはインコンテキスト学習(ICL)を行い、追加のパラメータ更新を必要とせずにラベル付き例(x, f(x))のシーケンスを用いて予測を行う。
tabpfnは、トレーニングとテストサンプルをセット値入力として受け入れ、1回のフォワードパスでテストセット全体の予測を行うネットワークの重みに完全に関係しています。
TabPFNはPFN(Presideed-Data Fitted Network)で、オフラインで1度トレーニングされ、ベイジアン推論を事前の合成データセットに近似する。
これは、単純な構造を好む構造的因果モデルの大きな空間を伴っている。
最大10000のトレーニングデータポイントを含む18のデータセット、100までの純粋に数値的な特徴を欠いた100の値、最大10のクラスにおいて、本手法がブーストツリーよりも明らかに優れ、最大230$\times$速度アップの複雑なautomlシステムと同等のパフォーマンスを示す。
これにより、GPUを使用すると5700$\times$スピードアップになる。
また、これらの結果をOpenMLから67個の小さな数値データセットで検証する。
すべてのコード、トレーニング済みのTabPFN、インタラクティブなブラウザデモ、Colabノートブックをhttps://github.com/automl/TabPFNで提供しています。
関連論文リスト
- TuneTables: Context Optimization for Scalable Prior-Data Fitted Networks [93.88484143421037]
我々は,事前データ対応ネットワーク(PFN)のコンテキスト最適化手法を開発した。
PFNは、事前学習とコンテキスト内学習を利用して、1つのフォワードパスで新しいタスクの強力なパフォーマンスを達成する。
我々は,大規模データセットをより小さな学習コンテキストに圧縮する新しいプロンプトチューニング戦略であるTuneTablesを提案する。
論文 参考訳（メタデータ） (2024-02-17T00:02:23Z) - In-Context Data Distillation with TabPFN [11.553950697974825]
In-context data distillation (ICD) は、TabPFNのコンテキストを最適化することでこれらの制約を効果的に除去する新しい手法である。
ICDにより、TabPFNは固定メモリ予算ではるかに大きなデータセットを処理でき、TabPFNの二次メモリの複雑さは向上するが、多くのチューニングステップのコストがかかる。
論文 参考訳（メタデータ） (2024-02-10T15:23:45Z) - MotherNet: A Foundational Hypernetwork for Tabular Classification [1.9643748953805937]
我々は、数百万の分類タスクで訓練されたMotherNetと呼ばれるハイパーネットワークアーキテクチャを提案する。
MotherNetは、特定のデータセットのトレーニングを、単一のフォワードパスを通じてコンテキスト内学習に置き換える。
MotherNetが生成する子ネットワークは、コンテキスト内学習を使用して、小さなデータセット上で勾配降下を用いてトレーニングされたニューラルネットワークより優れています。
論文 参考訳（メタデータ） (2023-12-14T01:48:58Z) - Training-Free Generalization on Heterogeneous Tabular Data via
Meta-Representation [67.30538142519067]
メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。
深層ニューラルネットワークは、これらのメタ表現とデータセット固有の分類信頼度を関連付けるように訓練される。
実験により、TabPTMは、数ショットのシナリオであっても、新しいデータセットで有望なパフォーマンスを達成することを確認した。
論文 参考訳（メタデータ） (2023-10-31T18:03:54Z) - Generating and Imputing Tabular Data via Diffusion and Flow-based
Gradient-Boosted Trees [11.732842929815401]
タブラルデータは取得が困難で、値が失われる。
本稿では,混合型(連続型および分類型)データの生成と計算のための新しいアプローチを提案する。
スコア関数やベクトル場をニューラルネットワークで学習する従来の手法とは対照的に,我々はXGBoostを採用する。
論文 参考訳（メタデータ） (2023-09-18T17:49:09Z) - HyperTab: Hypernetwork Approach for Deep Learning on Small Tabular
Datasets [3.9870413777302027]
データセット上の小さなサンプル問題を解決するためのハイパーネットワークベースのアプローチであるHyperTabを紹介する。
ランダムフォレストとニューラルネットワークの利点を組み合わせることで、HyperTabはニューラルネットワークのアンサンブルを生成する。
私たちは、HyperTabが小さなデータで他のメソッドを一貫して上回り、より大きなデータセットでそれと同等のスコアを示します。
論文 参考訳（メタデータ） (2023-04-07T08:48:07Z) - DANets: Deep Abstract Networks for Tabular Data Classification and
Regression [9.295859461145783]
Abstract Layer (AbstLay)は、相関的な入力機能を明示的にグループ化し、セマンティクスの抽象化のための高レベルな機能を生成する。
表形式のデータ分類と回帰のためのDeep Abstract Networks (DANets) のファミリー。
論文 参考訳（メタデータ） (2021-12-06T12:15:28Z) - Benchmarking Multimodal AutoML for Tabular Data with Text Fields [83.43249184357053]
テキストフィールドを含む18個のマルチモーダルデータテーブルを組み立てる。
このベンチマークにより、研究者は、数値的、分類的、テキスト的特徴を用いて教師あり学習を行うための独自の方法を評価することができる。
論文 参考訳（メタデータ） (2021-11-04T09:29:16Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - Fast, Accurate, and Simple Models for Tabular Data via Augmented
Distillation [97.42894942391575]
本研究では、FAST-DADを用いて、任意の複雑なアンサンブル予測を、高木、無作為林、深層ネットワークなどの個々のモデルに抽出する。
我々の個々の蒸留モデルは、H2O/AutoSklearnのようなAutoMLツールが生成するアンサンブル予測よりも10倍高速で精度が高い。
論文 参考訳（メタデータ） (2020-06-25T09:57:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。