論文の概要: Meta-Learning a Real-Time Tabular AutoML Method For Small Data
- arxiv url: http://arxiv.org/abs/2207.01848v1
- Date: Tue, 5 Jul 2022 07:17:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-06 13:56:24.018342
- Title: Meta-Learning a Real-Time Tabular AutoML Method For Small Data
- Title(参考訳): 小型データのためのリアルタイムタブラルオートML手法のメタラーニング
- Authors: Noah Hollmann, Samuel M\"uller, Katharina Eggensperger, Frank Hutter
- Abstract要約: 我々は、小さなデータセット上での最先端技術と競合するAutoML手法であるTabPFNを提案する。
我々の手法は非常に単純で、単一のニューラルネットワークの重みが完全に必要であり、単一のフォワードパスが新しいデータセットの予測を直接生成する。
OpenML-CC18スイートから得られた30のデータセットでは、私たちのメソッドは、強化された木よりも優れており、複雑な最先端のAutoMLシステムと同等のパフォーマンスを示している。
- 参考スコア(独自算出の注目度): 34.22723784177037
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present TabPFN, an AutoML method that is competitive with the state of the
art on small tabular datasets while being over 1,000$\times$ faster. Our method
is very simple: it is fully entailed in the weights of a single neural network,
and a single forward pass directly yields predictions for a new dataset. Our
AutoML method is meta-learned using the Transformer-based Prior-Data Fitted
Network (PFN) architecture and approximates Bayesian inference with a prior
that is based on assumptions of simplicity and causal structures. The prior
contains a large space of structural causal models and Bayesian neural networks
with a bias for small architectures and thus low complexity. Furthermore, we
extend the PFN approach to differentiably calibrate the prior's hyperparameters
on real data. By doing so, we separate our abstract prior assumptions from
their heuristic calibration on real data. Afterwards, the calibrated
hyperparameters are fixed and TabPFN can be applied to any new tabular dataset
at the push of a button. Finally, on 30 datasets from the OpenML-CC18 suite we
show that our method outperforms boosted trees and performs on par with complex
state-of-the-art AutoML systems with predictions produced in less than a
second. We provide all our code and our final trained TabPFN in the
supplementary materials.
- Abstract(参考訳): 我々はTabPFNを提案する。TabPFNは、小さな表のデータセットでアートの状態を競合するAutoMLメソッドで、1000$\times$高速である。
我々の手法は非常に単純で、単一のニューラルネットワークの重みが完全に必要であり、単一のフォワードパスが新しいデータセットの予測を直接生成する。
提案手法は,Transformer-based Prior-Data Fitted Network (PFN) アーキテクチャを用いてメタ学習し,単純さと因果構造の仮定に基づくベイズ推定と近似する。
前者は構造因果モデルとベイズニューラルネットワークの広い空間を含み、小さなアーキテクチャには偏りがあり、したがって複雑さは低い。
さらに、PFNアプローチを拡張して、実データ上で前者のハイパーパラメータを微分的に校正する。
そうすることで、抽象的な前提を実際のデータに対するヒューリスティックキャリブレーションから切り離します。
その後、キャリブレーションされたハイパーパラメータが固定され、TabPFNはボタンを押すと新しいタブ形式のデータセットに適用される。
最後に、OpenML-CC18スイートから取得した30のデータセットから、当社の手法が強化された木を上回り、複雑な最先端のAutoMLシステムと同等に動作し、予測が1秒未満で生成されることを示す。
すべてのコードと最後のトレーニングを受けたTabPFNを補足材料として提供します。
関連論文リスト
- Tokenize features, enhancing tables: the FT-TABPFN model for tabular classification [13.481699494376809]
FT-TabPFNはTabPFNの拡張版で、分類機能をよりよく扱うための新しい機能トークン化レイヤを含んでいる。
私たちの完全なソースコードは、コミュニティの利用と開発に利用可能です。
論文 参考訳(メタデータ) (2024-06-11T02:13:46Z) - Why In-Context Learning Transformers are Tabular Data Classifiers [22.33649426762373]
ICL変換器は事前学習中に複雑な決定境界を生成できることを示す。
我々は、オリジナルのTabPFN合成データセットジェネレータと森林データセットジェネレータの両方で事前訓練されたICL変換器であるTabForestPFNを作成する。
論文 参考訳(メタデータ) (2024-05-22T07:13:55Z) - Interpretable Machine Learning for TabPFN [5.012821694203072]
TabPFNモデルは、様々な分類タスクで最先端のパフォーマンスを達成することができる。
モデルのユニークな性質を利用することで、我々の適応はより効率的な計算を可能にします。
論文 参考訳(メタデータ) (2024-03-16T13:35:15Z) - TuneTables: Context Optimization for Scalable Prior-Data Fitted Networks [90.00817095558094]
我々は,事前データ対応ネットワーク(PFN)のコンテキスト最適化手法を開発した。
PFNは、事前学習とコンテキスト内学習を利用して、1つのフォワードパスで新しいタスクの強力なパフォーマンスを達成する。
我々は,大規模データセットをより小さな学習コンテキストに圧縮する新しいプロンプトチューニング戦略であるTuneTablesを提案する。
論文 参考訳(メタデータ) (2024-02-17T00:02:23Z) - In-Context Data Distillation with TabPFN [11.553950697974825]
In-context data distillation (ICD) は、TabPFNのコンテキストを最適化することでこれらの制約を効果的に除去する新しい手法である。
ICDにより、TabPFNは固定メモリ予算ではるかに大きなデータセットを処理でき、TabPFNの二次メモリの複雑さは向上するが、多くのチューニングステップのコストがかかる。
論文 参考訳(メタデータ) (2024-02-10T15:23:45Z) - MotherNet: A Foundational Hypernetwork for Tabular Classification [1.9643748953805937]
我々は、数百万の分類タスクで訓練されたMotherNetと呼ばれるハイパーネットワークアーキテクチャを提案する。
MotherNetは、特定のデータセットのトレーニングを、単一のフォワードパスを通じてコンテキスト内学習に置き換える。
MotherNetが生成する子ネットワークは、コンテキスト内学習を使用して、小さなデータセット上で勾配降下を用いてトレーニングされたニューラルネットワークより優れています。
論文 参考訳(メタデータ) (2023-12-14T01:48:58Z) - Training-Free Generalization on Heterogeneous Tabular Data via
Meta-Representation [67.30538142519067]
メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。
深層ニューラルネットワークは、これらのメタ表現とデータセット固有の分類信頼度を関連付けるように訓練される。
実験により、TabPTMは、数ショットのシナリオであっても、新しいデータセットで有望なパフォーマンスを達成することを確認した。
論文 参考訳(メタデータ) (2023-10-31T18:03:54Z) - Benchmarking Multimodal AutoML for Tabular Data with Text Fields [83.43249184357053]
テキストフィールドを含む18個のマルチモーダルデータテーブルを組み立てる。
このベンチマークにより、研究者は、数値的、分類的、テキスト的特徴を用いて教師あり学習を行うための独自の方法を評価することができる。
論文 参考訳(メタデータ) (2021-11-04T09:29:16Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳(メタデータ) (2021-04-11T16:37:32Z) - Fast, Accurate, and Simple Models for Tabular Data via Augmented
Distillation [97.42894942391575]
本研究では、FAST-DADを用いて、任意の複雑なアンサンブル予測を、高木、無作為林、深層ネットワークなどの個々のモデルに抽出する。
我々の個々の蒸留モデルは、H2O/AutoSklearnのようなAutoMLツールが生成するアンサンブル予測よりも10倍高速で精度が高い。
論文 参考訳(メタデータ) (2020-06-25T09:57:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。