論文の概要: Tokenize features, enhancing tables: the FT-TABPFN model for tabular classification

• arxiv url: http://arxiv.org/abs/2406.06891v1
• Date: Tue, 11 Jun 2024 02:13:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 19:36:38.555409
• Title: Tokenize features, enhancing tables: the FT-TABPFN model for tabular classification
• Title（参考訳）: Tokenize features, enhance table: the FT-TABPFN model for tabular classification
• Authors: Quangao Liu, Wei Yang, Chen Liang, Longlong Pang, Zhuozhang Zou,
• Abstract要約: FT-TabPFNはTabPFNの拡張版で、分類機能をよりよく扱うための新しい機能トークン化レイヤを含んでいる。 私たちの完全なソースコードは、コミュニティの利用と開発に利用可能です。
• 参考スコア（独自算出の注目度）: 13.481699494376809
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional methods for tabular classification usually rely on supervised learning from scratch, which requires extensive training data to determine model parameters. However, a novel approach called Prior-Data Fitted Networks (TabPFN) has changed this paradigm. TabPFN uses a 12-layer transformer trained on large synthetic datasets to learn universal tabular representations. This method enables fast and accurate predictions on new tasks with a single forward pass and no need for additional training. Although TabPFN has been successful on small datasets, it generally shows weaker performance when dealing with categorical features. To overcome this limitation, we propose FT-TabPFN, which is an enhanced version of TabPFN that includes a novel Feature Tokenization layer to better handle classification features. By fine-tuning it for downstream tasks, FT-TabPFN not only expands the functionality of the original model but also significantly improves its applicability and accuracy in tabular classification. Our full source code is available for community use and development.
• Abstract（参考訳）: 従来の表型分類法は、通常、スクラッチからの教師付き学習に依存しており、モデルパラメータを決定するために広範囲なトレーニングデータを必要とする。 しかし、このパラダイムは、Presideed-Data Fitted Networks (TabPFN)と呼ばれる新しいアプローチによって変更されている。 TabPFNは、大規模な合成データセットに基づいて訓練された12層トランスフォーマーを使用して、普遍的な表表表現を学習する。 この方法は、1つのフォワードパスで新しいタスクの高速かつ正確な予測を可能にし、追加のトレーニングは不要である。 TabPFNは小さなデータセットで成功したが、一般的には分類的特徴を扱う際のパフォーマンスが低下している。 この制限を克服するため,TabPFNの強化版であるFT-TabPFNを提案する。 ダウンストリームタスク用に微調整することで、FT-TabPFNはオリジナルのモデルの機能を拡大するだけでなく、表の分類における適用性と精度を大幅に改善する。 私たちの完全なソースコードは、コミュニティの利用と開発に利用可能です。

関連論文リスト

• TabPFGen -- Tabular Data Generation with TabPFN [4.743548909570325]
  高性能トランスであるTabPFNをエネルギーベース生成モデルに変換し、TabPFGenをダブする。 本稿では,データ拡張,クラスバランス,計算処理など,標準的な生成モデルタスクに関する強力な結果を示す。
  論文  参考訳（メタデータ） (2024-06-07T18:59:37Z)
• Interpretable Machine Learning for TabPFN [5.012821694203072]
  TabPFNモデルは、様々な分類タスクで最先端のパフォーマンスを達成することができる。 モデルのユニークな性質を利用することで、我々の適応はより効率的な計算を可能にします。
  論文  参考訳（メタデータ） (2024-03-16T13:35:15Z)
• Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
  ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。 本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。 新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
  論文  参考訳（メタデータ） (2024-03-04T08:38:56Z)
• TuneTables: Context Optimization for Scalable Prior-Data Fitted Networks [90.00817095558094]
  事前データ対応ネットワーク(PFN)は、事前学習とコンテキスト内学習を利用して、1つのフォワードパスで新しいタスクの強力なパフォーマンスを実現する。 我々は、大規模なデータセットをより小さな学習コンテキストに圧縮するPFNのパラメータ効率の良い微調整戦略であるTuneTablesを紹介した。 我々は、TuneTablesを解釈可能性ツールとして使用することができ、公平性目標を最適化することでバイアスを軽減することができることを示した。
  論文  参考訳（メタデータ） (2024-02-17T00:02:23Z)
• In-Context Data Distillation with TabPFN [11.553950697974825]
  In-context data distillation (ICD) は、TabPFNのコンテキストを最適化することでこれらの制約を効果的に除去する新しい手法である。 ICDにより、TabPFNは固定メモリ予算ではるかに大きなデータセットを処理でき、TabPFNの二次メモリの複雑さは向上するが、多くのチューニングステップのコストがかかる。
  論文  参考訳（メタデータ） (2024-02-10T15:23:45Z)
• Scaling TabPFN: Sketching and Feature Selection for Tabular Prior-Data Fitted Networks [31.82225213006849]
  タブラル分類は伝統的に教師付きアルゴリズムに依存しており、トレーニングデータを用いて予測モデルのパラメータを推定する。 近年、TabPFNのようなPFN(Presideed Data Fitted Networks)は、コンテキスト内の表データの分類に成功している。 このようなモデルは非常に有望であるが、実際のデータに適用可能であるのは計算規模が限られているためである。
  論文  参考訳（メタデータ） (2023-11-17T16:04:27Z)
• Training-Free Generalization on Heterogeneous Tabular Data via Meta-Representation [67.30538142519067]
  メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。 深層ニューラルネットワークは、これらのメタ表現とデータセット固有の分類信頼度を関連付けるように訓練される。 実験により、TabPTMは、数ショットのシナリオであっても、新しいデータセットで有望なパフォーマンスを達成することを確認した。
  論文  参考訳（メタデータ） (2023-10-31T18:03:54Z)
• Unlocking the Transferability of Tokens in Deep Models for Tabular Data [67.11727608815636]
  トレーニング済みのディープニューラルネットワークの微調整は、さまざまな機械学習タスクにおいて成功しているパラダイムとなっている。 本稿では,特徴トークンの品質向上を目的としたTabTokenを提案する。 トークンを規則化し、機能内および機能間のセマンティクスをキャプチャする、対照的な目的を導入します。
  論文  参考訳（メタデータ） (2023-10-23T17:53:09Z)
• Revisiting Class-Incremental Learning with Pre-Trained Models: Generalizability and Adaptivity are All You Need [84.3507610522086]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに新しいクラスに適応することを目的としている。 近年の事前訓練は大きな進歩を遂げており、CILには膨大な事前訓練モデル(PTM)が利用できるようになった。 CILの中核となる要素は、モデル更新の適応性と知識伝達の一般化性である。
  論文  参考訳（メタデータ） (2023-03-13T17:59:02Z)
• TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second [48.87527918630822]
  トレーニングされたトランスフォーマーであるTabPFNは、小さなデータセットの教師付き分類を1秒以内で行うことができる。 TabPFNはコンテキスト内学習(ICL)を行い、ラベル付きサンプルのシーケンスを使用して予測を行う。 提案手法は, 強化木よりも明らかに優れており, 230$times$ Speedupの複雑なAutoMLシステムと同等性能を示す。
  論文  参考訳（メタデータ） (2022-07-05T07:17:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。