論文の概要: ExcelFormer: A Neural Network Surpassing GBDTs on Tabular Data
- arxiv url: http://arxiv.org/abs/2301.02819v1
- Date: Sat, 7 Jan 2023 09:42:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-10 17:27:39.811414
- Title: ExcelFormer: A Neural Network Surpassing GBDTs on Tabular Data
- Title（参考訳）: ExcelFormer: タブラルデータ上のGBDTをバイパスするニューラルネットワーク
- Authors: Jintai Chen and Jiahuan Yan and Danny Ziyi Chen and Jian Wu
- Abstract要約: 我々はExcelFormerと呼ばれる新しいニューラルネットワークを開発し、これら2つの注意モジュールを交互に置き換えて、慎重に機能インタラクションを操作し、機能埋め込みを更新する。
モデルパフォーマンスを促進するために、Bespokeトレーニング方法論を共同で導入する。
25の公開データセットの実験では、ExcelFormerは極めてチューニングされたGBDTよりも優れていることが示されています。
- 参考スコア（独自算出の注目度）: 8.880320970519344
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Though neural networks have achieved enormous breakthroughs on various fields
(e.g., computer vision) in supervised learning, they still trailed the
performances of GBDTs on tabular data thus far. Delving into this issue, we
identify that a proper handling of feature interactions and feature embedding
is crucial to the success of neural networks on tabular data. We develop a
novel neural network called ExcelFormer, which alternates in turn two attention
modules that respectively manipulate careful feature interactions and feature
embedding updates. A bespoke training methodology is jointly introduced to
facilitate the model performances. By initializing parameters with minuscule
values, these attention modules are attenuated when the training begins, and
the effects of feature interactions and embedding updates progressively grow up
to optimum levels under the guidance of the proposed specific regularization
approaches Swap-Mix and Hidden-Mix as the training proceeds. Experiments on 25
public tabular datasets show that our ExcelFormer is superior to
extremely-tuned GBDTs, which is an unprecedented achievement of neural networks
in supervised tabular learning.
- Abstract（参考訳）: ニューラルネットワークは教師あり学習における様々な分野(コンピュータビジョンなど)において大きなブレークスルーを遂げてきたが、これまでのグラフデータではGBDTのパフォーマンスに追随している。
この問題に目を向けると,表データ上でのニューラルネットワークの成功には,機能インタラクションと機能埋め込みの適切な処理が不可欠であることが分かる。
我々はexcelformerと呼ばれる新しいニューラルネットワークを開発し、注意深い機能インタラクションと機能埋め込み更新をそれぞれ操作する2つのアテンションモジュールを交互に開発した。
モデルパフォーマンスを促進するために,独自にトレーニング手法を共同で導入する。
パラメータを最小値で初期化することにより、これらの注意モジュールはトレーニング開始時に減衰し、トレーニングが進むにつれて、提案された特定の正規化アプローチであるSwap-MixとHidden-Mixの指導の下で、特徴的相互作用と埋め込み更新の影響が徐々に最適なレベルまで増加する。
25の公開表型データセットに関する実験では、私たちのexcelformerは、非常にチューニングされたgbdtsよりも優れていることが示されています。
関連論文リスト
- TableGPT2: A Large Multimodal Model with Tabular Data Integration [22.77225649639725]
TableGPT2は、593.8K以上のテーブルと2.36Mの高品質なクエリテーブル出力を備えた、厳格に事前訓練および微調整されたモデルである。
TableGPT2の重要な革新の1つは、スキーマレベルとセルレベルの情報をキャプチャするために特別に設計されたテーブルエンコーダである。
論文 参考訳（メタデータ） (2024-11-04T13:03:13Z) - TabDiff: a Multi-Modal Diffusion Model for Tabular Data Generation [91.50296404732902]
1つのモデルで表データのマルチモーダル分布をモデル化する共同拡散フレームワークであるTabDiffを紹介する。
我々の重要な革新は、数値データと分類データのための連立連続時間拡散プロセスの開発である。
TabDiffは、既存の競合ベースラインよりも優れた平均性能を実現し、ペアワイドカラム相関推定における最先端モデルよりも最大で22.5%改善されている。
論文 参考訳（メタデータ） (2024-10-27T22:58:47Z) - A Survey on Deep Tabular Learning [0.0]
タブラルデータは、その不均一な性質と空間構造が欠如していることから、深層学習の独特な課題を提示する。
本調査では,早期完全接続ネットワーク(FCN)から,TabNet,SAINT,TabTranSELU,MambaNetといった先進アーキテクチャに至るまで,タブラルデータのディープラーニングモデルの進化を概観する。
論文 参考訳（メタデータ） (2024-10-15T20:08:08Z) - Team up GBDTs and DNNs: Advancing Efficient and Effective Tabular Prediction with Tree-hybrid MLPs [20.67800392863432]
タブラルデータセットは、様々なアプリケーションにおいて重要な役割を果たす。
強化決定木(GBDT)とディープニューラルネットワーク(DNN)の2つの顕著なモデルタイプは、異なる予測タスクでパフォーマンス上のアドバンテージを示している。
本稿では,GBDTとDNNの両方の利点を両立させる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-13T07:13:32Z) - 4DBInfer: A 4D Benchmarking Toolbox for Graph-Centric Predictive Modeling on Relational DBs [67.47600679176963]
RDBは、相互接続されたテーブルにまたがる膨大な量のリッチで情報的なデータを格納する。
予測機械学習モデルの進歩は、コンピュータビジョンや自然言語処理といった他の領域の進歩に遅れをとっている。
マルチテーブルデータセットをグラフに変換することを前提としたベースラインモデルのクラスを探索する。
大規模RDBデータセットと (ii) 同時予測タスクの多様なコレクションを組み立てる。
論文 参考訳（メタデータ） (2024-04-28T15:04:54Z) - An improved tabular data generator with VAE-GMM integration [9.4491536689161]
本稿では,現在のアプローチの限界に対処する新しい変分オートエンコーダ(VAE)モデルを提案する。
本手法は,TVAEモデルにインスパイアされたベイジアン・ガウス混合モデル(BGM)をVAEアーキテクチャに組み込む。
我々は,2つの医療関連データセットを含む混合データ型を持つ実世界の3つのデータセットに対して,我々のモデルを徹底的に検証する。
論文 参考訳（メタデータ） (2024-04-12T12:31:06Z) - Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。
本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。
新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
論文 参考訳（メタデータ） (2024-03-04T08:38:56Z) - LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。
LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。
我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文 参考訳（メタデータ） (2024-02-06T19:18:04Z) - Training-Free Generalization on Heterogeneous Tabular Data via
Meta-Representation [67.30538142519067]
メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。
深層ニューラルネットワークは、これらのメタ表現とデータセット固有の分類信頼度を関連付けるように訓練される。
実験により、TabPTMは、数ショットのシナリオであっても、新しいデータセットで有望なパフォーマンスを達成することを確認した。
論文 参考訳（メタデータ） (2023-10-31T18:03:54Z) - D2 Pruning: Message Passing for Balancing Diversity and Difficulty in
Data Pruning [70.98091101459421]
コアセット選択は、トレーニングデータのサブセットを選択して、このサブセット(コアセットとも呼ばれる)でトレーニングされたモデルのパフォーマンスを最大化する。
コアセット選択のために,このデータセットグラフ上で前後のメッセージパッシングを利用する新しいプルーニングアルゴリズムD2プルーニングを提案する。
その結果、D2プルーニングは従来の最先端手法よりもコアセット選択を向上し、最大70%のプルーニングレートが得られた。
論文 参考訳（メタデータ） (2023-10-11T23:01:29Z) - Towards Cross-Table Masked Pretraining for Web Data Mining [22.952238405240188]
本稿では,CM2と呼ばれる,革新的で汎用的で効率的なクロステーブル事前学習フレームワークを提案する。
実験では,CM2の最先端性能を実証し,クロステーブルプレトレーニングが様々なダウンストリームタスクを向上させることを実証した。
論文 参考訳（メタデータ） (2023-07-10T02:27:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。