論文の概要: ExcelFormer: A Neural Network Surpassing GBDTs on Tabular Data
- arxiv url: http://arxiv.org/abs/2301.02819v1
- Date: Sat, 7 Jan 2023 09:42:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-10 17:27:39.811414
- Title: ExcelFormer: A Neural Network Surpassing GBDTs on Tabular Data
- Title(参考訳): ExcelFormer: タブラルデータ上のGBDTをバイパスするニューラルネットワーク
- Authors: Jintai Chen and Jiahuan Yan and Danny Ziyi Chen and Jian Wu
- Abstract要約: 我々はExcelFormerと呼ばれる新しいニューラルネットワークを開発し、これら2つの注意モジュールを交互に置き換えて、慎重に機能インタラクションを操作し、機能埋め込みを更新する。
モデルパフォーマンスを促進するために、Bespokeトレーニング方法論を共同で導入する。
25の公開データセットの実験では、ExcelFormerは極めてチューニングされたGBDTよりも優れていることが示されています。
- 参考スコア(独自算出の注目度): 8.880320970519344
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Though neural networks have achieved enormous breakthroughs on various fields
(e.g., computer vision) in supervised learning, they still trailed the
performances of GBDTs on tabular data thus far. Delving into this issue, we
identify that a proper handling of feature interactions and feature embedding
is crucial to the success of neural networks on tabular data. We develop a
novel neural network called ExcelFormer, which alternates in turn two attention
modules that respectively manipulate careful feature interactions and feature
embedding updates. A bespoke training methodology is jointly introduced to
facilitate the model performances. By initializing parameters with minuscule
values, these attention modules are attenuated when the training begins, and
the effects of feature interactions and embedding updates progressively grow up
to optimum levels under the guidance of the proposed specific regularization
approaches Swap-Mix and Hidden-Mix as the training proceeds. Experiments on 25
public tabular datasets show that our ExcelFormer is superior to
extremely-tuned GBDTs, which is an unprecedented achievement of neural networks
in supervised tabular learning.
- Abstract(参考訳): ニューラルネットワークは教師あり学習における様々な分野(コンピュータビジョンなど)において大きなブレークスルーを遂げてきたが、これまでのグラフデータではGBDTのパフォーマンスに追随している。
この問題に目を向けると,表データ上でのニューラルネットワークの成功には,機能インタラクションと機能埋め込みの適切な処理が不可欠であることが分かる。
我々はexcelformerと呼ばれる新しいニューラルネットワークを開発し、注意深い機能インタラクションと機能埋め込み更新をそれぞれ操作する2つのアテンションモジュールを交互に開発した。
モデルパフォーマンスを促進するために,独自にトレーニング手法を共同で導入する。
パラメータを最小値で初期化することにより、これらの注意モジュールはトレーニング開始時に減衰し、トレーニングが進むにつれて、提案された特定の正規化アプローチであるSwap-MixとHidden-Mixの指導の下で、特徴的相互作用と埋め込み更新の影響が徐々に最適なレベルまで増加する。
25の公開表型データセットに関する実験では、私たちのexcelformerは、非常にチューニングされたgbdtsよりも優れていることが示されています。
関連論文リスト
- Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。
本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。
新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
論文 参考訳(メタデータ) (2024-03-04T08:38:56Z) - Negotiated Representations to Prevent Forgetting in Machine Learning
Applications [0.0]
破滅的な忘れは、機械学習の分野で重要な課題である。
本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
論文 参考訳(メタデータ) (2023-11-30T22:43:50Z) - An Initialization Schema for Neuronal Networks on Tabular Data [0.9155684383461983]
本稿では,二項ニューラルネットワークが表データに対して有効に利用できることを示す。
提案手法はニューラルネットワークの最初の隠蔽層を初期化するための単純だが効果的なアプローチを示す。
我々は、複数の公開データセットに対する我々のアプローチを評価し、他のニューラルネットワークベースのアプローチと比較して、改善されたパフォーマンスを示す。
論文 参考訳(メタデータ) (2023-11-07T13:52:35Z) - Towards Cross-Table Masked Pretraining for Web Data Mining [22.952238405240188]
本稿では,CM2と呼ばれる,革新的で汎用的で効率的なクロステーブル事前学習フレームワークを提案する。
実験では,CM2の最先端性能を実証し,クロステーブルプレトレーニングが様々なダウンストリームタスクを向上させることを実証した。
論文 参考訳(メタデータ) (2023-07-10T02:27:38Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳(メタデータ) (2022-10-10T08:27:28Z) - Transfer Learning with Deep Tabular Models [66.67017691983182]
上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。
そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。
上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
論文 参考訳(メタデータ) (2022-06-30T14:24:32Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳(メタデータ) (2021-10-09T09:02:45Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳(メタデータ) (2021-03-17T08:28:30Z) - Graph-Based Neural Network Models with Multiple Self-Supervised
Auxiliary Tasks [79.28094304325116]
グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。
マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
論文 参考訳(メタデータ) (2020-11-14T11:09:51Z) - A Survey on Self-supervised Pre-training for Sequential Transfer
Learning in Neural Networks [1.1802674324027231]
移動学習のための自己教師付き事前学習は、ラベルのないデータを用いて最先端の結果を改善する技術として、ますます人気が高まっている。
本稿では,自己指導型学習と伝達学習の分類学の概要を述べるとともに,各領域にまたがる事前学習タスクを設計するためのいくつかの顕著な手法を強調した。
論文 参考訳(メタデータ) (2020-07-01T22:55:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。