論文の概要: Arithmetic Feature Interaction Is Necessary for Deep Tabular Learning
- arxiv url: http://arxiv.org/abs/2402.02334v2
- Date: Tue, 19 Mar 2024 11:55:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 23:31:36.367086
- Title: Arithmetic Feature Interaction Is Necessary for Deep Tabular Learning
- Title(参考訳): 深層学習に必要な算数的特徴相互作用
- Authors: Yi Cheng, Renjun Hu, Haochao Ying, Xing Shi, Jian Wu, Wei Lin,
- Abstract要約: 軽度な特徴相互作用を仮定した合成データセットを作成する。
本稿では,AMFormerと呼ばれる数値的特徴相互作用を実現する改良型トランスフォーマーアーキテクチャについて検討する。
- 参考スコア(独自算出の注目度): 17.38478179159257
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Until recently, the question of the effective inductive bias of deep models on tabular data has remained unanswered. This paper investigates the hypothesis that arithmetic feature interaction is necessary for deep tabular learning. To test this point, we create a synthetic tabular dataset with a mild feature interaction assumption and examine a modified transformer architecture enabling arithmetical feature interactions, referred to as AMFormer. Results show that AMFormer outperforms strong counterparts in fine-grained tabular data modeling, data efficiency in training, and generalization. This is attributed to its parallel additive and multiplicative attention operators and prompt-based optimization, which facilitate the separation of tabular samples in an extended space with arithmetically-engineered features. Our extensive experiments on real-world data also validate the consistent effectiveness, efficiency, and rationale of AMFormer, suggesting it has established a strong inductive bias for deep learning on tabular data. Code is available at https://github.com/aigc-apps/AMFormer.
- Abstract(参考訳): 最近まで、表形式のデータに対するディープモデルの効果的な帰納バイアスの問題は未解決のままである。
本稿では,表層学習に算術的特徴相互作用が必要であるという仮説を考察する。
この点をテストするために、軽度の特徴相互作用を仮定した合成表式データセットを作成し、AMFormerと呼ばれる算術的特徴相互作用を実現する変換器アーキテクチャを検証した。
その結果,AMFormerは微粒な表データモデリング,トレーニングにおけるデータ効率,一般化において,優れた性能を発揮することがわかった。
これは、パラレルな加法的および乗法的注意演算子とプロンプトベースの最適化により、算術的に設計された特徴を持つ拡張空間における表のサンプルの分離を容易にする。
実世界のデータに関する広範な実験は、AMFormerの一貫性のある有効性、効率、理性も検証しており、表形式のデータに対する深い学習のための強力な帰納的バイアスを確立していることを示唆している。
コードはhttps://github.com/aigc-apps/AMFormer.comで入手できる。
関連論文リスト
- Group-wise Prompting for Synthetic Tabular Data Generation using Large Language Models [39.347666307218006]
本研究では,合成データを生成するために,Large Language Models (LLMs) を用いた簡易かつ効果的な手法を提案する。
本稿では,LLMのテキスト内学習機能を活用した,CSV形式のグループワイドプロンプト手法を提案する。
提案したランダムな単語置換戦略は,単調なカテゴリー値の扱いを大幅に改善する。
論文 参考訳(メタデータ) (2024-04-15T17:49:16Z) - Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。
本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。
新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
論文 参考訳(メタデータ) (2024-03-04T08:38:56Z) - Making Parametric Anomaly Detection on Tabular Data Non-Parametric Again [0.0]
研究は、このギャップに対処するために、検索強化モデルを導入し、分類や回帰といった教師付きタスクで有望な結果を示した。
本稿では,変圧器モデルを用いてテクスチャ正規サンプルのマスク特徴を再構成する再構成手法を提案する。
31データセットのベンチマークでの実験では、この再構成ベースの異常検出(AD)メソッドを検索モジュールを介して非パラメトリックな関係で拡張することで、パフォーマンスが大幅に向上することが示された。
論文 参考訳(メタデータ) (2024-01-30T14:33:18Z) - Training-Free Generalization on Heterogeneous Tabular Data via
Meta-Representation [67.30538142519067]
メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。
深層ニューラルネットワークは、これらのメタ表現とデータセット固有の分類信頼度を関連付けるように訓練される。
実験により、TabPTMは、数ショットのシナリオであっても、新しいデータセットで有望なパフォーマンスを達成することを確認した。
論文 参考訳(メタデータ) (2023-10-31T18:03:54Z) - Leveraging Data Recasting to Enhance Tabular Reasoning [21.970920861791015]
これまでの作業は、主に2つのデータ生成戦略に依存していた。
ひとつは人間のアノテーションで、言語学的に多様なデータを生成するが、拡張は困難である。
第2のカテゴリは合成生成であり、スケーラブルで費用対効果があるが、発明性に欠ける。
論文 参考訳(メタデータ) (2022-11-23T00:04:57Z) - Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。
データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。
この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
論文 参考訳(メタデータ) (2022-09-29T18:11:01Z) - Efficient Classification with Counterfactual Reasoning and Active
Learning [4.708737212700907]
CCRALと呼ばれる手法は、因果推論と、元のトレーニングサンプルの反事実サンプルの学習と、不確実性の領域に基づいて有用な反事実サンプルを選択するアクティブラーニングを組み合わせたものである。
実験の結果, CCRALは精度とAUCの点で, ベースラインよりも有意に優れた性能を示した。
論文 参考訳(メタデータ) (2022-07-25T12:03:40Z) - Why do tree-based models still outperform deep learning on tabular data? [0.0]
木をベースとしたモデルが中規模データの最先端のままであることを示す。
木系モデルとニューラルネットワーク(NN)の異なる帰納バイアスに関する実証的研究を行う。
論文 参考訳(メタデータ) (2022-07-18T08:36:08Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳(メタデータ) (2020-07-11T10:57:45Z) - Provably Efficient Causal Reinforcement Learning with Confounded
Observational Data [135.64775986546505]
オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。
提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-22T14:49:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。