論文の概要: Arithmetic Feature Interaction Is Necessary for Deep Tabular Learning

• arxiv url: http://arxiv.org/abs/2402.02334v1
• Date: Sun, 4 Feb 2024 04:07:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 20:24:14.897713
• Title: Arithmetic Feature Interaction Is Necessary for Deep Tabular Learning
• Title（参考訳）: 深層学習に必要な算数的特徴相互作用
• Authors: Yi Cheng, Renjun Hu, Haochao Ying, Xing Shi, Jian Wu, Wei Lin
• Abstract要約: 軽度な特徴相互作用を仮定した合成データセットを作成する。 本稿では,AMFormerと呼ばれる数値的特徴相互作用を実現する改良型トランスフォーマーアーキテクチャについて検討する。
• 参考スコア（独自算出の注目度）: 18.421189836570647
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Until recently, the question of the effective inductive bias of deep models on tabular data has remained unanswered. This paper investigates the hypothesis that arithmetic feature interaction is necessary for deep tabular learning. To test this point, we create a synthetic tabular dataset with a mild feature interaction assumption and examine a modified transformer architecture enabling arithmetical feature interactions, referred to as AMFormer. Results show that AMFormer outperforms strong counterparts in fine-grained tabular data modeling, data efficiency in training, and generalization. This is attributed to its parallel additive and multiplicative attention operators and prompt-based optimization, which facilitate the separation of tabular samples in an extended space with arithmetically-engineered features. Our extensive experiments on real-world data also validate the consistent effectiveness, efficiency, and rationale of AMFormer, suggesting it has established a strong inductive bias for deep learning on tabular data. Code is available at https://github.com/aigc-apps/AMFormer.
• Abstract（参考訳）: 最近まで、表データにおける深層モデルの効果的な帰納的バイアスの問題は未解決のままである。 本稿では,表層学習に算術的特徴相互作用が必要であるという仮説を考察する。 この点をテストするために、軽度の特徴相互作用を仮定した合成表式データセットを作成し、AMFormerと呼ばれる算術的特徴相互作用を実現する変換器アーキテクチャを検証した。 その結果、AMFormerは、きめ細かい表データモデリング、トレーニングにおけるデータ効率、一般化において、優れた性能を発揮することがわかった。 これは、並列加法と乗法的注意演算子とプロンプトベース最適化により、算術的な特徴を持つ拡張空間における表型サンプルの分離が容易になったためである。 実世界のデータに関する広範な実験は、amformerの一貫性のある有効性、効率性、理論的根拠を検証し、表データによる深層学習に対する強い帰納的バイアスを確立したことを示唆している。 コードはhttps://github.com/aigc-apps/amformerで入手できる。

関連論文リスト

• APAR: Modeling Irregular Target Functions in Tabular Regression via Arithmetic-Aware Pre-Training and Adaptive-Regularized Fine-Tuning [12.35924469567586]
  APAR(Arithmetic-Aware Pre-training and Adaptive-Regularized Fine-tuning framework)を提案する。 事前学習フェーズでは、APARは、連続ラベルの観点から複雑なサンプル-ワイド関係をキャプチャするための算術的な事前文の目的を導入している。 微調整フェーズでは、自己学習に適したデータ拡張のために、一貫性に基づく適応正規化手法が提案されている。
  論文  参考訳（メタデータ） (2024-12-14T19:33:21Z)
• Tabular data generation with tensor contraction layers and transformers [0.35998666903987897]
  テンソル縮退層と変圧器を用いて,データ生成に埋め込み表現を用いることの可能性を検討する。 OpenML CC18スイートの複数のデータセットを対象に実施した実証的研究では,密度推定モデルと機械学習効率指標を比較した。 この結果から得られた主な特徴は、テンソル収縮層の助けを借りて埋め込み表現を利用することで密度推定の指標が向上するが、機械学習効率の観点からは競合性能は維持できるということである。
  論文  参考訳（メタデータ） (2024-12-06T19:34:13Z)
• TabDiff: a Mixed-type Diffusion Model for Tabular Data Generation [91.50296404732902]
  グラフデータの混合型分布を1つのモデルでモデル化する共同拡散フレームワークであるTabDiffを紹介する。 我々の重要な革新は、数値データと分類データのための連立連続時間拡散プロセスの開発である。 TabDiffは、既存の競合ベースラインよりも優れた平均性能を実現し、ペアワイドカラム相関推定における最先端モデルよりも最大で22.5%改善されている。
  論文  参考訳（メタデータ） (2024-10-27T22:58:47Z)
• A Survey on Deep Tabular Learning [0.0]
  タブラルデータは、その不均一な性質と空間構造が欠如していることから、深層学習の独特な課題を提示する。 本調査では,早期完全接続ネットワーク(FCN)から,TabNet,SAINT,TabTranSELU,MambaNetといった先進アーキテクチャに至るまで,タブラルデータのディープラーニングモデルの進化を概観する。
  論文  参考訳（メタデータ） (2024-10-15T20:08:08Z)
• Distributionally robust self-supervised learning for tabular data [2.942619386779508]
  エラースライスの存在下での堅牢な表現の学習は、高い濃度特徴とエラーセットの構築の複雑さのために困難である。 従来の堅牢な表現学習手法は、コンピュータビジョンにおける教師付き設定における最悪のグループパフォーマンスの改善に主に焦点をあてている。 提案手法は,Masked Language Modeling (MLM) の損失を学習したエンコーダ・デコーダモデルを用いて,頑健な潜在表現を学習する。
  論文  参考訳（メタデータ） (2024-10-11T04:23:56Z)
• Discovering symbolic expressions with parallelized tree search [59.92040079807524]
  記号回帰は、データから簡潔で解釈可能な数学的表現を発見する能力のおかげで、科学研究において重要な役割を果たす。 既存のアルゴリズムは、複雑性の問題に対処する際の精度と効率の重要なボトルネックに直面してきた。 本稿では,限定データから汎用数学的表現を効率的に抽出する並列木探索(PTS)モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-05T10:41:15Z)
• Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
  ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。 本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。 新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
  論文  参考訳（メタデータ） (2024-03-04T08:38:56Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• Why do tree-based models still outperform deep learning on tabular data? [0.0]
  木をベースとしたモデルが中規模データの最先端のままであることを示す。 木系モデルとニューラルネットワーク(NN)の異なる帰納バイアスに関する実証的研究を行う。
  論文  参考訳（メタデータ） (2022-07-18T08:36:08Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。