論文の概要: Tabular Data: Is Attention All You Need?

• arxiv url: http://arxiv.org/abs/2402.03970v1
• Date: Tue, 6 Feb 2024 12:59:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 14:54:35.222431
• Title: Tabular Data: Is Attention All You Need?
• Title（参考訳）: 表データ:注意は必要なだけか?
• Authors: Guri Zab\"ergja, Arlind Kadra, Josif Grabocka
• Abstract要約: 本稿では、ニューラルネットワークと、構造データ上の勾配ブースト決定木を比較した大規模な実証的研究を紹介する。 これまでの研究とは対照的に、ニューラルネットワークは決定木と競合することを示している。
• 参考スコア（独自算出の注目度）: 23.787352248749382
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Learning has revolutionized the field of AI and led to remarkable achievements in applications involving image and text data. Unfortunately, there is inconclusive evidence on the merits of neural networks for structured tabular data. In this paper, we introduce a large-scale empirical study comparing neural networks against gradient-boosted decision trees on tabular data, but also transformer-based architectures against traditional multi-layer perceptrons (MLP) with residual connections. In contrast to prior work, our empirical findings indicate that neural networks are competitive against decision trees. Furthermore, we assess that transformer-based architectures do not outperform simpler variants of traditional MLP architectures on tabular datasets. As a result, this paper helps the research and practitioner communities make informed choices on deploying neural networks on future tabular data applications.
• Abstract（参考訳）: ディープラーニングはAIの分野に革命をもたらし、画像とテキストデータを含むアプリケーションにおいて顕著な成果をもたらした。 残念ながら、構造化表データに対するニューラルネットワークの利点には決定的な証拠がある。 本稿では,グラフデータ上の勾配ブースト決定木とニューラルネットワークを比較するとともに,残差接続を持つ従来の多層パーセプトロン(mlp)に対するトランスフォーマティブアーキテクチャを提案する。 これまでの研究とは対照的に、ニューラルネットワークは決定木と競合することを示している。 さらに、トランスフォーマーベースのアーキテクチャは、表型データセット上の従来のmlpアーキテクチャの単純な変種を上回らないことを評価した。 その結果,本稿は,将来の表型データアプリケーションにニューラルネットワークをデプロイする上で,研究者や実践者コミュニティが重要な選択を行うのに役立つ。

関連論文リスト

• Escaping the Forest: Sparse Interpretable Neural Networks for Tabular Data [0.0]
  我々のモデルであるSparse TABular NET や sTAB-Net がツリーベースモデルよりも効果的であることを示す。 SHAPのようなポストホックメソッドよりも優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-10-23T10:50:07Z)
• Modern Neighborhood Components Analysis: A Deep Tabular Baseline Two Decades Later [59.88557193062348]
  我々は、インスタンス間のセマンティックな類似性をキャプチャする線形射影を学習するために設計された古典的近傍成分分析(NCA)を再考する。 学習目的の調整や深層学習アーキテクチャの統合といった微調整は,NAAの性能を著しく向上させることがわかった。 また,提案したModernNCAの効率性と予測精度を向上する,近隣のサンプリング戦略も導入する。
  論文  参考訳（メタデータ） (2024-07-03T16:38:57Z)
• A Closer Look at Deep Learning Methods on Tabular Datasets [52.50778536274327]
  タブラルデータは、機械学習のさまざまな領域で広く使われている。 Deep Neural Network(DNN)ベースの手法は最近、有望なパフォーマンスを実証した。 我々は,32種類の最先端の深部・木質の手法を比較し,その平均性能を複数の基準で評価した。
  論文  参考訳（メタデータ） (2024-07-01T04:24:07Z)
• Homological Convolutional Neural Networks [4.615338063719135]
  本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。 5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
  論文  参考訳（メタデータ） (2023-08-26T08:48:51Z)
• NCART: Neural Classification and Regression Tree for Tabular Data [0.5439020425819]
  NCARTはResidual Networksの修正版で、完全に接続されたレイヤを複数の識別不能な決定木で置き換える。 ニューラルネットワークのエンドツーエンド能力の恩恵を受けながら、解釈可能性を維持している。 NCARTアーキテクチャの単純さは、さまざまなサイズのデータセットに適している。
  論文  参考訳（メタデータ） (2023-07-23T01:27:26Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Why do tree-based models still outperform deep learning on tabular data? [0.0]
  木をベースとしたモデルが中規模データの最先端のままであることを示す。 木系モデルとニューラルネットワーク(NN)の異なる帰納バイアスに関する実証的研究を行う。
  論文  参考訳（メタデータ） (2022-07-18T08:36:08Z)
• Transfer Learning with Deep Tabular Models [66.67017691983182]
  上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。 そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。 上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T14:24:32Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Model-Based Deep Learning [155.063817656602]
  信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。 ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。 私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
  論文  参考訳（メタデータ） (2020-12-15T16:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。