論文の概要: Is Deep Learning finally better than Decision Trees on Tabular Data?

• arxiv url: http://arxiv.org/abs/2402.03970v2
• Date: Fri, 14 Feb 2025 14:37:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 19:47:35.370725
• Title: Is Deep Learning finally better than Decision Trees on Tabular Data?
• Title（参考訳）: ディープラーニングは、タブラルデータ上の決定木よりも最終的に優れているか?
• Authors: Guri Zabërgja, Arlind Kadra, Christian M. M. Frey, Josif Grabocka,
• Abstract要約: タブラルデータは、多くの現実世界のアプリケーションでその汎用性と使いやすさのために、ユビキタスなデータモダリティである。 データに関する最近の研究は、この領域におけるニューラルネットワークの限界についてユニークな視点を提供する。 本研究は、その基礎となる学習パラダイムに基づいて、10の最先端モデルを分類する。
• 参考スコア（独自算出の注目度）: 19.657605376506357
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular data is a ubiquitous data modality due to its versatility and ease of use in many real-world applications. The predominant heuristics for handling classification tasks on tabular data rely on classical machine learning techniques, as the superiority of deep learning models has not yet been demonstrated. This raises the question of whether new deep learning paradigms can surpass classical approaches. Recent studies on tabular data offer a unique perspective on the limitations of neural networks in this domain and highlight the superiority of gradient boosted decision trees (GBDTs) in terms of scalability and robustness across various datasets. However, novel foundation models have not been thoroughly assessed regarding quality or fairly compared to existing methods for tabular classification. Our study categorizes ten state-of-the-art neural models based on their underlying learning paradigm, demonstrating specifically that meta-learned foundation models outperform GBDTs in small data regimes. Although dataset-specific neural networks generally outperform LLM-based tabular classifiers, they are surpassed by an AutoML library which exhibits the best performance but at the cost of higher computational demands.
• Abstract（参考訳）: タブラルデータは、多くの現実世界のアプリケーションでその汎用性と使いやすさのために、ユビキタスなデータモダリティである。 表型データにおける分類タスクを扱うための主なヒューリスティックスは、ディープラーニングモデルの優位性はまだ証明されていないため、古典的な機械学習技術に依存している。 これは、新しいディープラーニングパラダイムが古典的なアプローチを超えることができるかどうかという疑問を提起する。 グラフデータに関する最近の研究は、この領域におけるニューラルネットワークの限界についてユニークな視点を提供し、様々なデータセットにわたるスケーラビリティと堅牢性の観点から、勾配強化決定木(GBDT)の優位性を強調している。 しかし、新しい基礎モデルは、従来の表型分類法と比較して、品質について徹底的に評価されていない。 本研究は,基礎となる学習パラダイムに基づく10の最先端ニューラルネットワークを分類し,メタ学習基盤モデルが小データレシエーションにおいてGBDTよりも優れていることを示す。 データセット固有のニューラルネットワークは、一般的にLLMベースの表型分類器よりも優れているが、高い計算要求のコストで最高のパフォーマンスを示すAutoMLライブラリに勝っている。

関連論文リスト

• Escaping the Forest: Sparse Interpretable Neural Networks for Tabular Data [0.0]
  我々のモデルであるSparse TABular NET や sTAB-Net がツリーベースモデルよりも効果的であることを示す。 SHAPのようなポストホックメソッドよりも優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-10-23T10:50:07Z)
• A Survey on Deep Tabular Learning [0.0]
  タブラルデータは、その不均一な性質と空間構造が欠如していることから、深層学習の独特な課題を提示する。 本調査では,早期完全接続ネットワーク(FCN)から,TabNet,SAINT,TabTranSELU,MambaNetといった先進アーキテクチャに至るまで,タブラルデータのディープラーニングモデルの進化を概観する。
  論文  参考訳（メタデータ） (2024-10-15T20:08:08Z)
• Hidden Activations Are Not Enough: A General Approach to Neural Network Predictions [0.0]
  本稿では,クイバー表現理論のツールを用いたニューラルネットワーク解析のための新しい数学的枠組みを提案する。 データサンプルの帰納的クイバー表現を活用することで、従来の隠蔽層出力よりも多くの情報をキャプチャする。 結果はアーキテクチャ非依存でタスク非依存であり、広く適用できます。
  論文  参考訳（メタデータ） (2024-09-20T02:35:13Z)
• Mambular: A Sequential Model for Tabular Deep Learning [0.7184556517162347]
  本稿では,グラフデータに対する自己回帰状態空間モデルの利用について検討する。 既存のベンチマークモデルと比較する。 その結果,特徴をシーケンスとして解釈して処理することで,大幅な性能向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-08-12T16:57:57Z)
• Revisiting Nearest Neighbor for Tabular Data: A Deep Tabular Baseline Two Decades Later [76.66498833720411]
  K$-nearest neighbors (KNN) はもともと,インスタンス間のセマンティックな類似性を捉えるために線形投影を学習するために設計されたものだ。 意外なことに、SGDを用いたNAAの実装と次元減少のない実装は、表データの良好な性能をすでに達成しています。 本稿では、損失関数、予測戦略、深いアーキテクチャなど、これらの改善の背景にある要因を分析して、論文を締めくくる。
  論文  参考訳（メタデータ） (2024-07-03T16:38:57Z)
• A Closer Look at Deep Learning Methods on Tabular Datasets [52.50778536274327]
  タブラルデータは、機械学習のさまざまな領域で広く使われている。 Deep Neural Network(DNN)ベースの手法は最近、有望なパフォーマンスを実証した。 我々は,32種類の最先端の深部・木質の手法を比較し,その平均性能を複数の基準で評価した。
  論文  参考訳（メタデータ） (2024-07-01T04:24:07Z)
• Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
  本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。 本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。 MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
  論文  参考訳（メタデータ） (2024-02-04T08:57:42Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• NCART: Neural Classification and Regression Tree for Tabular Data [0.5439020425819]
  NCARTはResidual Networksの修正版で、完全に接続されたレイヤを複数の識別不能な決定木で置き換える。 ニューラルネットワークのエンドツーエンド能力の恩恵を受けながら、解釈可能性を維持している。 NCARTアーキテクチャの単純さは、さまざまなサイズのデータセットに適している。
  論文  参考訳（メタデータ） (2023-07-23T01:27:26Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Why do tree-based models still outperform deep learning on tabular data? [0.0]
  木をベースとしたモデルが中規模データの最先端のままであることを示す。 木系モデルとニューラルネットワーク(NN)の異なる帰納バイアスに関する実証的研究を行う。
  論文  参考訳（メタデータ） (2022-07-18T08:36:08Z)
• Transfer Learning with Deep Tabular Models [66.67017691983182]
  上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。 そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。 上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T14:24:32Z)
• Dive into Layers: Neural Network Capacity Bounding using Algebraic Geometry [55.57953219617467]
  ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。 入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。 実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
  論文  参考訳（メタデータ） (2021-09-03T11:45:51Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• TabularNet: A Neural Network Architecture for Understanding Semantic Structures of Tabular Data [30.479822289380255]
  本稿では,テーブルから空間情報と関係情報を同時に抽出する新しいニューラルネットワークアーキテクチャであるTabularNetを提案する。 リレーショナル情報のために,WordNet木に基づく新しいグラフ構築法を設計し,GCNベースのエンコーダを採用する。 私たちのニューラルネットワークアーキテクチャは、さまざまな理解タスクのための統一されたニューラルネットワークバックボーンであり、マルチタスクシナリオで利用できます。
  論文  参考訳（メタデータ） (2021-06-06T11:48:09Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Model-Based Deep Learning [155.063817656602]
  信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。 ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。 私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
  論文  参考訳（メタデータ） (2020-12-15T16:29:49Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。