論文の概要: Revisiting Deep Learning Models for Tabular Data

• arxiv url: http://arxiv.org/abs/2106.11959v1
• Date: Tue, 22 Jun 2021 17:58:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-23 14:48:02.962038
• Title: Revisiting Deep Learning Models for Tabular Data
• Title（参考訳）: 語彙データのための深層学習モデルの再検討
• Authors: Yury Gorishniy, Ivan Rubachev, Valentin Khrulkov, Artem Babenko
• Abstract要約: GBDT モデルと DL モデルの選択はデータに大きく依存していることが示される。 単純なResNetのようなアーキテクチャは驚くほど効果的なベースラインであり、DL文学の洗練されたモデルのほとんどを上回ります。
• 参考スコア（独自算出の注目度）: 24.010681808413395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The necessity of deep learning for tabular data is still an unanswered question addressed by a large number of research efforts. The recent literature on tabular DL proposes several deep architectures reported to be superior to traditional "shallow" models like Gradient Boosted Decision Trees. However, since existing works often use different benchmarks and tuning protocols, it is unclear if the proposed models universally outperform GBDT. Moreover, the models are often not compared to each other, therefore, it is challenging to identify the best deep model for practitioners. In this work, we start from a thorough review of the main families of DL models recently developed for tabular data. We carefully tune and evaluate them on a wide range of datasets and reveal two significant findings. First, we show that the choice between GBDT and DL models highly depends on data and there is still no universally superior solution. Second, we demonstrate that a simple ResNet-like architecture is a surprisingly effective baseline, which outperforms most of the sophisticated models from the DL literature. Finally, we design a simple adaptation of the Transformer architecture for tabular data that becomes a new strong DL baseline and reduces the gap between GBDT and DL models on datasets where GBDT dominates.
• Abstract（参考訳）: 表形式のデータに対する深層学習の必要性は、まだ多くの研究努力によって解決される未解決の問題である。 テーブル型dlに関する最近の文献では、勾配ブースト決定木のような伝統的な「シュロー」モデルよりも優れていると報告されたいくつかの深いアーキテクチャを提案する。 しかし、既存の作業ではベンチマークやチューニングプロトコルが異なることが多いため、提案したモデルがGBDTを普遍的に上回っているかどうかは不明である。 さらに、モデルが互いに比較されないことが多いため、実践者にとって最高の深層モデルを特定するのは難しい。 本稿では,最近,表データ向けに開発されたdlモデルの主要ファミリの徹底的なレビューから始める。 幅広いデータセットで注意深くチューニングし、評価し、2つの重要な発見を明らかにした。 まず、gbdtモデルとdlモデルの選択がデータに依存することを示し、未だに普遍的に優れたソリューションはないことを示す。 第二に、単純なResNetのようなアーキテクチャが驚くほど効果的なベースラインであることを示し、DL文学の洗練されたモデルの大半を上回ります。 最後に,新しい強力なDLベースラインとなる表データに対する Transformer アーキテクチャの簡単な適応を設計し,GBDT が支配するデータセット上での GBDT と DL モデル間のギャップを低減する。

関連論文リスト

• GFS: Graph-based Feature Synthesis for Prediction over Relational Databases [39.975491511390985]
  グラフベース特徴合成(GFS)と呼ばれる新しいフレームワークを提案する。 GFSは関係データベースを異種グラフデータベースとして定式化する。 4つの実世界のマルチテーブルリレーショナルデータベースに対する実験では、GFSはリレーショナルデータベース用に設計された従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-12-04T16:54:40Z)
• TabR: Tabular Deep Learning Meets Nearest Neighbors in 2023 [33.70333110327871]
  TabR -- 基本的には、中央にカスタムk-Nearest-Neighborsのようなコンポーネントを備えたフィードフォワードネットワークを提供します。 数百万オブジェクトまでのデータセットを持つ公開ベンチマークセットでは、TabRが最高の平均パフォーマンスを示している。 はるかに高いパフォーマンスに加えて、TabRはシンプルで、はるかに効率的です。
  論文  参考訳（メタデータ） (2023-07-26T17:58:07Z)
• Federated Learning with Heterogeneous Architectures using Graph HyperNetworks [154.60662664160333]
  パラメータ共有にグラフハイパーネットワークを採用することにより、異種クライアントアーキテクチャに対応する新しいFLフレームワークを提案する。 既存のソリューションとは異なり、当社のフレームワークは、クライアントが同じアーキテクチャタイプを共有することを制限せず、外部データも使用せず、クライアントがモデルアーキテクチャを公開する必要もありません。
  論文  参考訳（メタデータ） (2022-01-20T21:36:25Z)
• Data Summarization via Bilevel Optimization [48.89977988203108]
  シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。 本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T09:08:38Z)
• AutoRC: Improving BERT Based Relation Classification Models via Architecture Search [50.349407334562045]
  BERTに基づく関係分類(RC)モデルは、従来のディープラーニングモデルよりも大幅に改善されている。 最適なアーキテクチャとは何かという合意は得られない。 BERTをベースとしたRCモデルのための包括的検索空間を設計し、設計選択を自動的に検出するためにNAS(Neural Architecture Search)手法を用いる。
  論文  参考訳（メタデータ） (2020-09-22T16:55:49Z)
• CorDEL: A Contrastive Deep Learning Approach for Entity Linkage [70.82533554253335]
  エンティティリンケージ(EL)は、データのクリーニングと統合において重要な問題である。 新たなデータの増加に伴い、ディープラーニング(DL)ベースのアプローチが提案され、従来のモデルに付随するELの高コスト化が図られている。 我々は、ツインネットワークアーキテクチャはELに準最適であり、既存のモデルに固有の欠点をもたらすと主張している。
  論文  参考訳（メタデータ） (2020-09-15T16:33:05Z)
• NASE: Learning Knowledge Graph Embedding for Link Prediction via Neural Architecture Search [9.634626241415916]
  リンク予測は、知識グラフ(KG)におけるエンティティ間の欠落した接続を予測するタスクである これまでの研究では、Automated Machine Learning(AutoML)を使用して、データセットに最適なモデルを探していた。 リンク予測タスクのための新しいニューラルネットワーク探索(NAS)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-18T03:34:09Z)
• Abstractive and mixed summarization for long-single documents [2.792030485253753]
  本稿では、異なるモデルが訓練されたデータセットとして、科学的論文を用いる。 この研究では、6つの異なるモデルを比較した。2つはRNNアーキテクチャ、もう1つはCNNアーキテクチャ、もう1つはTransformerアーキテクチャ、もう1つは強化学習を組み合わせたTransformerアーキテクチャである。
  論文  参考訳（メタデータ） (2020-07-03T19:30:28Z)
• Deep transfer learning for improving single-EEG arousal detection [63.52264764099532]
  2つのデータセットは、単一のEEGモデルでパフォーマンスが低下する原因となる、まったく同じ設定を含んでいない。 単チャンネル脳波データのためのアーキテクチャを構築するために,ベースラインモデルをトレーニングし,最初の2層を置き換える。 細調整戦略を用いて,本モデルはベースラインモデルと同等の性能を示し,同等の単一チャネルモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-10T16:51:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。