論文の概要: Revisiting Deep Learning Models for Tabular Data

• arxiv url: http://arxiv.org/abs/2106.11959v5
• Date: Thu, 26 Oct 2023 12:00:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-28 07:13:47.528080
• Title: Revisiting Deep Learning Models for Tabular Data
• Title（参考訳）: 語彙データのための深層学習モデルの再検討
• Authors: Yury Gorishniy, Ivan Rubachev, Valentin Khrulkov, Artem Babenko
• Abstract要約: 研究者と実践者の両方にとって、どのモデルが優れているかは定かではない。 ひとつはResNetのようなアーキテクチャで、以前の作業でしばしば欠落する強力なベースラインであることが分かりました。 第2のモデルは、表データに対するTransformerアーキテクチャの簡単な適応であり、ほとんどのタスクにおいて他のソリューションよりも優れています。
• 参考スコア（独自算出の注目度）: 40.67427600770095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The existing literature on deep learning for tabular data proposes a wide range of novel architectures and reports competitive results on various datasets. However, the proposed models are usually not properly compared to each other and existing works often use different benchmarks and experiment protocols. As a result, it is unclear for both researchers and practitioners what models perform best. Additionally, the field still lacks effective baselines, that is, the easy-to-use models that provide competitive performance across different problems. In this work, we perform an overview of the main families of DL architectures for tabular data and raise the bar of baselines in tabular DL by identifying two simple and powerful deep architectures. The first one is a ResNet-like architecture which turns out to be a strong baseline that is often missing in prior works. The second model is our simple adaptation of the Transformer architecture for tabular data, which outperforms other solutions on most tasks. Both models are compared to many existing architectures on a diverse set of tasks under the same training and tuning protocols. We also compare the best DL models with Gradient Boosted Decision Trees and conclude that there is still no universally superior solution.
• Abstract（参考訳）: 表形式のデータに対するディープラーニングに関する既存の文献は、幅広い新しいアーキテクチャを提案し、様々なデータセットで競合する結果を報告している。 しかしながら、提案されたモデルは、通常、互いに適切に比較されないため、既存の作業では、しばしば異なるベンチマークと実験プロトコルを使用する。 その結果、研究者と実践者の両方にとって、どのモデルが優れているかは明らかでない。 さらに、フィールドには効果的なベースライン、すなわち様々な問題にまたがる競争性能を提供する使いやすいモデルがない。 本研究では,2つの単純かつ強力な深層アーキテクチャを識別することにより,表層データに対するDLアーキテクチャのメインファミリーの概要と表層DLにおけるベースラインのバーを高める。 ひとつはResNetのようなアーキテクチャで、以前の作業でしばしば欠落する強力なベースラインであることが分かりました。 第2のモデルは、表データに対するTransformerアーキテクチャの簡単な適応であり、ほとんどのタスクにおいて他のソリューションよりも優れています。 どちらのモデルも、同じトレーニングおよびチューニングプロトコルの下で様々なタスクセットで既存のアーキテクチャと比較される。 また、最高のDLモデルとGradient Boosted Decision Treesを比較して、まだ普遍的に優れたソリューションがないと結論づける。

関連論文リスト

• GFS: Graph-based Feature Synthesis for Prediction over Relational Databases [39.975491511390985]
  グラフベース特徴合成(GFS)と呼ばれる新しいフレームワークを提案する。 GFSは関係データベースを異種グラフデータベースとして定式化する。 4つの実世界のマルチテーブルリレーショナルデータベースに対する実験では、GFSはリレーショナルデータベース用に設計された従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-12-04T16:54:40Z)
• TabR: Tabular Deep Learning Meets Nearest Neighbors in 2023 [33.70333110327871]
  TabR -- 基本的には、中央にカスタムk-Nearest-Neighborsのようなコンポーネントを備えたフィードフォワードネットワークを提供します。 数百万オブジェクトまでのデータセットを持つ公開ベンチマークセットでは、TabRが最高の平均パフォーマンスを示している。 はるかに高いパフォーマンスに加えて、TabRはシンプルで、はるかに効率的です。
  論文  参考訳（メタデータ） (2023-07-26T17:58:07Z)
• Federated Learning with Heterogeneous Architectures using Graph HyperNetworks [154.60662664160333]
  パラメータ共有にグラフハイパーネットワークを採用することにより、異種クライアントアーキテクチャに対応する新しいFLフレームワークを提案する。 既存のソリューションとは異なり、当社のフレームワークは、クライアントが同じアーキテクチャタイプを共有することを制限せず、外部データも使用せず、クライアントがモデルアーキテクチャを公開する必要もありません。
  論文  参考訳（メタデータ） (2022-01-20T21:36:25Z)
• Data Summarization via Bilevel Optimization [48.89977988203108]
  シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。 本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T09:08:38Z)
• AutoRC: Improving BERT Based Relation Classification Models via Architecture Search [50.349407334562045]
  BERTに基づく関係分類(RC)モデルは、従来のディープラーニングモデルよりも大幅に改善されている。 最適なアーキテクチャとは何かという合意は得られない。 BERTをベースとしたRCモデルのための包括的検索空間を設計し、設計選択を自動的に検出するためにNAS(Neural Architecture Search)手法を用いる。
  論文  参考訳（メタデータ） (2020-09-22T16:55:49Z)
• CorDEL: A Contrastive Deep Learning Approach for Entity Linkage [70.82533554253335]
  エンティティリンケージ(EL)は、データのクリーニングと統合において重要な問題である。 新たなデータの増加に伴い、ディープラーニング(DL)ベースのアプローチが提案され、従来のモデルに付随するELの高コスト化が図られている。 我々は、ツインネットワークアーキテクチャはELに準最適であり、既存のモデルに固有の欠点をもたらすと主張している。
  論文  参考訳（メタデータ） (2020-09-15T16:33:05Z)
• NASE: Learning Knowledge Graph Embedding for Link Prediction via Neural Architecture Search [9.634626241415916]
  リンク予測は、知識グラフ(KG)におけるエンティティ間の欠落した接続を予測するタスクである これまでの研究では、Automated Machine Learning(AutoML)を使用して、データセットに最適なモデルを探していた。 リンク予測タスクのための新しいニューラルネットワーク探索(NAS)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-18T03:34:09Z)
• Abstractive and mixed summarization for long-single documents [2.792030485253753]
  本稿では、異なるモデルが訓練されたデータセットとして、科学的論文を用いる。 この研究では、6つの異なるモデルを比較した。2つはRNNアーキテクチャ、もう1つはCNNアーキテクチャ、もう1つはTransformerアーキテクチャ、もう1つは強化学習を組み合わせたTransformerアーキテクチャである。
  論文  参考訳（メタデータ） (2020-07-03T19:30:28Z)
• Deep transfer learning for improving single-EEG arousal detection [63.52264764099532]
  2つのデータセットは、単一のEEGモデルでパフォーマンスが低下する原因となる、まったく同じ設定を含んでいない。 単チャンネル脳波データのためのアーキテクチャを構築するために,ベースラインモデルをトレーニングし,最初の2層を置き換える。 細調整戦略を用いて,本モデルはベースラインモデルと同等の性能を示し,同等の単一チャネルモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-10T16:51:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。