論文の概要: On Embeddings for Numerical Features in Tabular Deep Learning

• arxiv url: http://arxiv.org/abs/2203.05556v4
• Date: Thu, 26 Oct 2023 12:11:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-28 06:52:27.659383
• Title: On Embeddings for Numerical Features in Tabular Deep Learning
• Title（参考訳）: タブラルディープラーニングにおける数値的特徴の埋め込みについて
• Authors: Yury Gorishniy and Ivan Rubachev and Artem Babenko
• Abstract要約: トランスフォーマーのようなディープアーキテクチャは、データ問題に強いパフォーマンスを示している。 従来のモデルとは異なり、これらのアーキテクチャは数値的な特徴のスカラー値を高次元埋め込みにマッピングする。 数値的な特徴を埋め込むことは多くのバックボーンにとって有益であることを示す。
• 参考スコア（独自算出の注目度）: 35.26886042632547
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Transformer-like deep architectures have shown strong performance on tabular data problems. Unlike traditional models, e.g., MLP, these architectures map scalar values of numerical features to high-dimensional embeddings before mixing them in the main backbone. In this work, we argue that embeddings for numerical features are an underexplored degree of freedom in tabular DL, which allows constructing more powerful DL models and competing with GBDT on some traditionally GBDT-friendly benchmarks. We start by describing two conceptually different approaches to building embedding modules: the first one is based on a piecewise linear encoding of scalar values, and the second one utilizes periodic activations. Then, we empirically demonstrate that these two approaches can lead to significant performance boosts compared to the embeddings based on conventional blocks such as linear layers and ReLU activations. Importantly, we also show that embedding numerical features is beneficial for many backbones, not only for Transformers. Specifically, after proper embeddings, simple MLP-like models can perform on par with the attention-based architectures. Overall, we highlight embeddings for numerical features as an important design aspect with good potential for further improvements in tabular DL.
• Abstract（参考訳）: 近年,トランスフォーマーのような深層アーキテクチャは表型データ問題に対して高い性能を示している。 MLPのような従来のモデルとは異なり、これらのアーキテクチャはスカラー値の数値特徴をメインのバックボーンに混ぜる前に高次元の埋め込みにマッピングする。 本研究では,従来の GBDT 対応ベンチマークにおいて,より強力な DL モデルの構築と GBDT との競合を可能にするため,数値的特徴の埋め込みは,表型 DL の過度な自由度である,と論じる。 まず、埋め込み加群を構築するための概念的に異なる2つのアプローチについて説明する: 1つはスカラー値の断片的線形符号化に基づくもので、2つ目は周期的アクティベーションを利用する。 次に,これら2つのアプローチが,線形層やreluアクティベーションといった従来のブロックに基づく組込みと比較して,大幅なパフォーマンス向上につながることを実証する。 重要なのは,トランスフォーマーだけでなく,多くのバックボーンにも数値的特徴を埋め込むことが有益であることを示すことである。 具体的には、適切な埋め込みの後、単純なMLPのようなモデルは注意に基づくアーキテクチャと同等に機能する。 全体として、数値的な特徴の埋め込みを重要な設計の側面として強調し、表状DLのさらなる改善の可能性を秘めている。

関連論文リスト

• Transformers with Stochastic Competition for Tabular Data Modelling [6.285325771390289]
  本稿では,表型データに特化して設計された新しいディープラーニングモデルを提案する。 このモデルは、広く使用されており、公開されているさまざまなデータセットで検証されている。 これらの要素を組み込むことで、我々のモデルは高い性能が得られることを実証する。
  論文  参考訳（メタデータ） (2024-07-18T07:48:48Z)
• Modern Neighborhood Components Analysis: A Deep Tabular Baseline Two Decades Later [59.88557193062348]
  我々は、インスタンス間のセマンティックな類似性をキャプチャする線形射影を学習するために設計された古典的近傍成分分析(NCA)を再考する。 学習目的の調整や深層学習アーキテクチャの統合といった微調整は,NAAの性能を著しく向上させることがわかった。 また,提案したModernNCAの効率性と予測精度を向上する,近隣のサンプリング戦略も導入する。
  論文  参考訳（メタデータ） (2024-07-03T16:38:57Z)
• Knowledge Composition using Task Vectors with Learned Anisotropic Scaling [51.4661186662329]
  本稿では,パラメータブロックと異なる学習係数を線形に組み合わせ,タスクベクトルレベルでの異方性スケーリングを実現するアルゴリズムであるaTLASを紹介する。 このような線形結合は事前学習されたモデルの低内在性を明示的に利用しており、学習可能なパラメータは数係数のみであることを示す。 本稿では,タスク算術,少数ショット認識,テスト時間適応において,教師なしあるいは教師なしの目的を用いた手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-07-03T07:54:08Z)
• Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
  ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。 本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。 新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
  論文  参考訳（メタデータ） (2024-03-04T08:38:56Z)
• Tree-Regularized Tabular Embeddings [22.095328171882223]
  タブラルニューラルネットワーク(NN)は注目を浴びており、近年の進歩により、多くの公開データセット上のツリーベースモデルに対するパフォーマンスギャップが徐々に狭まりつつある。 我々は、均質な埋め込みの重要性を強調し、教師付き事前学習による入力の正規化に交互に集中する。 具体的には、事前訓練された木のアンサンブルの構造を利用して、生変数を単一のベクトル(T2V)またはトークンの配列(T2T)に変換する。
  論文  参考訳（メタデータ） (2024-03-01T20:26:33Z)
• TabR: Tabular Deep Learning Meets Nearest Neighbors in 2023 [33.70333110327871]
  TabR -- 基本的には、中央にカスタムk-Nearest-Neighborsのようなコンポーネントを備えたフィードフォワードネットワークを提供します。 数百万オブジェクトまでのデータセットを持つ公開ベンチマークセットでは、TabRが最高の平均パフォーマンスを示している。 はるかに高いパフォーマンスに加えて、TabRはシンプルで、はるかに効率的です。
  論文  参考訳（メタデータ） (2023-07-26T17:58:07Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• The GatedTabTransformer. An enhanced deep learning architecture for tabular modeling [0.0]
  そこで本研究では,従来のTabTransformerのバイナリ分類タスクの改良について述べる。 ゲートにインスパイアされた線形射影はブロック内に実装され、複数のアクティベーション関数がテストされる。
  論文  参考訳（メタデータ） (2022-01-01T14:52:04Z)
• Revisiting Deep Learning Models for Tabular Data [40.67427600770095]
  研究者と実践者の両方にとって、どのモデルが優れているかは定かではない。 ひとつはResNetのようなアーキテクチャで、以前の作業でしばしば欠落する強力なベースラインであることが分かりました。 第2のモデルは、表データに対するTransformerアーキテクチャの簡単な適応であり、ほとんどのタスクにおいて他のソリューションよりも優れています。
  論文  参考訳（メタデータ） (2021-06-22T17:58:10Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。