論文の概要: The GatedTabTransformer. An enhanced deep learning architecture for
tabular modeling
- arxiv url: http://arxiv.org/abs/2201.00199v1
- Date: Sat, 1 Jan 2022 14:52:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-05 00:38:36.042610
- Title: The GatedTabTransformer. An enhanced deep learning architecture for
tabular modeling
- Title(参考訳): gatedtabtransformer (複数形 gatedtabtransformers)
表型モデリングのための拡張型ディープラーニングアーキテクチャ
- Authors: Radostin Cholakov and Todor Kolev
- Abstract要約: そこで本研究では,従来のTabTransformerのバイナリ分類タスクの改良について述べる。
ゲートにインスパイアされた線形射影はブロック内に実装され、複数のアクティベーション関数がテストされる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: There is an increasing interest in the application of deep learning
architectures to tabular data. One of the state-of-the-art solutions is
TabTransformer which incorporates an attention mechanism to better track
relationships between categorical features and then makes use of a standard MLP
to output its final logits. In this paper we propose multiple modifications to
the original TabTransformer performing better on binary classification tasks
for three separate datasets with more than 1% AUROC gains. Inspired by gated
MLP, linear projections are implemented in the MLP block and multiple
activation functions are tested. We also evaluate the importance of specific
hyper parameters during training.
- Abstract(参考訳): グラフデータへのディープラーニングアーキテクチャの適用に対する関心が高まっている。
最先端ソリューションの1つであるTabTransformerは、カテゴリー的特徴間の関係をよりよく追跡するためのアテンションメカニズムを導入し、次に標準のMLPを使用して最終ログを出力する。
本稿では,1%以上のAUROCゲインを持つ3つのデータセットのバイナリ分類タスクにおいて,元のTabTransformerに対する複数の修正を提案する。
ゲート型MLPにインスパイアされた線形射影はMLPブロックに実装され、複数のアクティベーション関数をテストする。
また,訓練中のハイパーパラメータの重要性も評価した。
関連論文リスト
- Deep Learning with Tabular Data: A Self-supervised Approach [0.0]
本研究では,自己指導型学習手法を用いた。
目的は、分類的特徴と数値的特徴の最も効果的なTabTransformerモデル表現を見つけることである。
この研究は、TabTransformerモデルの様々なバリエーションを作成することによって、新しいアプローチを提示している。
論文 参考訳(メタデータ) (2024-01-26T23:12:41Z) - Tuning Pre-trained Model via Moment Probing [62.445281364055795]
本稿では,LP の可能性を探るため,新しい Moment Probing (MP) 法を提案する。
MPは、最終特徴の平均に基づいて線形分類ヘッドを実行する。
当社のMPはLPを著しく上回り、トレーニングコストの低い相手と競争しています。
論文 参考訳(メタデータ) (2023-07-21T04:15:02Z) - Learning a Fourier Transform for Linear Relative Positional Encodings in
Transformers [60.58073666177477]
我々はLearner-Transformers(Learner-Transformers)と呼ばれる線形変換器の新しいクラスを提案する。
学習者変換器は、幅広い相対的位置符号化機構(RPE)を組み込む
また、画像分類や3次元分子モデリングといった他のデータモダリティやタスクについても、sを徹底的に検証した。
論文 参考訳(メタデータ) (2023-02-03T18:57:17Z) - The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in
Transformers [59.87030906486969]
本稿では,Transformer アーキテクチャを用いた機械学習モデルにおいて,アクティベーションマップが疎いという興味深い現象について考察する。
本稿では, 自然言語処理と視覚処理の両方において, スパーシリティが顕著な現象であることを示す。
本稿では,変換器のFLOP数を大幅に削減し,効率を向上する手法について論じる。
論文 参考訳(メタデータ) (2022-10-12T15:25:19Z) - Learning Implicit Feature Alignment Function for Semantic Segmentation [51.36809814890326]
Implicit Feature Alignment Function (IFA)は、暗黙の神経表現の急速に拡大するトピックにインスパイアされている。
IFAは機能マップを異なるレベルで暗黙的に整列し、任意の解像度でセグメンテーションマップを生成することができることを示す。
提案手法は,様々なアーキテクチャの改善と組み合わせて,一般的なベンチマークにおける最先端の精度のトレードオフを実現する。
論文 参考訳(メタデータ) (2022-06-17T09:40:14Z) - FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。
3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
論文 参考訳(メタデータ) (2022-03-24T07:26:29Z) - On Embeddings for Numerical Features in Tabular Deep Learning [35.26886042632547]
トランスフォーマーのようなディープアーキテクチャは、データ問題に強いパフォーマンスを示している。
従来のモデルとは異なり、これらのアーキテクチャは数値的な特徴のスカラー値を高次元埋め込みにマッピングする。
数値的な特徴を埋め込むことは多くのバックボーンにとって有益であることを示す。
論文 参考訳(メタデータ) (2022-03-10T18:59:21Z) - Memory-efficient Transformers via Top-$k$ Attention [23.672065688109395]
本研究では,バニラ注意のための簡易かつ高精度な近似法を提案する。
クェリをチャンクで処理し、各クェリに対してキーに関するトップ$kのスコアを計算します。
我々のアプローチは、スクラッチからのトレーニング、微調整、ゼロショット推論を含む複数のセットアップにおいて、バニラの注意にほぼ同一の精度をもたらすことを示す。
論文 参考訳(メタデータ) (2021-06-13T02:30:23Z) - TabTransformer: Tabular Data Modeling Using Contextual Embeddings [23.509063910635692]
教師付きおよび半教師付き学習のための新しい深層データモデリングアーキテクチャであるTabTransformerを提案する。
トランスフォーマー層はカテゴリの特徴の埋め込みをロバストなコンテキスト埋め込みに変換し、高い予測精度を達成する。
半教師付き環境では、データ駆動型コンテキスト埋め込みを学習するための教師なし事前学習手法を開発し、その結果、最先端の手法を平均2.1%のAUCリフトする。
論文 参考訳(メタデータ) (2020-12-11T23:31:23Z) - Multi-layer Optimizations for End-to-End Data Analytics [71.05611866288196]
代替アプローチを実現するフレームワークであるIFAQ(Iterative Functional Aggregate Queries)を紹介する。
IFAQは、特徴抽出クエリと学習タスクを、IFAQのドメイン固有言語で与えられた1つのプログラムとして扱う。
IFAQ の Scala 実装が mlpack,Scikit,特殊化を数桁で上回り,線形回帰木モデルや回帰木モデルを複数の関係データセット上で処理可能であることを示す。
論文 参考訳(メタデータ) (2020-01-10T16:14:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。