Fugu-MT 論文翻訳(概要): The GatedTabTransformer. An enhanced deep learning architecture for tabular modeling

論文の概要: The GatedTabTransformer. An enhanced deep learning architecture for tabular modeling

arxiv url: http://arxiv.org/abs/2201.00199v1
Date: Sat, 1 Jan 2022 14:52:04 GMT
ステータス: 処理完了
システム内更新日: 2022-01-05 00:38:36.042610
Title: The GatedTabTransformer. An enhanced deep learning architecture for tabular modeling
Title（参考訳）: gatedtabtransformer (複数形 gatedtabtransformers) 表型モデリングのための拡張型ディープラーニングアーキテクチャ
Authors: Radostin Cholakov and Todor Kolev
Abstract要約: そこで本研究では,従来のTabTransformerのバイナリ分類タスクの改良について述べる。ゲートにインスパイアされた線形射影はブロック内に実装され、複数のアクティベーション関数がテストされる。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: There is an increasing interest in the application of deep learning architectures to tabular data. One of the state-of-the-art solutions is TabTransformer which incorporates an attention mechanism to better track relationships between categorical features and then makes use of a standard MLP to output its final logits. In this paper we propose multiple modifications to the original TabTransformer performing better on binary classification tasks for three separate datasets with more than 1% AUROC gains. Inspired by gated MLP, linear projections are implemented in the MLP block and multiple activation functions are tested. We also evaluate the importance of specific hyper parameters during training.
Abstract（参考訳）: グラフデータへのディープラーニングアーキテクチャの適用に対する関心が高まっている。最先端ソリューションの1つであるTabTransformerは、カテゴリー的特徴間の関係をよりよく追跡するためのアテンションメカニズムを導入し、次に標準のMLPを使用して最終ログを出力する。本稿では,1%以上のAUROCゲインを持つ3つのデータセットのバイナリ分類タスクにおいて,元のTabTransformerに対する複数の修正を提案する。ゲート型MLPにインスパイアされた線形射影はMLPブロックに実装され、複数のアクティベーション関数をテストする。また,訓練中のハイパーパラメータの重要性も評価した。

関連論文リスト

Mixture of Attention Yields Accurate Results for Tabular Data [21.410818837489973]
本稿では,エンコーダ・デコーダ・トランスを用いたMAYAを提案する。エンコーダでは、複数の並列注意枝を構成するMOA(Mixture of Attention)を設計する。我々は、より堅牢な表現を生成するために、動的一貫性重み制約を伴う協調学習を採用する。
論文参考訳（メタデータ） (2025-02-18T03:43:42Z)
ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文参考訳（メタデータ） (2024-12-11T12:31:30Z)
TabM: Advancing Tabular Deep Learning with Parameter-Efficient Ensembling [28.37672139176765]
新しいモデルであるTabMはアンサンブルに依存しており、1つのTabMは効率よくアンサンブルを模倣し、オブジェクトごとに複数の予測を生成する。 TabMでは、基盤となる暗黙のトレーニングが同時に行われ、(デフォルトでは)パラメータの大部分を共有しているため、パフォーマンスと効率が大幅に向上する。
論文参考訳（メタデータ） (2024-10-31T17:58:41Z)
Tokenize features, enhancing tables: the FT-TABPFN model for tabular classification [13.481699494376809]
FT-TabPFNはTabPFNの拡張版で、分類機能をよりよく扱うための新しい機能トークン化レイヤを含んでいる。私たちの完全なソースコードは、コミュニティの利用と開発に利用可能です。
論文参考訳（メタデータ） (2024-06-11T02:13:46Z)
Deep Learning with Tabular Data: A Self-supervised Approach [0.0]
本研究では,自己指導型学習手法を用いた。目的は、分類的特徴と数値的特徴の最も効果的なTabTransformerモデル表現を見つけることである。この研究は、TabTransformerモデルの様々なバリエーションを作成することによって、新しいアプローチを提示している。
論文参考訳（メタデータ） (2024-01-26T23:12:41Z)
Tuning Pre-trained Model via Moment Probing [62.445281364055795]
本稿では,LP の可能性を探るため,新しい Moment Probing (MP) 法を提案する。 MPは、最終特徴の平均に基づいて線形分類ヘッドを実行する。当社のMPはLPを著しく上回り、トレーニングコストの低い相手と競争しています。
論文参考訳（メタデータ） (2023-07-21T04:15:02Z)
Learning a Fourier Transform for Linear Relative Positional Encodings in Transformers [71.32827362323205]
我々はLearner-Transformer (Learners)と呼ばれる線形変換器の新しいクラスを提案する。様々な相対的位置エンコーディング機構(RPE)を組み込んでいる。これらには、シーケンシャルデータに適用される正規の RPE 技術や、高次元ユークリッド空間に埋め込まれた幾何学的データを操作する新しい RPE などが含まれる。
論文参考訳（メタデータ） (2023-02-03T18:57:17Z)
The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in Transformers [59.87030906486969]
本稿では,Transformer アーキテクチャを用いた機械学習モデルにおいて,アクティベーションマップが疎いという興味深い現象について考察する。本稿では, 自然言語処理と視覚処理の両方において, スパーシリティが顕著な現象であることを示す。本稿では,変換器のFLOP数を大幅に削減し,効率を向上する手法について論じる。
論文参考訳（メタデータ） (2022-10-12T15:25:19Z)
Learning Implicit Feature Alignment Function for Semantic Segmentation [51.36809814890326]
Implicit Feature Alignment Function (IFA)は、暗黙の神経表現の急速に拡大するトピックにインスパイアされている。 IFAは機能マップを異なるレベルで暗黙的に整列し、任意の解像度でセグメンテーションマップを生成することができることを示す。提案手法は,様々なアーキテクチャの改善と組み合わせて,一般的なベンチマークにおける最先端の精度のトレードオフを実現する。
論文参考訳（メタデータ） (2022-06-17T09:40:14Z)
FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。 3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
論文参考訳（メタデータ） (2022-03-24T07:26:29Z)
TabTransformer: Tabular Data Modeling Using Contextual Embeddings [23.509063910635692]
教師付きおよび半教師付き学習のための新しい深層データモデリングアーキテクチャであるTabTransformerを提案する。トランスフォーマー層はカテゴリの特徴の埋め込みをロバストなコンテキスト埋め込みに変換し、高い予測精度を達成する。半教師付き環境では、データ駆動型コンテキスト埋め込みを学習するための教師なし事前学習手法を開発し、その結果、最先端の手法を平均2.1%のAUCリフトする。
論文参考訳（メタデータ） (2020-12-11T23:31:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。