論文の概要: Polynomial-based Self-Attention for Table Representation learning
- arxiv url: http://arxiv.org/abs/2312.07753v1
- Date: Tue, 12 Dec 2023 21:49:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-14 17:21:56.500216
- Title: Polynomial-based Self-Attention for Table Representation learning
- Title（参考訳）: 表表現学習のための多項式に基づく自己認識
- Authors: Jayoung Kim, Yehjin Shin, Noseong Park
- Abstract要約: Transformersの重要なコンポーネントであるセルフアテンションは、過度にスムースな問題を引き起こす可能性がある。
そこで本研究では,行列ベースの自己アテンション層を元の自己アテンション層に代えて,新しい自己アテンション層を提案する。
提案する3つの表学習モデルを用いて実験を行った結果,この層が過度に平滑な問題を効果的に緩和することを示した。
- 参考スコア（独自算出の注目度）: 25.698379165200365
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Structured data, which constitutes a significant portion of existing data
types, has been a long-standing research topic in the field of machine
learning. Various representation learning methods for tabular data have been
proposed, ranging from encoder-decoder structures to Transformers. Among these,
Transformer-based methods have achieved state-of-the-art performance not only
in tabular data but also in various other fields, including computer vision and
natural language processing. However, recent studies have revealed that
self-attention, a key component of Transformers, can lead to an oversmoothing
issue. We show that Transformers for tabular data also face this problem, and
to address the problem, we propose a novel matrix polynomial-based
self-attention layer as a substitute for the original self-attention layer,
which enhances model scalability. In our experiments with three representative
table learning models equipped with our proposed layer, we illustrate that the
layer effectively mitigates the oversmoothing problem and enhances the
representation performance of the existing methods, outperforming the
state-of-the-art table representation methods.
- Abstract（参考訳）: 既存のデータ型の大部分を構成する構造化データは、機械学習の分野で長年研究されてきたトピックである。
エンコーダ・デコーダ構造からトランスフォーマーまで,様々な表型データ表現学習手法が提案されている。
これらのうち、Transformerベースの手法は、表データだけでなく、コンピュータビジョンや自然言語処理など、様々な分野で最先端のパフォーマンスを実現している。
しかし、最近の研究では、トランスフォーマーのキーコンポーネントである自己注意が過度な問題を引き起こす可能性があることが明らかになっている。
表型データ用トランスフォーマーもこの問題に直面することを示し、この問題に対処するため、モデルのスケーラビリティを高めるために、元の自己アテンション層に代わる新しい行列多項式ベースの自己アテンション層を提案する。
提案層を具備した3つの表学習モデルを用いて実験を行った結果,提案層はオーバースムーシング問題を効果的に軽減し,既存手法の表現性能を向上し,最先端の表表現法を上回った。
関連論文リスト
- TabulaX: Leveraging Large Language Models for Multi-Class Table Transformations [8.072353085704627]
本稿では,多クラス変換にLarge Language Models(LLM)を利用する新しいフレームワークであるTabulaXを紹介する。
本研究では,TabulaXが既存の最先端手法よりも精度が高く,より広範な変換クラスをサポートし,効率的に適用可能な解釈可能な変換を生成することを示す。
論文 参考訳（メタデータ） (2024-11-26T05:00:23Z) - A Survey on Deep Tabular Learning [0.0]
タブラルデータは、その不均一な性質と空間構造が欠如していることから、深層学習の独特な課題を提示する。
本調査では,早期完全接続ネットワーク(FCN)から,TabNet,SAINT,TabTranSELU,MambaNetといった先進アーキテクチャに至るまで,タブラルデータのディープラーニングモデルの進化を概観する。
論文 参考訳（メタデータ） (2024-10-15T20:08:08Z) - Scalable Representation Learning for Multimodal Tabular Transactions [14.18267117657451]
これらの課題に対して、革新的でスケーラブルなソリューションを提示します。
トランザクションとテキストのモダリティをインターリーブするパラメータ効率の良いデコーダを提案する。
我々は,大規模な合成決済トランザクションデータセット上でのソリューションの有効性を検証した。
論文 参考訳（メタデータ） (2024-10-10T12:18:42Z) - Deep Learning with Tabular Data: A Self-supervised Approach [0.0]
本研究では,自己指導型学習手法を用いた。
目的は、分類的特徴と数値的特徴の最も効果的なTabTransformerモデル表現を見つけることである。
この研究は、TabTransformerモデルの様々なバリエーションを作成することによって、新しいアプローチを提示している。
論文 参考訳（メタデータ） (2024-01-26T23:12:41Z) - Masked Modeling for Self-supervised Representation Learning on Vision
and Beyond [69.64364187449773]
仮面モデリングは、トレーニング中に比例的にマスキングされる元のデータの一部を予測する、独特なアプローチとして現れてきた。
マスクモデリングにおけるテクニックの詳細については,多様なマスキング戦略,ターゲット回復,ネットワークアーキテクチャなどについて詳述する。
我々は、現在の手法の限界について議論し、マスクモデリング研究を進めるためのいくつかの道のりを指摘した。
論文 参考訳（メタデータ） (2023-12-31T12:03:21Z) - Images in Discrete Choice Modeling: Addressing Data Isomorphism in
Multi-Modality Inputs [77.54052164713394]
本稿では,離散選択モデリング(DCM)と機械学習の交わりについて考察する。
本稿では,DCMフレームワーク内の従来の表型入力と同型情報を共有する高次元画像データの埋め込み結果について検討する。
論文 参考訳（メタデータ） (2023-12-22T14:33:54Z) - TabMT: Generating tabular data with masked transformers [0.0]
Masked Transformerは生成モデルや分類器として驚くほど効果的です。
この研究は、多様なアプリケーションドメインのための合成データ生成におけるトランスフォーマーベースモデルの探索に寄与する。
論文 参考訳（メタデータ） (2023-12-11T03:28:11Z) - A Comprehensive Survey on Applications of Transformers for Deep Learning
Tasks [60.38369406877899]
Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。
Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。
我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
論文 参考訳（メタデータ） (2023-06-11T23:13:51Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳（メタデータ） (2022-10-07T17:56:53Z) - Analogous to Evolutionary Algorithm: Designing a Unified Sequence Model [58.17021225930069]
実演的進化アルゴリズム(EA)と類似した視覚変換器の合理性について説明する。
我々は、より効率的なEATモデルを提案し、様々なタスクに柔軟に対処するタスク関連ヘッドを設計する。
近年のビジョントランスに比べて,イメージネット分類作業における最先端の成果が得られている。
論文 参考訳（メタデータ） (2021-05-31T16:20:03Z) - Efficient Transformers: A Survey [98.23264445730645]
トランスフォーマーモデルアーキテクチャは、言語、ビジョン、強化学習など、さまざまな領域で有効性があるため、近年大きな関心を集めている。
本稿では,最近の「X-former」モデルの大規模かつ思慮深い選択を特徴付ける。
論文 参考訳（メタデータ） (2020-09-14T20:38:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。