論文の概要: FATA-Trans: Field And Time-Aware Transformer for Sequential Tabular Data
- arxiv url: http://arxiv.org/abs/2310.13818v1
- Date: Fri, 20 Oct 2023 21:12:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 05:07:26.717043
- Title: FATA-Trans: Field And Time-Aware Transformer for Sequential Tabular Data
- Title(参考訳): FATA-Trans:シークエンシャルタブラリデータのためのフィールドおよびタイムアウェア変換器
- Authors: Dongyu Zhang, Liang Wang, Xin Dai, Shubham Jain, Junpeng Wang, Yujie
Fan, Chin-Chia Michael Yeh, Yan Zheng, Zhongfang Zhuang and Wei Zhang
- Abstract要約: 本研究では,2つのフィールドトランスを用いた連続表データモデリングモデルであるFATA-Transを提案する。
FATA-Transは時間認識であり、行間の順序と時間間隔の情報を利用する。
3つのベンチマークデータセットを用いた実験により、FATA-Transの学習表現は、下流タスクにおける最先端のソリューションを一貫して上回っていることが示された。
- 参考スコア(独自算出の注目度): 33.48628981372743
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sequential tabular data is one of the most commonly used data types in
real-world applications. Different from conventional tabular data, where rows
in a table are independent, sequential tabular data contains rich contextual
and sequential information, where some fields are dynamically changing over
time and others are static. Existing transformer-based approaches analyzing
sequential tabular data overlook the differences between dynamic and static
fields by replicating and filling static fields into each transformer, and
ignore temporal information between rows, which leads to three major
disadvantages: (1) computational overhead, (2) artificially simplified data for
masked language modeling pre-training task that may yield less meaningful
representations, and (3) disregarding the temporal behavioral patterns implied
by time intervals. In this work, we propose FATA-Trans, a model with two field
transformers for modeling sequential tabular data, where each processes static
and dynamic field information separately. FATA-Trans is field- and time-aware
for sequential tabular data. The field-type embedding in the method enables
FATA-Trans to capture differences between static and dynamic fields. The
time-aware position embedding exploits both order and time interval information
between rows, which helps the model detect underlying temporal behavior in a
sequence. Our experiments on three benchmark datasets demonstrate that the
learned representations from FATA-Trans consistently outperform
state-of-the-art solutions in the downstream tasks. We also present
visualization studies to highlight the insights captured by the learned
representations, enhancing our understanding of the underlying data. Our codes
are available at https://github.com/zdy93/FATA-Trans.
- Abstract(参考訳): 逐次表型データ(Sequential tabular data)は、現実世界のアプリケーションでよく使われるデータ型の一つである。
テーブル内の行が独立している従来の表型データとは異なり、シーケンシャルな表型データには、コンテキストやシーケンシャルな情報が豊富に含まれている。
Existing transformer-based approaches analyzing sequential tabular data overlook the differences between dynamic and static fields by replicating and filling static fields into each transformer, and ignore temporal information between rows, which leads to three major disadvantages: (1) computational overhead, (2) artificially simplified data for masked language modeling pre-training task that may yield less meaningful representations, and (3) disregarding the temporal behavioral patterns implied by time intervals.
本研究では,FATA-Transを提案する。FATA-Transは,静的および動的フィールド情報を個別に処理する連続的な表型データをモデリングするための2つのフィールドトランスを持つモデルである。
FATA-Transは、シーケンシャルな表データのフィールドとタイムアウェアである。
フィールド型埋め込みにより、FATA-Transは静的フィールドと動的フィールドの違いをキャプチャできる。
時間認識位置埋め込みは行間の順序と時間間隔の情報を利用するため、モデルがシーケンス内の下層の時間的挙動を検出するのに役立つ。
3つのベンチマークデータセットを用いた実験により、FATA-Transの学習表現は、下流タスクにおける最先端のソリューションを一貫して上回ることを示した。
また,学習した表現から得られた知見を可視化し,基礎となるデータに対する理解を深める。
私たちのコードはhttps://github.com/zdy93/fata-transで利用可能です。
関連論文リスト
- Deep Learning with Tabular Data: A Self-supervised Approach [0.0]
本研究では,自己指導型学習手法を用いた。
目的は、分類的特徴と数値的特徴の最も効果的なTabTransformerモデル表現を見つけることである。
この研究は、TabTransformerモデルの様々なバリエーションを作成することによって、新しいアプローチを提示している。
論文 参考訳(メタデータ) (2024-01-26T23:12:41Z) - TimeGraphs: Graph-based Temporal Reasoning [64.18083371645956]
TimeGraphsは階層的時間グラフとして動的相互作用を特徴付ける新しいアプローチである。
提案手法は,コンパクトなグラフベース表現を用いて相互作用をモデル化し,多種多様な時間スケールでの適応推論を可能にする。
我々は,サッカーシミュレータ,抵抗ゲーム,MOMA人間活動データセットなど,複雑でダイナミックなエージェントインタラクションを持つ複数のデータセット上でTimeGraphsを評価する。
論文 参考訳(メタデータ) (2024-01-06T06:26:49Z) - Training-Free Generalization on Heterogeneous Tabular Data via
Meta-Representation [67.30538142519067]
メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。
深層ニューラルネットワークは、これらのメタ表現とデータセット固有の分類信頼度を関連付けるように訓練される。
実験により、TabPTMは、数ショットのシナリオであっても、新しいデータセットで有望なパフォーマンスを達成することを確認した。
論文 参考訳(メタデータ) (2023-10-31T18:03:54Z) - XTab: Cross-table Pretraining for Tabular Transformers [29.419276738753968]
XTabは、さまざまなドメインのデータセット上の表型トランスフォーマーのクロステーブル事前トレーニングのためのフレームワークである。
XTabは、複数の表型変換器の一般化性、学習速度、性能を一貫して向上させることを示す。
回帰、二分法、多クラス分類といった様々なタスクにおいて、最先端の表層深層学習モデルよりも優れた性能を実現する。
論文 参考訳(メタデータ) (2023-05-10T12:17:52Z) - FormerTime: Hierarchical Multi-Scale Representations for Multivariate
Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。
1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文 参考訳(メタデータ) (2023-02-20T07:46:14Z) - One Transformer for All Time Series: Representing and Training with
Time-Dependent Heterogeneous Tabular Data [29.847478027016432]
異種時間依存データを表すトランスフォーマーアーキテクチャを提案する。
数値的特徴は周波数関数の集合を用いて表現され、ネットワーク全体が一意の損失関数で一様に訓練される。
論文 参考訳(メタデータ) (2023-02-13T14:08:40Z) - End-to-end Tracking with a Multi-query Transformer [96.13468602635082]
マルチオブジェクトトラッキング(MOT)は、時間とともにシーン内のオブジェクトの位置、外観、アイデンティティを同時に推論する必要がある課題である。
本研究の目的は、トラッキング・バイ・ディテクト・アプローチを超えて、未知のオブジェクト・クラスに対してもよく機能するクラスに依存しないトラッキングへと移行することである。
論文 参考訳(メタデータ) (2022-10-26T10:19:37Z) - SubTab: Subsetting Features of Tabular Data for Self-Supervised
Representation Learning [5.5616364225463055]
私たちはTabular Data(SubTab)のサブセット機能である新しいフレームワークを紹介します。
本稿では,タブラルデータ(SubTab)のサブセット機能である新しいフレームワークを提案する。
我々は、自動エンコーダ設定で、その機能の一部分からデータを再構成することで、その基盤となる表現をよりよく捉えることができると論じている。
論文 参考訳(メタデータ) (2021-10-08T20:11:09Z) - Tabular Transformers for Modeling Multivariate Time Series [30.717890753132824]
タブラルデータセットは、データサイエンスの応用においてユビキタスである。その重要性から、最先端のディープラーニングアルゴリズムを適用して、その可能性を完全に解き放つことは自然なようだ。
本稿では,その階層構造を活用可能なグラフ時系列を表すニューラルネットワークモデルを提案する。
学習した表現を不正検出と合成データ生成に使用する合成クレジットカードトランザクションデータセットと、学習したエンコーディングを大気汚染物質濃度を予測するための実際の公害データセットの2つのデータセットで実証する。
論文 参考訳(メタデータ) (2020-11-03T16:58:08Z) - GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。
我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。
実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
論文 参考訳(メタデータ) (2020-09-29T08:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。