論文の概要: FATA-Trans: Field And Time-Aware Transformer for Sequential Tabular Data

• arxiv url: http://arxiv.org/abs/2310.13818v1
• Date: Fri, 20 Oct 2023 21:12:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 05:07:26.717043
• Title: FATA-Trans: Field And Time-Aware Transformer for Sequential Tabular Data
• Title（参考訳）: FATA-Trans:シークエンシャルタブラリデータのためのフィールドおよびタイムアウェア変換器
• Authors: Dongyu Zhang, Liang Wang, Xin Dai, Shubham Jain, Junpeng Wang, Yujie Fan, Chin-Chia Michael Yeh, Yan Zheng, Zhongfang Zhuang and Wei Zhang
• Abstract要約: 本研究では,2つのフィールドトランスを用いた連続表データモデリングモデルであるFATA-Transを提案する。 FATA-Transは時間認識であり、行間の順序と時間間隔の情報を利用する。 3つのベンチマークデータセットを用いた実験により、FATA-Transの学習表現は、下流タスクにおける最先端のソリューションを一貫して上回っていることが示された。
• 参考スコア（独自算出の注目度）: 33.48628981372743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequential tabular data is one of the most commonly used data types in real-world applications. Different from conventional tabular data, where rows in a table are independent, sequential tabular data contains rich contextual and sequential information, where some fields are dynamically changing over time and others are static. Existing transformer-based approaches analyzing sequential tabular data overlook the differences between dynamic and static fields by replicating and filling static fields into each transformer, and ignore temporal information between rows, which leads to three major disadvantages: (1) computational overhead, (2) artificially simplified data for masked language modeling pre-training task that may yield less meaningful representations, and (3) disregarding the temporal behavioral patterns implied by time intervals. In this work, we propose FATA-Trans, a model with two field transformers for modeling sequential tabular data, where each processes static and dynamic field information separately. FATA-Trans is field- and time-aware for sequential tabular data. The field-type embedding in the method enables FATA-Trans to capture differences between static and dynamic fields. The time-aware position embedding exploits both order and time interval information between rows, which helps the model detect underlying temporal behavior in a sequence. Our experiments on three benchmark datasets demonstrate that the learned representations from FATA-Trans consistently outperform state-of-the-art solutions in the downstream tasks. We also present visualization studies to highlight the insights captured by the learned representations, enhancing our understanding of the underlying data. Our codes are available at https://github.com/zdy93/FATA-Trans.
• Abstract（参考訳）: 逐次表型データ(Sequential tabular data)は、現実世界のアプリケーションでよく使われるデータ型の一つである。 テーブル内の行が独立している従来の表型データとは異なり、シーケンシャルな表型データには、コンテキストやシーケンシャルな情報が豊富に含まれている。 Existing transformer-based approaches analyzing sequential tabular data overlook the differences between dynamic and static fields by replicating and filling static fields into each transformer, and ignore temporal information between rows, which leads to three major disadvantages: (1) computational overhead, (2) artificially simplified data for masked language modeling pre-training task that may yield less meaningful representations, and (3) disregarding the temporal behavioral patterns implied by time intervals. 本研究では,FATA-Transを提案する。FATA-Transは,静的および動的フィールド情報を個別に処理する連続的な表型データをモデリングするための2つのフィールドトランスを持つモデルである。 FATA-Transは、シーケンシャルな表データのフィールドとタイムアウェアである。 フィールド型埋め込みにより、FATA-Transは静的フィールドと動的フィールドの違いをキャプチャできる。 時間認識位置埋め込みは行間の順序と時間間隔の情報を利用するため、モデルがシーケンス内の下層の時間的挙動を検出するのに役立つ。 3つのベンチマークデータセットを用いた実験により、FATA-Transの学習表現は、下流タスクにおける最先端のソリューションを一貫して上回ることを示した。 また,学習した表現から得られた知見を可視化し,基礎となるデータに対する理解を深める。 私たちのコードはhttps://github.com/zdy93/fata-transで利用可能です。

関連論文リスト

• TableTime: Reformulating Time Series Classification as Zero-Shot Table Understanding via Large Language Models [54.44272772296578]
  大規模言語モデル (LLM) は多変量時系列分類において有効であることを示した。 LLM は LLM の潜在空間内の時系列の埋め込みを直接コードし、LLM の意味空間と一致させる。 MTSCを表理解タスクとして再編成するテーブルタイムを提案する。
  論文  参考訳（メタデータ） (2024-11-24T07:02:32Z)
• Table Transformers for Imputing Textual Attributes [15.823533688884105]
  本稿では,TTITA(Imputing Textual Attributes)のためのテーブルトランスフォーマー(Table Transformer)という新しいエンドツーエンドアプローチを提案する。 提案手法は,リカレントニューラルネットワークやLlama2などのベースラインモデルよりも優れた性能を示す。 マルチタスク学習を組み込んで、不均一な列を同時にインプットし、テキストインプットの性能を高める。
  論文  参考訳（メタデータ） (2024-08-04T19:54:12Z)
• Fine-grained Attention in Hierarchical Transformers for Tabular Time-series [46.96700822457507]
  本研究では,行レベルと列レベルの両方のフィールドを文脈化する,きめ細かい階層モデルであるFieldyを提案する。 その結果,行ワイドと列ワイドアテンションを組み合わせることで,モデルサイズを増大させることなく性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-21T17:40:46Z)
• TabMDA: Tabular Manifold Data Augmentation for Any Classifier using Transformers with In-context Subsetting [23.461204546005387]
  TabMDAは、表データの多様体データ拡張のための新しい方法である。 これは、TabPFNのような事前訓練されたインコンテキストモデルを利用して、データを埋め込みスペースにマッピングする。 我々は,TabMDAを5つの標準分類器上で評価し,各種データセット間での大幅な性能向上を観察した。
  論文  参考訳（メタデータ） (2024-06-03T21:51:13Z)
• Leveraging 2D Information for Long-term Time Series Forecasting with Vanilla Transformers [55.475142494272724]
  時系列予測は、様々な領域における複雑な力学の理解と予測に不可欠である。 GridTSTは、革新的な多方向性の注意を用いた2つのアプローチの利点を組み合わせたモデルである。 このモデルは、さまざまな現実世界のデータセットに対して、常に最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-05-22T16:41:21Z)
• Training-Free Generalization on Heterogeneous Tabular Data via Meta-Representation [67.30538142519067]
  メタ表現(TabPTM)を用いたタブラルデータ事前学習を提案する。 深層ニューラルネットワークは、これらのメタ表現とデータセット固有の分類信頼度を関連付けるように訓練される。 実験により、TabPTMは、数ショットのシナリオであっても、新しいデータセットで有望なパフォーマンスを達成することを確認した。
  論文  参考訳（メタデータ） (2023-10-31T18:03:54Z)
• One Transformer for All Time Series: Representing and Training with Time-Dependent Heterogeneous Tabular Data [29.847478027016432]
  異種時間依存データを表すトランスフォーマーアーキテクチャを提案する。 数値的特徴は周波数関数の集合を用いて表現され、ネットワーク全体が一意の損失関数で一様に訓練される。
  論文  参考訳（メタデータ） (2023-02-13T14:08:40Z)
• End-to-end Tracking with a Multi-query Transformer [96.13468602635082]
  マルチオブジェクトトラッキング(MOT)は、時間とともにシーン内のオブジェクトの位置、外観、アイデンティティを同時に推論する必要がある課題である。 本研究の目的は、トラッキング・バイ・ディテクト・アプローチを超えて、未知のオブジェクト・クラスに対してもよく機能するクラスに依存しないトラッキングへと移行することである。
  論文  参考訳（メタデータ） (2022-10-26T10:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。