論文の概要: HT-Transformer: Event Sequences Classification by Accumulating Prefix Information with History Tokens

• arxiv url: http://arxiv.org/abs/2508.01474v1
• Date: Sat, 02 Aug 2025 19:50:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:21.894181
• Title: HT-Transformer: Event Sequences Classification by Accumulating Prefix Information with History Tokens
• Title（参考訳）: HT変換器:履歴トークンによる事前情報蓄積によるイベントシーケンス分類
• Authors: Ivan Karpukhin, Andrey Savchenko,
• Abstract要約: 本稿では,予測事前学習における履歴情報の蓄積を促進する新しい概念であるヒストリトークンを紹介する。 当社のアプローチはトランスフォーマーベースのモデルを大幅に改善し、金融、eコマース、ヘルスケアタスクにおいて素晴らしい成果を上げています。
• 参考スコア（独自算出の注目度）: 1.534667887016089
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning has achieved remarkable success in modeling sequential data, including event sequences, temporal point processes, and irregular time series. Recently, transformers have largely replaced recurrent networks in these tasks. However, transformers often underperform RNNs in classification tasks where the objective is to predict future targets. The reason behind this performance gap remains largely unexplored. In this paper, we identify a key limitation of transformers: the absence of a single state vector that provides a compact and effective representation of the entire sequence. Additionally, we show that contrastive pretraining of embedding vectors fails to capture local context, which is crucial for accurate prediction. To address these challenges, we introduce history tokens, a novel concept that facilitates the accumulation of historical information during next-token prediction pretraining. Our approach significantly improves transformer-based models, achieving impressive results in finance, e-commerce, and healthcare tasks. The code is publicly available on GitHub.
• Abstract（参考訳）: 深層学習は、イベントシーケンス、時間点プロセス、不規則な時系列を含むシーケンシャルデータのモデリングにおいて顕著な成功を収めた。 近年、トランスフォーマーは、これらのタスクにおいてリカレントネットワークをほとんど置き換えている。 しかしながら、トランスフォーマーは、将来のターゲットを予測することを目的としている分類タスクにおいて、RNNを過小評価することが多い。 このパフォーマンスギャップの背景にある理由は、まだ明らかにされていない。 本稿では,シーケンス全体のコンパクトかつ効率的な表現を提供する単一状態ベクトルの欠如について,トランスフォーマーの鍵となる限界を同定する。 さらに、埋め込みベクトルの対照的な事前学習は、正確な予測に欠かせない局所的文脈を捉えることに失敗することを示す。 これらの課題に対処するために,次回の予測事前学習において,歴史情報の蓄積を容易にする新しい概念であるヒストリトークンを導入する。 当社のアプローチはトランスフォーマーベースのモデルを大幅に改善し、金融、eコマース、ヘルスケアタスクにおいて素晴らしい成果を上げています。 コードはGitHubで公開されている。

関連論文リスト

• Curse of Attention: A Kernel-Based Perspective for Why Transformers Fail to Generalize on Time Series Forecasting and Beyond [17.002793355495136]
  TSFタスクにおける変圧器の非効率性に関する最初の理論的説明を提案する。 トレーニングアテンションネットワークにおけるbf非対称学習のメカニズムを考察する。
  論文  参考訳（メタデータ） (2024-12-08T20:29:06Z)
• Looking Beyond The Top-1: Transformers Determine Top Tokens In Order [13.032106683136394]
  トップ1予測が修正された後、トランスフォーマーが層内で行う計算を解析する。 これらの飽和事象は、対応するトークンのランクの順に発生する。 この逐次飽和に対するタスク遷移のメカニズムを提案する。
  論文  参考訳（メタデータ） (2024-10-26T16:00:38Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• GBT: Two-stage transformer framework for non-stationary time series forecasting [3.830797055092574]
  GBTは、Good Startを備えた新しい2段階トランスフォーマーフレームワークである。 TSFTの予測プロセスを、Auto-RegressionステージとSelf-Regressionステージという2つのステージに分割する。 7つのベンチマークデータセットの実験では、GBTは標準的注意と畳み込みのみでSOTA TSFTよりも優れていた。
  論文  参考訳（メタデータ） (2023-07-17T07:55:21Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting [50.23240107430597]
  本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。 まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。 第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。 第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
  論文  参考訳（メタデータ） (2023-05-20T05:16:31Z)
• Ti-MAE: Self-Supervised Masked Time Series Autoencoders [16.98069693152999]
  本稿では,Ti-MAEという新しいフレームワークを提案する。 Ti-MAEは、埋め込み時系列データをランダムにマスクアウトし、オートエンコーダを学び、ポイントレベルでそれらを再構築する。 いくつかの公開実世界のデータセットの実験では、マスク付きオートエンコーディングのフレームワークが生データから直接強力な表現を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T03:20:23Z)
• Robust representations of oil wells' intervals via sparse attention mechanism [2.604557228169423]
  正規化変換器(Reguformers)と呼ばれる効率的な変換器のクラスを導入する。 私たちの実験の焦点は、石油とガスのデータ、すなわちウェルログにあります。 このような問題に対する我々のモデルを評価するために、20以上の井戸からなるウェルログからなる産業規模のオープンデータセットで作業する。
  論文  参考訳（メタデータ） (2022-12-29T09:56:33Z)
• Augmenting Sequential Recommendation with Pseudo-Prior Items via Reversely Pre-training Transformer [61.818320703583126]
  逐次レコメンデーションはアイテムシーケンスを時系列的にモデル化することで進化するパターンを特徴付ける。 最近のトランスフォーマの開発はコミュニティに効果的なシーケンスエンコーダの設計を促している。 textbfseudo-prior items(asrep)を用いたtextbfsequential textbfrecommendationのためのtextbfaugmentingの新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-02T18:06:23Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。