論文の概要: Self Attention with Temporal Prior: Can We Learn More from Arrow of Time?

• arxiv url: http://arxiv.org/abs/2310.18932v1
• Date: Sun, 29 Oct 2023 08:00:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 15:28:47.868154
• Title: Self Attention with Temporal Prior: Can We Learn More from Arrow of Time?
• Title（参考訳）: 時間的優先による自己の注意: 時間の矢印からもっと学ぶことができるか?
• Authors: Kyung Geun Kim, Byeong Tak Lee
• Abstract要約: 本稿では,注目層がデータセットの短期的時間バイアスをよりよく符号化できる簡易かつ効率的な手法を提案する。 実験では、タスクとデータセットのほとんどの上で最高の実行モデルと比較して、例外的な分類結果を示す。
• 参考スコア（独自算出の注目度）: 0.32634122554914
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many of diverse phenomena in nature often inherently encode both short and long term temporal dependencies, short term dependencies especially resulting from the direction of flow of time. In this respect, we discovered experimental evidences suggesting that {\it interrelations} of these events are higher for closer time stamps. However, to be able for attention based models to learn these regularities in short term dependencies, it requires large amounts of data which are often infeasible. This is due to the reason that, while they are good at learning piece wised temporal dependencies, attention based models lack structures that encode biases in time series. As a resolution, we propose a simple and efficient method that enables attention layers to better encode short term temporal bias of these data sets by applying learnable, adaptive kernels directly to the attention matrices. For the experiments, we chose various prediction tasks using Electronic Health Records (EHR) data sets since they are great examples that have underlying long and short term temporal dependencies. The results of our experiments show exceptional classification results compared to best performing models on most of the task and data sets.
• Abstract（参考訳）: 自然界における様々な現象の多くは、特に時間の流れの方向から生じる短期的・長期的両方の依存関係を本質的にエンコードする。 この点に関して、これらの事象の相互関係がより近い時間スタンプに対して高いことを示す実験的証拠を発見した。 しかし、注意に基づくモデルが短期的な依存関係でこれらの規則性を学ぶためには、しばしば実現不可能な大量のデータが必要である。 これは、それらが時間的依存のピースを学習するのに長けているが、注意に基づくモデルは時系列のバイアスをエンコードする構造を欠いているためである。 本研究では,学習可能な適応カーネルをアテンション行列に直接適用することにより,アテンション層がこれらのデータセットの短期的時間バイアスをより良くエンコードできる簡易かつ効率的な手法を提案する。 実験では,Electronic Health Records(EHR)データセットを用いた様々な予測タスクを選択した。 実験の結果,ほとんどのタスクとデータセットにおいて,最善のモデルと比較して,例外的な分類結果が得られた。

関連論文リスト

• Introducing Spectral Attention for Long-Range Dependency in Time Series Forecasting [36.577411683455786]
  最近の線形および変圧器ベースの予測器は時系列予測において優れた性能を示している。 時系列データにおける長距離依存関係を効果的に扱うことができないという点で制約されている。 本稿では,試料間の時間的相関を保った高速かつ効果的なスペクトル注意機構を提案する。
  論文  参考訳（メタデータ） (2024-10-28T06:17:20Z)
• Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs [50.25683648762602]
  モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。 クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。 KoVAEは、いくつかの挑戦的な合成および実世界の時系列生成ベンチマークにおいて、最先端のGANおよびVAEメソッドより優れている。
  論文  参考訳（メタデータ） (2023-10-04T07:14:43Z)
• Temporal Smoothness Regularisers for Neural Link Predictors [8.975480841443272]
  TNTComplExのような単純な手法は、最先端の手法よりもはるかに正確な結果が得られることを示す。 また,2つの時間的リンク予測モデルに対する幅広い時間的平滑化正規化の影響についても検討した。
  論文  参考訳（メタデータ） (2023-09-16T16:52:49Z)
• Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
  コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。 対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。 本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
  論文  参考訳（メタデータ） (2023-03-21T15:02:50Z)
• Spatio-temporal predictive tasks for abnormal event detection in videos [60.02503434201552]
  オブジェクトレベルの正規化パターンを学習するための制約付きプレテキストタスクを提案する。 我々のアプローチは、ダウンスケールの視覚的クエリとそれに対応する正常な外観と運動特性のマッピングを学習することである。 いくつかのベンチマークデータセットの実験では、異常の局所化と追跡のためのアプローチの有効性が示されている。
  論文  参考訳（メタデータ） (2022-10-27T19:45:12Z)
• PIETS: Parallelised Irregularity Encoders for Forecasting with Heterogeneous Time-Series [5.911865723926626]
  マルチソースデータセットの不均一性と不規則性は時系列解析において重要な課題となる。 本研究では、異種時系列をモデル化するための新しいアーキテクチャ、PIETSを設計する。 PIETSは異種時間データを効果的にモデル化し、予測タスクにおける他の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-09-30T20:01:19Z)
• Adjusting for Autocorrelated Errors in Neural Networks for Time Series Regression and Forecasting [10.659189276058948]
  我々は,自己相関係数をモデルパラメータと組み合わせて学習し,自己相関誤差の補正を行う。 時系列回帰では,大規模な実験により,本手法がPrais-Winsten法より優れていることが示された。 実世界の幅広いデータセットを対象とした結果から,ほぼすべてのケースにおいて,本手法が性能を向上させることが示唆された。
  論文  参考訳（メタデータ） (2021-01-28T04:25:51Z)
• Time Series Data Imputation: A Survey on Deep Learning Approaches [4.4458738910060775]
  時系列データ計算は、様々なカテゴリのメソッドでよく研究されている問題である。 ディープラーニングに基づく時系列手法は、RNNのようなモデルの使用によって進歩している。 我々は,それらのモデルアーキテクチャ,その長所,短所,短所,および時系列計算手法の開発を示す効果をレビューし,議論する。
  論文  参考訳（メタデータ） (2020-11-23T11:57:27Z)
• Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
  ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。 しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。 本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
  論文  参考訳（メタデータ） (2020-07-01T04:48:49Z)
• Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks [91.65637773358347]
  多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。 グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。 提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-24T04:02:18Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。