論文の概要: Self Attention with Temporal Prior: Can We Learn More from Arrow of Time?

• arxiv url: http://arxiv.org/abs/2310.18932v2
• Date: Fri, 26 Apr 2024 08:11:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-29 17:58:08.548188
• Title: Self Attention with Temporal Prior: Can We Learn More from Arrow of Time?
• Title（参考訳）: 時間優先による自己注意: 時間短縮からもっと学べるか?
• Authors: Kyung Geun Kim, Byeong Tak Lee,
• Abstract要約: 本稿では,注目層がデータセットの短期的時間バイアスをよりよく符号化できる簡易かつ効率的な手法を提案する。 本実験は,ほとんどのタスクやデータセットにおいて,最高の性能を示すモデルと比較して,例外的な分類結果を示す。
• 参考スコア（独自算出の注目度）: 0.276240219662896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many diverse phenomena in nature often inherently encode both short- and long-term temporal dependencies, which especially result from the direction of the flow of time. In this respect, we discovered experimental evidence suggesting that interrelations of these events are higher for closer time stamps. However, to be able for attention-based models to learn these regularities in short-term dependencies, it requires large amounts of data, which are often infeasible. This is because, while they are good at learning piece-wise temporal dependencies, attention-based models lack structures that encode biases in time series. As a resolution, we propose a simple and efficient method that enables attention layers to better encode the short-term temporal bias of these data sets by applying learnable, adaptive kernels directly to the attention matrices. We chose various prediction tasks for the experiments using Electronic Health Records (EHR) data sets since they are great examples with underlying long- and short-term temporal dependencies. Our experiments show exceptional classification results compared to best-performing models on most tasks and data sets.
• Abstract（参考訳）: 自然界における多くの多様な現象は、特に時間の流れの方向から生じる短期的および長期的依存関係の両方を本質的にエンコードする。 この点に関して、より近い時間スタンプでは、これらの事象の相互関係がより高いことを示す実験的証拠が発見された。 しかし、注意に基づくモデルでこれらの規則を短期的な依存関係で学習するためには、大量のデータが必要である。 これは、断片的な時間的依存を学ぶのに長けているが、注意に基づくモデルは時系列のバイアスをエンコードする構造を欠いているためである。 そこで本研究では,学習可能な適応型カーネルをアテンション行列に直接適用することにより,これらのデータセットの短期的時間的バイアスをよりよく符号化する,シンプルで効率的な手法を提案する。 我々はElectronic Health Records(EHR)データセットを用いた実験の様々な予測タスクを選択した。 本実験は,ほとんどのタスクやデータセットにおいて,最高の性能を示すモデルと比較して,例外的な分類結果を示す。

関連論文リスト

• Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs [50.25683648762602]
  モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。 クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。 KoVAEは、いくつかの挑戦的な合成および実世界の時系列生成ベンチマークにおいて、最先端のGANおよびVAEメソッドより優れている。
  論文  参考訳（メタデータ） (2023-10-04T07:14:43Z)
• Temporal Smoothness Regularisers for Neural Link Predictors [9.80506802512948]
  TNTComplExのような単純な手法は、最先端の手法よりもはるかに正確な結果が得られることを示す。 また,2つの時間的リンク予測モデルに対する幅広い時間的平滑化正規化の影響についても検討した。
  論文  参考訳（メタデータ） (2023-09-16T16:52:49Z)
• A Deep Learning Framework for Traffic Data Imputation Considering Spatiotemporal Dependencies [7.835274806604221]
  トラフィックネットワークにおける依存関係の複雑さのため、S.temporalデータの計算は非常に困難である。 既存のアプローチは主に、時系列や静的な空間的依存関係における時間的依存関係のみをキャプチャする。 それらはモデルのS.temporal依存性表現能力をモデル化するのに失敗する。
  論文  参考訳（メタデータ） (2023-04-18T07:13:52Z)
• Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
  コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。 対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。 本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
  論文  参考訳（メタデータ） (2023-03-21T15:02:50Z)
• Spatio-temporal predictive tasks for abnormal event detection in videos [60.02503434201552]
  オブジェクトレベルの正規化パターンを学習するための制約付きプレテキストタスクを提案する。 我々のアプローチは、ダウンスケールの視覚的クエリとそれに対応する正常な外観と運動特性のマッピングを学習することである。 いくつかのベンチマークデータセットの実験では、異常の局所化と追跡のためのアプローチの有効性が示されている。
  論文  参考訳（メタデータ） (2022-10-27T19:45:12Z)
• PIETS: Parallelised Irregularity Encoders for Forecasting with Heterogeneous Time-Series [5.911865723926626]
  マルチソースデータセットの不均一性と不規則性は時系列解析において重要な課題となる。 本研究では、異種時系列をモデル化するための新しいアーキテクチャ、PIETSを設計する。 PIETSは異種時間データを効果的にモデル化し、予測タスクにおける他の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-09-30T20:01:19Z)
• Adjusting for Autocorrelated Errors in Neural Networks for Time Series Regression and Forecasting [10.659189276058948]
  我々は,自己相関係数をモデルパラメータと組み合わせて学習し,自己相関誤差の補正を行う。 時系列回帰では,大規模な実験により,本手法がPrais-Winsten法より優れていることが示された。 実世界の幅広いデータセットを対象とした結果から,ほぼすべてのケースにおいて,本手法が性能を向上させることが示唆された。
  論文  参考訳（メタデータ） (2021-01-28T04:25:51Z)
• Time Series Data Imputation: A Survey on Deep Learning Approaches [4.4458738910060775]
  時系列データ計算は、様々なカテゴリのメソッドでよく研究されている問題である。 ディープラーニングに基づく時系列手法は、RNNのようなモデルの使用によって進歩している。 我々は,それらのモデルアーキテクチャ,その長所,短所,短所,および時系列計算手法の開発を示す効果をレビューし,議論する。
  論文  参考訳（メタデータ） (2020-11-23T11:57:27Z)
• Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
  ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。 しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。 本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
  論文  参考訳（メタデータ） (2020-07-01T04:48:49Z)
• Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks [91.65637773358347]
  多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。 グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。 提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-24T04:02:18Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。