論文の概要: Comparing Prior and Learned Time Representations in Transformer Models of Timeseries

• arxiv url: http://arxiv.org/abs/2411.12476v1
• Date: Tue, 19 Nov 2024 12:56:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:37:47.915697
• Title: Comparing Prior and Learned Time Representations in Transformer Models of Timeseries
• Title（参考訳）: 時系列のトランスフォーマーモデルにおける先行時間と学習時間の比較
• Authors: Natalia Koliou, Tatiana Boura, Stasinos Konstantopoulos, George Meramveliotakis, George Kosmadakis,
• Abstract要約: 時間表現は実験装置の主要な側面であり、目の前のアプリケーションに関係のある時間的関係を適切に表現する必要がある。 実験では, 太陽パネルのエネルギー出力の予測から得られたデータを用いて, 固定時間表現において, 直進的に符号化される既知の周期性を示す。 以上の結果から,この現象を十分に理解した実験でも,副作用による事前知識の符号化は困難であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: What sets timeseries analysis apart from other machine learning exercises is that time representation becomes a primary aspect of the experiment setup, as it must adequately represent the temporal relations that are relevant for the application at hand. In the work described here we study wo different variations of the Transformer architecture: one where we use the fixed time representation proposed in the literature and one where the time representation is learned from the data. Our experiments use data from predicting the energy output of solar panels, a task that exhibits known periodicities (daily and seasonal) that is straight-forward to encode in the fixed time representation. Our results indicate that even in an experiment where the phenomenon is well-understood, it is difficult to encode prior knowledge due to side-effects that are difficult to mitigate. We conclude that research work is needed to work the human into the learning loop in ways that improve the robustness and trust-worthiness of the network.
• Abstract（参考訳）: 時系列解析を他の機械学習の演習と区別して設定することは、時間表現が実験装置の第一の側面となり、手前のアプリケーションに関係する時間関係を適切に表現する必要があるということである。 本稿では,Transformerアーキテクチャの異なるバリエーションについて検討する。文献で提案した固定時間表現と,データから時間表現が学習される方法である。 実験では, 太陽パネルのエネルギー出力の予測から得られたデータを用いて, 固定時間表現において, 直進的に符号化される既知の周期性(日・季節)を示す。 以上の結果から,この現象を十分に理解した実験でも,副作用による事前知識の符号化は困難であることが示唆された。 ネットワークの堅牢性と信頼性を向上させるために,人間を学習ループに導くためには,研究作業が必要であると結論付けている。

関連論文リスト

• TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables [75.83318701911274]
  TimeXerは外部情報を取り込み、内因性変数の予測を強化する。 TimeXerは、12の現実世界の予測ベンチマークで一貫した最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-29T11:54:35Z)
• Multi-Granularity Framework for Unsupervised Representation Learning of Time Series [1.003058966910087]
  本稿では,時系列の多粒度表現学習を実現するための教師なしフレームワークを提案する。 具体的には、粒度と粒度の粗さを関連付けるために、粒度変換器を用いた。 さらに,時系列の多粒度表現を学習するための教師なし学習タスクとして検索タスクを導入した。
  論文  参考訳（メタデータ） (2023-12-12T13:25:32Z)
• T-Rep: Representation Learning for Time Series using Time-Embeddings [5.885238773559017]
  本稿では,時系列表現を時間ステップの粒度で学習する自己教師型T-Repを提案する。 T-Repはその特徴抽出器と共に時間のベクトル埋め込みを学び、時間的特徴を抽出する。 下流分類,予測,異常検出タスクにおけるT-Repの評価を行った。
  論文  参考訳（メタデータ） (2023-10-06T15:45:28Z)
• TimeTuner: Diagnosing Time Representations for Time-Series Forecasting with Counterfactual Explanations [3.8357850372472915]
  本稿では,モデル行動が局所化,定常性,時系列表現の相関とどのように関連しているかをアナリストが理解するために,新しいビジュアル分析フレームワークであるTimeTunerを提案する。 TimeTunerは時系列表現を特徴付けるのに役立ち、機能エンジニアリングのプロセスを導くのに役立ちます。
  論文  参考訳（メタデータ） (2023-07-19T11:40:15Z)
• Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
  コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。 対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。 本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
  論文  参考訳（メタデータ） (2023-03-21T15:02:50Z)
• Multi-Task Self-Supervised Time-Series Representation Learning [3.31490164885582]
  時系列表現学習は、時間的ダイナミクスとスパースラベルを持つデータから表現を抽出することができる。 自己教師型タスクの利点を組み合わせた時系列表現学習手法を提案する。 本稿では,時系列分類,予測,異常検出という3つのダウンストリームタスクの枠組みについて検討する。
  論文  参考訳（メタデータ） (2023-03-02T07:44:06Z)
• Causal Transformer for Estimating Counterfactual Outcomes [18.640006398066188]
  多くのアプリケーションでは、観測データから時間とともに反現実的な結果を予測することが重要となる。 我々は、時間とともに反現実的な結果を予測するための新しい因果変換器を開発した。 私たちのモデルは、時間によって異なる共同設立者間の複雑な長距離依存関係をキャプチャするために特別に設計されています。
  論文  参考訳（メタデータ） (2022-04-14T22:40:09Z)
• Transformers in Time Series: A Survey [66.50847574634726]
  時系列モデリングのためのTransformerスキームを,その強みと限界を強調して体系的にレビューする。 ネットワーク構造の観点から、トランスフォーマーに施された適応と修正を要約する。 応用の観点からは,予測,異常検出,分類などの共通タスクに基づいて時系列変換器を分類する。
  論文  参考訳（メタデータ） (2022-02-15T01:43:27Z)
• TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
  時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。 本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。 本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
  論文  参考訳（メタデータ） (2022-02-07T21:37:29Z)
• Interpretable Time-series Representation Learning With Multi-Level Disentanglement [56.38489708031278]
  Disentangle Time Series (DTS)は、シーケンシャルデータのための新しいDisentanglement Enhanceingフレームワークである。 DTSは時系列の解釈可能な表現として階層的意味概念を生成する。 DTSは、セマンティック概念の解釈性が高く、下流アプリケーションで優れたパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-05-17T22:02:24Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。