論文の概要: Minimal Time Series Transformer

• arxiv url: http://arxiv.org/abs/2503.09791v1
• Date: Wed, 12 Mar 2025 19:48:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:52:03.318233
• Title: Minimal Time Series Transformer
• Title（参考訳）: 最小時間形変圧器
• Authors: Joni-Kristian Kämäräinen,
• Abstract要約: Transformerは、多くの自然言語処理、コンピュータビジョン、音声分析問題に対する最先端のモデルである。 本研究は,連続値時系列データに適したトランスフォーマーアーキテクチャを実現するために,最小限の適応を導入する。
• 参考スコア（独自算出の注目度）: 5.791599334730908
• License:
• Abstract: Transformer is the state-of-the-art model for many natural language processing, computer vision, and audio analysis problems. Transformer effectively combines information from the past input and output samples in auto-regressive manner so that each sample becomes aware of all inputs and outputs. In sequence-to-sequence (Seq2Seq) modeling, the transformer processed samples become effective in predicting the next output. Time series forecasting is a Seq2Seq problem. The original architecture is defined for discrete input and output sequence tokens, but to adopt it for time series, the model must be adapted for continuous data. This work introduces minimal adaptations to make the original transformer architecture suitable for continuous value time series data.
• Abstract（参考訳）: Transformerは、多くの自然言語処理、コンピュータビジョン、音声分析問題に対する最先端のモデルである。 トランスフォーマーは、過去の入力からの情報と出力サンプルを自動回帰的に効果的に組み合わせ、各サンプルが全ての入力と出力を認識できるようにする。 シーケンシャル・ツー・シークエンス(Seq2Seq)モデリングでは、トランスフォーマー処理されたサンプルが次の出力を予測するのに有効になる。 時系列予測はSeq2Seq問題である。 元のアーキテクチャは離散的な入力および出力シーケンストークンのために定義されるが、時系列に適用するには、モデルを連続データに適用する必要がある。 本研究は,連続値時系列データに適したトランスフォーマーアーキテクチャを実現するために,最小限の適応を導入する。

関連論文リスト

• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Rough Transformers: Lightweight and Continuous Time Series Modelling through Signature Patching [46.58170057001437]
  本稿では,入力シーケンスの連続時間表現で動作するトランスフォーマーモデルのバリエーションであるRough Transformerを紹介する。 様々な時系列関連タスクにおいて、Rough Transformersはベニラアテンションよりも常に優れています。
  論文  参考訳（メタデータ） (2024-05-31T14:00:44Z)
• Leveraging 2D Information for Long-term Time Series Forecasting with Vanilla Transformers [55.475142494272724]
  時系列予測は、様々な領域における複雑な力学の理解と予測に不可欠である。 GridTSTは、革新的な多方向性の注意を用いた2つのアプローチの利点を組み合わせたモデルである。 このモデルは、さまざまな現実世界のデータセットに対して、常に最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-05-22T16:41:21Z)
• Sparse-VQ Transformer: An FFN-Free Framework with Vector Quantization for Enhanced Time Series Forecasting [28.646457377816795]
  スパースベクトル量子化FFN自由変換器(スパースVQ)について紹介する。 提案手法は,RevIN(Reverse Instance Normalization)と組み合わせた疎ベクトル量子化手法を用いてノイズの影響を低減する。 我々のFFNフリーアプローチは、パラメータカウントをトリムし、計算効率を向上し、オーバーフィッティングを減らす。
  論文  参考訳（メタデータ） (2024-02-08T17:09:12Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• A Time Series is Worth 64 Words: Long-term Forecasting with Transformers [4.635547236305835]
  本稿では,時系列予測と自己教師型表現学習のためのトランスフォーマーモデルを提案する。 i) 時系列をサブシリーズレベルのパッチに分割し、Transformerへの入力トークンとして機能させる。 PatchTSTは、SOTA Transformerベースのモデルと比較して、長期予測精度を著しく向上させることができる。
  論文  参考訳（メタデータ） (2022-11-27T05:15:42Z)
• W-Transformers : A Wavelet-based Transformer Framework for Univariate Time Series Forecasting [7.075125892721573]
  我々はウェーブレットベースのトランスフォーマーエンコーダアーキテクチャを用いて,非定常時系列のトランスフォーマーモデルを構築した。 各種ドメインから公開されているベンチマーク時系列データセットについて,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2022-09-08T17:39:38Z)
• SepTr: Separable Transformer for Audio Spectrogram Processing [74.41172054754928]
  分離可能トランス (Separable Transformer, SepTr) と呼ばれる新しい視覚変換器アーキテクチャを提案する。 SepTrは2つのトランスフォーマーブロックを逐次的に使用し、1つは同じ周波数ビン内のトークンに、もう1つは同じ時間間隔でトークンに出席する。 我々は3つのベンチマークデータセットで実験を行い、我々のアーキテクチャが従来のビジョントランスフォーマーや他の最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-17T19:48:43Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。