Fugu-MT 論文翻訳(概要): Understanding Different Design Choices in Training Large Time Series Models

論文の概要: Understanding Different Design Choices in Training Large Time Series Models

arxiv url: http://arxiv.org/abs/2406.14045v1
Date: Thu, 20 Jun 2024 07:09:19 GMT
ステータス: 翻訳完了
システム内更新日: 2024-06-21 15:00:17.627792
Title: Understanding Different Design Choices in Training Large Time Series Models
Title（参考訳）: 大規模時系列モデルの訓練における異なる設計選択の理解
Authors: Yu-Neng Chuang, Songchen Li, Jiayi Yuan, Guanchu Wang, Kwei-Herng Lai, Leisheng Yu, Sirui Ding, Chia-Yuan Chang, Qiaoyu Tan, Daochen Zha, Xia Hu,
Abstract要約: 不均一な時系列データに基づく大規模時系列モデル(LTSMs)のトレーニングには,ユニークな課題が伴う。本稿では,時系列データに合わせた新しい統計プロンプトである,時系列プロンプトを提案する。 textttLTSM-bundleを導入します。
参考スコア（独自算出の注目度）: 71.20102277299445
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Inspired by Large Language Models (LLMs), Time Series Forecasting (TSF), a long-standing task in time series analysis, is undergoing a transition towards Large Time Series Models (LTSMs), aiming to train universal transformer-based models for TSF. However, training LTSMs on heterogeneous time series data poses unique challenges, including diverse frequencies, dimensions, and patterns across datasets. Recent endeavors have studied and evaluated various design choices aimed at enhancing LTSM training and generalization capabilities, spanning pre-processing techniques, model configurations, and dataset configurations. In this work, we comprehensively analyze these design choices and aim to identify the best practices for training LTSM. Moreover, we propose \emph{time series prompt}, a novel statistical prompting strategy tailored to time series data. Furthermore, based on the observations in our analysis, we introduce \texttt{LTSM-bundle}, which bundles the best design choices we have identified. Empirical results demonstrate that \texttt{LTSM-bundle} achieves superior zero-shot and few-shot performances compared to state-of-the-art LSTMs and traditional TSF methods on benchmark datasets.
Abstract（参考訳）: 大言語モデル(LLM)にインスパイアされた時系列予測(TSF)は、TSFのユニバーサルトランスフォーマーベースモデルをトレーニングすることを目的とした、時系列分析における長年の課題である。しかし、ヘテロジニアス時系列データに対するLTSMのトレーニングは、さまざまな周波数、次元、データセット間のパターンなど、ユニークな課題を生んでいる。最近の取り組みでは、LTSMトレーニングと一般化能力の向上、事前処理技術、モデル構成、データセット構成にまたがる様々な設計選択を研究し、評価している。本研究では、これらの設計選択を包括的に分析し、LTSMのトレーニングにおけるベストプラクティスを特定することを目的とする。さらに,時系列データに合わせた新しい統計的プロンプト戦略である「emph{time series prompt}」を提案する。さらに,分析結果から,最も優れた設計選択をバンドルした「texttt{LTSM-bundle}」を紹介した。実験結果から, ベンチマークデータセット上での最先端のLSTMや従来のTLF手法と比較して, ゼロショットと少数ショットのパフォーマンスが優れていることが示された。

関連論文リスト

Efficient Model Selection for Time Series Forecasting via LLMs [52.31535714387368]
本稿では,Large Language Models (LLM) をモデル選択の軽量な代替手段として活用することを提案する。提案手法は, LLMの固有知識と推論能力を活用することで, 明示的な性能行列の必要性を解消する。
論文参考訳（メタデータ） (2025-04-02T20:33:27Z)
Empowering Time Series Analysis with Synthetic Data: A Survey and Outlook in the Era of Foundation Models [104.17057231661371]
時系列解析は複雑なシステムの力学を理解するために重要である。基本モデルの最近の進歩はタスク非依存の時系列基礎モデル (TSFM) と大規模言語モデルベース時系列モデル (TSLLM) につながっている。彼らの成功は、規制、多様性、品質、量制約のために構築が困難である、大規模で多様で高品質なデータセットに依存する。本調査では,TSFMとTLLLMの合成データの総合的なレビュー,データ生成戦略の分析,モデル事前学習におけるそれらの役割,微調整,評価,今後の研究方向性の特定について述べる。
論文参考訳（メタデータ） (2025-03-14T13:53:46Z)
Large Language Models are Few-shot Multivariate Time Series Classifiers [23.045734479292356]
大規模言語モデル (LLM) は時系列解析に広く応用されている。しかし、数発の分類(すなわち重要な訓練シナリオ)におけるそれらの実用性は過小評価されている。データ不足を克服するために,LLMの学習済み知識を幅広く活用することを目的としている。
論文参考訳（メタデータ） (2025-01-30T03:59:59Z)
M-CELS: Counterfactual Explanation for Multivariate Time Series Data Guided by Learned Saliency Maps [0.9374652839580181]
M-CELSは,多次元時系列分類タスクにおける解釈可能性を高めるために設計された,対物的説明モデルである。その結果, M-CELS の有効性, 近接性, 疎度に優れた性能を示した。
論文参考訳（メタデータ） (2024-11-04T22:16:24Z)
Metadata Matters for Time Series: Informative Forecasting with Transformers [70.38241681764738]
時系列予測のためのMetaTST(Metadata-informed Time Series Transformer)を提案する。メタデータの非構造化の性質に取り組むため、MetaTSTは、事前に設計されたテンプレートによってそれらを自然言語に形式化する。 Transformerエンコーダは、メタデータ情報によるシーケンス表現を拡張するシリーズトークンとメタデータトークンの通信に使用される。
論文参考訳（メタデータ） (2024-10-04T11:37:55Z)
Deep Time Series Models: A Comprehensive Survey and Benchmark [74.28364194333447]
時系列データは、現実世界のシナリオにおいて非常に重要である。近年、時系列コミュニティで顕著なブレークスルーが見られた。多様な分析タスクのためのディープ時系列モデルの公正なベンチマークとして、時系列ライブラリ(TSLib)をリリースします。
論文参考訳（メタデータ） (2024-07-18T08:31:55Z)
UniCL: A Universal Contrastive Learning Framework for Large Time Series Models [18.005358506435847]
時系列分析は、金融から医療まで、さまざまな重要なアプリケーションにおいて重要な役割を果たす。従来の教師付き学習手法は、まず各タスクにおける時系列データの広範なラベルを注釈付けする。本稿では,時系列基礎モデルの事前学習を目的とした,普遍的でスケーラブルなコントラスト学習フレームワークUniCLを紹介する。
論文参考訳（メタデータ） (2024-05-17T07:47:11Z)
Attractor Memory for Long-Term Time Series Forecasting: A Chaos Perspective [63.60312929416228]
textbftextitAttraosはカオス理論を長期時系列予測に取り入れている。本研究では,AttraosがPatchTSTと比較して,パラメータの12分の1しか持たない主流データセットやカオスデータセットにおいて,LTSF法よりも優れていることを示す。
論文参考訳（メタデータ） (2024-02-18T05:35:01Z)
MOMENT: A Family of Open Time-series Foundation Models [19.0845213853369]
汎用時系列解析のためのオープンソース基盤モデルのファミリであるMOMENTを紹介する。我々は、タイムシリーズパイル(Time series Pile)と呼ばれる公開時系列のコレクションをコンパイルし、時系列固有の課題に体系的に取り組みます。我々は、様々なタスクやデータセットに関する時系列基礎モデルを、限られた監督設定で評価するためのベンチマークを設計するための最近の作業に基づいて構築する。
論文参考訳（メタデータ） (2024-02-06T10:48:46Z)
Unified Training of Universal Time Series Forecasting Transformers [104.56318980466742]
マスク型ユニバーサル時系列予測変換器(モイライ)について述べる。 Moiraiは、新たに導入された大規模オープンタイムシリーズアーカイブ(LOTSA)で訓練されており、9つのドメインで27億以上の観測が行われた。 Moiraiは、フルショットモデルと比較してゼロショットの予測器として、競争力や優れたパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-02-04T20:00:45Z)
Timer: Generative Pre-trained Transformers Are Large Time Series Models [83.03091523806668]
本稿では,大規模時系列モデル(LTSM)の早期開発を目的とした。事前トレーニング中に、最大10億のタイムポイントを持つ大規模なデータセットをキュレートします。多様なアプリケーションのニーズを満たすため,予測,計算,時系列の異常検出を統一的な生成タスクに変換する。
論文参考訳（メタデータ） (2024-02-04T06:55:55Z)
TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting [24.834846119163885]
本稿では,時系列表現を効果的に学習できる新しいフレームワークTEMPOを提案する。 TEMPOは、様々な領域のデータから現実世界の時間現象を動的にモデル化する機能を拡張する。
論文参考訳（メタデータ） (2023-10-08T00:02:25Z)
Unified Long-Term Time-Series Forecasting Benchmark [0.6526824510982802]
本稿では,時系列予測のための包括的データセットを提案する。多様な動的システムと実生活記録から得られたデータセットのコレクションを組み込んだ。多様なシナリオにおいて最も効果的なモデルを決定するために、古典的および最先端のモデルを用いて広範なベンチマーク分析を行う。本研究は,これらのモデルの性能比較を興味深いものにし,モデルの有効性のデータセット依存性を強調した。
論文参考訳（メタデータ） (2023-09-27T18:59:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。