Fugu-MT 論文翻訳(概要): From Text to Time? Rethinking the Effectiveness of the Large Language Model for Time Series Forecasting

論文の概要: From Text to Time? Rethinking the Effectiveness of the Large Language Model for Time Series Forecasting

arxiv url: http://arxiv.org/abs/2504.08818v1
Date: Wed, 09 Apr 2025 13:20:09 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-15 16:54:41.614434
Title: From Text to Time? Rethinking the Effectiveness of the Large Language Model for Time Series Forecasting
Title（参考訳）: テキストから時間へ : 時系列予測における大規模言語モデルの有効性を再考する
Authors: Xinyu Zhang, Shanshan Feng, Xutao Li,
Abstract要約: 時系列予測のバックボーンとして事前訓練された大言語モデル(LLMs)を用いることは、近年、大きな研究関心を集めている。小さなデータセット上でのLCMベースのモデルのトレーニングとテストは、しばしばDecoderとDecoderがデータセットに過度に適応するようになることを観察する。大規模な実験により、LSMのバックボーンはある程度の可能性を証明しているが、予測性能は限られていることが明らかになった。
参考スコア（独自算出の注目度）: 22.052783052469344
License:
Abstract: Using pre-trained large language models (LLMs) as the backbone for time series prediction has recently gained significant research interest. However, the effectiveness of LLM backbones in this domain remains a topic of debate. Based on thorough empirical analyses, we observe that training and testing LLM-based models on small datasets often leads to the Encoder and Decoder becoming overly adapted to the dataset, thereby obscuring the true predictive capabilities of the LLM backbone. To investigate the genuine potential of LLMs in time series prediction, we introduce three pre-training models with identical architectures but different pre-training strategies. Thereby, large-scale pre-training allows us to create unbiased Encoder and Decoder components tailored to the LLM backbone. Through controlled experiments, we evaluate the zero-shot and few-shot prediction performance of the LLM, offering insights into its capabilities. Extensive experiments reveal that although the LLM backbone demonstrates some promise, its forecasting performance is limited. Our source code is publicly available in the anonymous repository: https://anonymous.4open.science/r/LLM4TS-0B5C.
Abstract（参考訳）: 時系列予測のバックボーンとして事前訓練された大言語モデル(LLMs)を用いることは、近年、大きな研究関心を集めている。しかし、この領域におけるLLMバックボーンの有効性は議論の的となっている。徹底的な実証分析に基づいて、小さなデータセット上でのLLMベースのモデルのトレーニングとテストは、しばしばEncoderとDecoderがデータセットに過度に適応し、LLMバックボーンの真の予測能力を欠いていることを観察する。時系列予測におけるLLMの真の可能性を検討するために,同一のアーキテクチャを持つ3つの事前学習モデルを導入する。これにより、大規模な事前トレーニングにより、LLMバックボーンに合わせて、バイアスのないエンコーダとデコーダのコンポーネントを作成することができる。制御実験により,LLMのゼロショットおよび少数ショット予測性能を評価し,その性能について考察した。大規模な実験により、LSMのバックボーンはある程度の可能性を証明しているが、予測性能は限られていることが明らかになった。ソースコードは匿名リポジトリで公開されている。 https://anonymous.4open.science/r/LLM4TS-0B5C。

関連論文リスト

Large Language Models are Few-shot Multivariate Time Series Classifiers [23.045734479292356]
大規模言語モデル (LLM) は時系列解析に広く応用されている。しかし、数発の分類(すなわち重要な訓練シナリオ)におけるそれらの実用性は過小評価されている。データ不足を克服するために,LLMの学習済み知識を幅広く活用することを目的としている。
論文参考訳（メタデータ） (2025-01-30T03:59:59Z)
Predicting Emergent Capabilities by Finetuning [98.9684114851891]
微調整された言語モデルでは,出現頻度の低いモデルに展開するスケーリングのポイントをシフトできることがわかった。提案手法は4つの標準NLPベンチマークを用いて検証する。いくつかのケースでは、最大4倍の計算でトレーニングされたモデルが出現したかどうかを正確に予測できる。
論文参考訳（メタデータ） (2024-11-25T01:48:09Z)
Dynamic Uncertainty Ranking: Enhancing Retrieval-Augmented In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。 ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
論文参考訳（メタデータ） (2024-10-31T03:42:17Z)
A Comprehensive Evaluation of Large Language Models on Temporal Event Forecasting [45.0261082985087]
時間的事象予測のための大規模言語モデル(LLM)を総合的に評価する。 LLMの入力に生テキストを直接統合しても、ゼロショット補間性能は向上しないことがわかった。対照的に、特定の複雑なイベントや微調整LDMに生テキストを組み込むことで、性能が大幅に向上する。
論文参考訳（メタデータ） (2024-07-16T11:58:54Z)
Are Language Models Actually Useful for Time Series Forecasting? [21.378728572776897]
LLM成分を除去したり,基本的な注意層に置き換えたりしても,予測性能は低下しないことがわかった。また、計算コストがかなり高いにもかかわらず、事前訓練されたLLMは、スクラッチから訓練されたモデルに劣らないことが判明した。我々は時系列エンコーダを探索し、パッチとアテンション構造がLLMベースの予測器と同様に動作することを示す。
論文参考訳（メタデータ） (2024-06-22T03:33:38Z)
Time Series Forecasting with LLMs: Understanding and Enhancing Model Capabilities [46.02234423159257]
大規模言語モデル(LLM)は多くの分野に適用され、近年急速に発展してきた。近年の研究では、大規模な言語モデルを、さらなる微調整を行なわずに、アンフェロショット時系列推論として扱っている。本研究は,LLMが周期性に欠けるデータセットにおいて,明確なパターンや傾向を持つ時系列予測において良好に機能することを示す。
論文参考訳（メタデータ） (2024-02-16T17:15:28Z)
AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
論文参考訳（メタデータ） (2024-02-04T06:59:21Z)
Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文参考訳（メタデータ） (2024-01-02T18:53:13Z)
Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文参考訳（メタデータ） (2023-10-03T01:31:25Z)
Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
論文参考訳（メタデータ） (2023-08-07T18:50:57Z)
Differentially Private Decoding in Large Language Models [14.221692239892207]
本稿では,復号段階で既に訓練済みのモデルに適用可能な,単純で分かり易く,計算的に軽量な摂動機構を提案する。我々の摂動メカニズムはモデルに依存しず、どんな大規模言語モデルとも併用することができる。
論文参考訳（メタデータ） (2022-05-26T20:50:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。