論文の概要: Lotus: Learning to Understand Time-series by Learning to Forecast

• arxiv url: http://arxiv.org/abs/2610.18877v1
• Date: Thu, 01 Oct 2026 01:44:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.539301
• Title: Lotus: Learning to Understand Time-series by Learning to Forecast
• Title（参考訳）: Lotus: 時系列を予測して理解することを学ぶ
• Abstract要約: 時系列言語モデルは通常、ラベル、キャプション、質問応答ペアを使用して、数値信号と言語を一致させる。 我々は、下流タスクに適応する前に、言語対応の時系列表現が将来の進化を予測することを要求する事前学習の原則である予測グラウンドを導入する。 この原理をLOTUSでインスタンス化し、各時系列チャンネルを重複しないパッチに分割し、LLM埋め込み空間にマッピングする。
• 参考スコア（独自算出の注目度）: 6.082913523231794
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Time-series language models typically align numerical signals with language using labels, captions, or question-answer pairs. Although such supervision encourages linguistic representations, it does not explicitly require them to preserve information about how the underlying time-series signal evolves. We introduce forecast grounding, a pretraining principle that requires language-aligned time-series representations to remain predictive of the future evolution before they are adapted to downstream tasks. We instantiate this principle in LOTUS, which divides each time-series channel into non-overlapping patches and maps them into the LLM embedding space. It then predicts the next patch from the LLM hidden states of the time-series tokens, encouraging the learned representation to retain temporal information. To capture both temporal changes and periodic patterns, we also propose a temporal-spectral patch representation that combines each raw time-series patch with its spectral representation before mapping it into the LLM embedding space. Across three language model backbones and six downstream evaluation datasets, LOTUS achieves the best average performance with minimal trainable parameters, reaching 59.91% accuracy and outperforming the strongest matched baseline by 3.36%. Our representation analyses further show that LOTUS uses the numerical input and preserves temporal structure in its learned patch representations. These results establish forecast grounding as a promising pretraining principle, enabling compact time-series language models to outperform models 25 to 50 times their size on TSRBench.
• Abstract（参考訳）: 時系列言語モデルは通常、ラベル、キャプション、質問応答ペアを使用して、数値信号と言語を一致させる。 このような指導は言語表現を奨励するが、基礎となる時系列信号の進化に関する情報を明示的に保存する必要はない。 我々は、下流タスクに適応する前に、言語対応の時系列表現が将来の進化を予測することを要求する事前学習の原則である予測グラウンドを導入する。 この原理をLOTUSでインスタンス化し、各時系列チャンネルを重複しないパッチに分割し、LLM埋め込み空間にマッピングする。 次に、時系列トークンのLLM隠れ状態から次のパッチを予測し、学習した表現に時間情報を保持するように促す。 時間的変化と周期的パターンの両方を捉えるために,LLM埋め込み空間にマッピングする前に,各生の時系列パッチをそのスペクトル表現と組み合わせた時間的・スペクトル的パッチ表現を提案する。 3つの言語モデルバックボーンと6つの下流評価データセットで、LOTUSは最小限のトレーニング可能なパラメータで最高の平均性能を達成し、59.91%の精度に達し、最強のマッチしたベースラインを3.36%上回った。 我々の表現分析は、LOTUSが数値入力を使い、学習したパッチ表現の時間構造を保存していることを示している。 これらの結果は予測基盤を有望な事前学習原理として確立し、TSRBenchの25倍から50倍の大きさのモデルよりコンパクトな時系列言語モデルを実現する。

関連論文リスト

• Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization [74.3339999119713]
  我々はウェーブレットベースのトークンーザを開発し、時間局所化周波数の空間でモデルが複雑な表現を直接学習できるようにする。 提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。
  論文  参考訳（メタデータ） (2024-12-06T18:22:59Z)
• Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning [22.28251586213348]
  aLLM4TSは、時系列表現学習にLarge Language Models(LLM)を適用する革新的なフレームワークである。 われわれのフレームワークの特筆すべき要素はパッチワイドデコーディング層である。
  論文  参考訳（メタデータ） (2024-02-07T13:51:26Z)
• Large Language Models Are Zero-Shot Time Series Forecasters [48.73953666153385]
  時系列を数値桁の列として符号化することにより、テキストの次トーケン予測として時系列予測をフレーム化することができる。 GPT-3 や LLaMA-2 のような大規模言語モデル (LLM) は、ダウンストリームタスクでトレーニングされた目的構築された時系列モデルの性能に匹敵する、あるいはそれ以上のレベルにおいて、驚くほどゼロショット・エクスポレート・時系列を生成できる。
  論文  参考訳（メタデータ） (2023-10-11T19:01:28Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。