論文の概要: From Numbers to Prompts: A Cognitive Symbolic Transition Mechanism for Lightweight Time-Series Forecasting
- arxiv url: http://arxiv.org/abs/2602.00088v1
- Date: Fri, 23 Jan 2026 02:49:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-09 02:03:42.364553
- Title: From Numbers to Prompts: A Cognitive Symbolic Transition Mechanism for Lightweight Time-Series Forecasting
- Title(参考訳): 数からプロンプトへ:軽量時系列予測のための認知的シンボリック遷移機構
- Authors: Namkyung Yoon, Hwangnam Kim,
- Abstract要約: シンボリック・トランジション・メカニズム(STM)は、数値時系列データと言語モデルをシンボリック・抽象化とプロンプト・エンジニアリングを通じて橋渡しする。
計算環境が限定された4つの小言語モデル (SLM) と組み合わせて, 時系列データセット上でSTMを評価する。
全てのモデルにおいて、STMは、STMのないデフォルトのバックボーンSLMと比較して、MAEの最大69%、MSEの最大90%のエラー削減を実現している。
- 参考スコア(独自算出の注目度): 2.7501248535328315
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models have achieved remarkable success in time series prediction tasks, but their substantial computational and memory requirements limit deployment on lightweight platforms. In this paper, we propose the Symbolic Transition Mechanism (STM) a novel framework that bridges numeric time series data and language models through symbolic abstraction and prompt engineering. STM transforms continuous time series values into symbol tokens with quantization techniques based on human cognitive structures, and captures temporal dynamics through structured transformations of symbols, enabling fast engineering based predictions in which language models focus on critical parts of time series data. STM is a general purpose mechanisms that ensure the integrity of backbone language models, but they significantly improve their efficiency by inferring the dynamic and structured patterns inherent in time series data. We evaluated STM on various time series datasets, paired with four small language models (SLM) with limited computational environments. For all models, STM achieves error reductions of up to 69% in MAE and 90% in MSE compared to the default backbone SLM without STM. These results demonstrate the potential of STM as an efficient, adaptable layer for symbol-driven time series prediction using foundation models. The accuracy improvements were made at negligible resource costs, with maximum GPU memory of the base model increasing by approximately 0.06% and latency overhead increasing by only 0.64%.
- Abstract(参考訳): 大規模言語モデルは時系列予測タスクにおいて顕著な成功を収めているが、その計算とメモリの要求は軽量プラットフォームへの展開を制限する。
本稿では,数値時系列データと言語モデルをシンボリック抽象化とプロンプトエンジニアリングによってブリッジする新しいフレームワークであるSTMを提案する。
STMは、連続時系列の値を人間の認知構造に基づく量子化技術でシンボルトークンに変換し、シンボルの構造的変換を通じて時間的ダイナミクスをキャプチャし、言語モデルが時系列データの重要な部分にフォーカスする高速なエンジニアリングベースの予測を可能にする。
STMは、バックボーン言語モデルの整合性を保証する汎用メカニズムであるが、時系列データに固有の動的および構造化パターンを推定することにより、その効率を著しく向上させる。
計算環境が限定された4つの小言語モデル (SLM) と組み合わせて, 時系列データセットを用いてSTMを評価した。
全てのモデルにおいて、STMは、STMのないデフォルトのバックボーンSLMと比較して、MAEの最大69%、MSEの最大90%のエラー削減を実現している。
これらの結果は,基本モデルを用いたシンボル駆動時系列予測において,STMが効率的かつ適応可能なレイヤーとしての可能性を示している。
リソースコストの無視により精度が向上し、ベースモデルの最大GPUメモリは約0.06%増加し、レイテンシオーバーヘッドはわずか0.64%増加した。
関連論文リスト
- Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
時系列予測(LTSF)は時系列分析において重要なフロンティアである。
本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。
興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - Tiny Time Mixers (TTMs): Fast Pre-trained Models for Enhanced Zero/Few-Shot Forecasting of Multivariate Time Series [11.635608108358575]
本稿では,効率的な転送学習機能を備えたコンパクトモデルであるTiny Time Mixers (TTM)について紹介する。
TTMには、適応パッチ、多様な解像度サンプリング、およびさまざまなデータセット解像度の事前トレーニングを処理するための解像度プレフィックスチューニングなどのイノベーションが含まれている。
既存のベンチマークでは0/few-shot予測(4-40%)を上回り、計算要求を大幅に削減した。
論文 参考訳(メタデータ) (2024-01-08T15:21:21Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳(メタデータ) (2023-10-03T01:31:25Z) - Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。
MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。
その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文 参考訳(メタデータ) (2023-09-13T04:06:47Z) - SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling [82.69579113377192]
SimMTM は Masked Time-Series Modeling のための単純な事前トレーニングフレームワークである。
SimMTMは、多様体の外にある複数の隣人の重み付けによるマスク付き時間点の復元を行う。
SimMTMは、最も先進的な時系列事前学習法と比較して、最先端の微調整性能を実現する。
論文 参考訳(メタデータ) (2023-02-02T04:12:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。