論文の概要: Speaking Numbers to LLMs: Multi-Wavelet Number Embeddings for Time Series Forecasting

• arxiv url: http://arxiv.org/abs/2606.26487v1
• Date: Thu, 25 Jun 2026 00:44:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.122241
• Title: Speaking Numbers to LLMs: Multi-Wavelet Number Embeddings for Time Series Forecasting
• Title（参考訳）: LLMに語る数字:時系列予測のためのマルチウェーブレット数埋め込み
• Authors: Defu Cao, Zijie Lei, Muyan Weng, Jiao Sun, Yan Liu,
• Abstract要約: 大言語モデル(LLM)は、異種テキスト信号を統合することができるため、コンテキスト対応の時系列予測には魅力的である。 本研究では,TempoWaveを提案する。TempoWaveは,各スカラー観測をマルチウェーブレット,マルチスケール係数から構築したディジタルワイド埋め込みにマッピングする,時間的ウェーブレットディジットインタフェースである。
• 参考スコア（独自算出の注目度）: 14.762301824375834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are attractive for context-aware time series forecasting because they can integrate heterogeneous textual signals, yet their discrete, language-oriented tokenization and embedding interfaces are misaligned with continuous numerical values, often harming numerical ordering and forecasting reliability. We propose TempoWave, a plug-and-play temporal wavelet digit interface that maps each scalar observation into digit-wise embeddings constructed from multi-wavelet, multi-scale coefficients. By directly overriding standard token representations, TempoWave seamlessly exposes both fine-grained local fluctuations and macro global structures in a transformer-compatible form, ensuring that precise numerical formatting, distinct digit identity, and robustness to common normalization operations are maintained throughout the LLM pipeline. Experiments across five context-enriched forecasting benchmarks demonstrate that TempoWave consistently improves LLM-based forecasters over standard numeric tokenization and alternative embedding interfaces, achieving a new state-of-the-art. These results highlight the numeric interface as a key bottleneck and suggest that principled multi-resolution embeddings can better couple LLMs' contextual reasoning with precise forecasting. Our code is available at https://github.com/DC-research/TempoWAVE and our model can be accessed at https://huggingface.co/Melady/TempoWAVE.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、異質なテキスト信号を統合することができるため、文脈対応の時系列予測には魅力的であるが、その離散的な言語指向のトークン化と埋め込みインタフェースは連続した数値値と不一致であり、数値順序付けや予測信頼性を損なうことが多い。 本研究では,TempoWaveを提案する。TempoWaveは,マルチウェーブレット,マルチスケール係数から構築したディジタルワイド埋め込みに,各スカラー観測をマッピングする,プラグイン・アンド・プレイのテンポラルウェーブレット・ディジットインターフェースである。 標準トークン表現を直接オーバーライドすることで、TempoWaveは、精細な局所ゆらぎとマクログローバル構造の両方をトランスフォーマー互換形式でシームレスに公開し、正確な数値フォーマット、異なる桁のアイデンティティ、共通正規化操作に対するロバスト性がLLMパイプラインを通して維持されることを保証する。 5つの文脈に富んだ予測ベンチマークの実験により、TempoWaveは標準の数値トークン化と代替の埋め込みインターフェイスよりもLCMベースの予測器を一貫して改善し、新しい最先端の達成を実現している。 これらの結果から,LLMの文脈推論と正確な予測を両立させることができることが示唆された。 私たちのコードはhttps://github.com/DC-research/TempoWAVEで、私たちのモデルはhttps://huggingface.co/Melady/TempoWAVEでアクセスできます。

関連論文リスト

• Adapting LLMs to Time Series Forecasting via Temporal Heterogeneity Modeling and Semantic Alignment [32.41581846555808]
  大規模言語モデル(LLM)は、最近、自然言語処理における印象的な能力を実証した。 時間的アライメントのモデル化と意味的アライメントの強化によりLLMに基づく予測を強化する統合フレームワークであるTALONを提案する。 7つの実世界のベンチマークの実験では、TALONはすべてのデータセットで優れたパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2025-08-10T06:06:19Z)
• Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization [74.3339999119713]
  我々はウェーブレットベースのトークンーザを開発し、時間局所化周波数の空間でモデルが複雑な表現を直接学習できるようにする。 提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。
  論文  参考訳（メタデータ） (2024-12-06T18:22:59Z)
• TimeCMA: Towards LLM-Empowered Multivariate Time Series Forecasting via Cross-Modality Alignment [21.690191536424567]
  TimeCMAは、時系列予測のための直感的で効果的なフレームワークである。 8つの実際のデータセットに対する大規模な実験は、TimeCMAが最先端のデータセットを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-06-03T00:27:29Z)
• AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
  AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。 時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
  論文  参考訳（メタデータ） (2024-02-04T06:59:21Z)
• Large Language Models Are Zero-Shot Time Series Forecasters [48.73953666153385]
  時系列を数値桁の列として符号化することにより、テキストの次トーケン予測として時系列予測をフレーム化することができる。 GPT-3 や LLaMA-2 のような大規模言語モデル (LLM) は、ダウンストリームタスクでトレーニングされた目的構築された時系列モデルの性能に匹敵する、あるいはそれ以上のレベルにおいて、驚くほどゼロショット・エクスポレート・時系列を生成できる。
  論文  参考訳（メタデータ） (2023-10-11T19:01:28Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。