Fugu-MT 論文翻訳(概要): Small but Mighty: Enhancing Time Series Forecasting with Lightweight LLMs

論文の概要: Small but Mighty: Enhancing Time Series Forecasting with Lightweight LLMs

arxiv url: http://arxiv.org/abs/2503.03594v2
Date: Sun, 09 Mar 2025 10:56:53 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-11 11:38:53.673266
Title: Small but Mighty: Enhancing Time Series Forecasting with Lightweight LLMs
Title（参考訳）: 軽量LDMによる時系列予測の小型化
Authors: Haoran Fan, Bin Li, Yixuan Weng, Shoujun Zhou,
Abstract要約: 本稿では,SMETimesについて述べる。SMETimesは,3B以下のパラメータのSLMを,効率的かつ正確な時系列予測を行うための最初の体系的な研究である。統計的特徴によって数値時系列をテキスト意味論でブリッジする統計的に強化されたプロンプト機構; 学習可能なパラメータを通して時間パターンと言語モデルトークン空間を整列する適応型融合埋め込みアーキテクチャ。
参考スコア（独自算出の注目度）: 11.1036247482657
License:
Abstract: While LLMs have demonstrated remarkable potential in time series forecasting, their practical deployment remains constrained by excessive computational demands and memory footprints. Existing LLM-based approaches typically suffer from three critical limitations: Inefficient parameter utilization in handling numerical time series patterns; Modality misalignment between continuous temporal signals and discrete text embeddings; and Inflexibility for real-time expert knowledge integration. We present SMETimes, the first systematic investigation of sub-3B parameter SLMs for efficient and accurate time series forecasting. Our approach centers on three key innovations: A statistically-enhanced prompting mechanism that bridges numerical time series with textual semantics through descriptive statistical features; A adaptive fusion embedding architecture that aligns temporal patterns with language model token spaces through learnable parameters; And a dynamic mixture-of-experts framework enabled by SLMs' computational efficiency, adaptively combining base predictions with domain-specific models. Extensive evaluations across seven benchmark datasets demonstrate that our 3B-parameter SLM achieves state-of-the-art performance on five primary datasets while maintaining 3.8x faster training and 5.2x lower memory consumption compared to 7B-parameter LLM baselines. Notably, the proposed model exhibits better learning capabilities, achieving 12.3% lower MSE than conventional LLM. Ablation studies validate that our statistical prompting and cross-modal fusion modules respectively contribute 15.7% and 18.2% error reduction in long-horizon forecasting tasks. By redefining the efficiency-accuracy trade-off landscape, this work establishes SLMs as viable alternatives to resource-intensive LLMs for practical time series forecasting. Code and models are available at https://github.com/xiyan1234567/SMETimes.
Abstract（参考訳）: LLMは時系列予測において顕著な可能性を示しているが、その実際の展開は過剰な計算要求とメモリフットプリントによって制約されている。既存のLCMベースのアプローチでは、数値時系列パターンを扱う際の非効率なパラメータ利用、連続時間信号と離散テキストの埋め込みの間のモダリティの不整合、リアルタイム知識の統合のための非フレキシビリティの3つの重要な制限がある。本稿では,SMETimesについて述べる。SMETimesは,3B以下のパラメータのSLMを,効率的かつ正確な時系列予測を行うための最初の体系的な研究である。提案手法は, 数値時系列を記述的統計特徴によるテキスト意味学にブリッジする統計的に強化されたプロンプト機構, 学習可能なパラメータによる時間パターンと言語モデルトークン空間を整列する適応型融合組込みアーキテクチャ, SLMの計算効率によって実現された動的混合実験フレームワーク, ベース予測とドメイン固有モデルとを適応的に結合する動的混合実験フレームワークである。 7つのベンチマークデータセットにわたる大規模な評価の結果、我々の3BパラメータSLMは5つのプライマリデータセットで最先端のパフォーマンスを達成しつつ、3.8倍の高速トレーニングと5.2倍のメモリ消費を維持しながら、7BパラメータLDMベースラインよりも低いメモリ消費を実現している。特に,提案モデルでは学習能力が向上し,従来のLLMよりも12.3%低いMSEを実現している。アブレーション研究は、我々の統計的プロンプトとクロスモーダル融合モジュールが、長期予測タスクにおいてそれぞれ15.7%と18.2%のエラー削減に寄与していることを検証する。本研究は, 資源集約型LCMの実用的時系列予測のための代替手段として, SLMを有効に活用することを目的としている。コードとモデルはhttps://github.com/xiyan1234567/SMETimes.comで入手できる。

関連論文リスト

LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文参考訳（メタデータ） (2025-02-15T02:55:22Z)
Large Language Models are Few-shot Multivariate Time Series Classifiers [23.045734479292356]
大規模言語モデル (LLM) は時系列解析に広く応用されている。しかし、数発の分類(すなわち重要な訓練シナリオ)におけるそれらの実用性は過小評価されている。データ不足を克服するために,LLMの学習済み知識を幅広く活用することを目的としている。
論文参考訳（メタデータ） (2025-01-30T03:59:59Z)
Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
論文参考訳（メタデータ） (2024-12-19T18:08:04Z)
Sequential Large Language Model-Based Hyper-parameter Optimization [0.0]
本研究では,大規模言語モデル(LLM)をハイパーパラメータ最適化(HPO)に活用する革新的なフレームワークSLLMBOを紹介する。動的探索空間適応性、拡張パラメータ空間利用、新しいLLM木構造パーゼン推定器(LLM-TPE)が組み込まれている。この総合ベンチマークは、GPT-3.5-Turbo、GPT-4o、Claude-Sonnet-3.5、Gemini-1.5-Flashを含む複数のLCMを評価する。
論文参考訳（メタデータ） (2024-10-27T00:50:30Z)
Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
論文参考訳（メタデータ） (2024-10-24T17:56:08Z)
Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
この研究は、性能評価のためのより効率的な指標として、事前学習損失に焦点を当てている。我々は、データソース間のFLOPに基づいて、ドメイン固有の事前学習損失を予測するために、電力法解析関数を拡張した。我々は2層ニューラルネットワークを用いて、複数のドメイン固有の損失と下流性能の非線形関係をモデル化する。
論文参考訳（メタデータ） (2024-10-11T04:57:48Z)
60 Data Points are Sufficient to Fine-Tune LLMs for Question-Answering [50.12622877002846]
大規模言語モデル(LLM)は、大量のデータセットの事前トレーニングを通じて、広範囲な世界の知識を符号化する。我々は,事前学習したLLMが記憶する知識の量に基づいて,教師付き微調整(SFT)データを分類した。実験の結果,SFTの段階では60個のデータポイントが事前学習中に符号化された知識を活性化することができ,LLMがQAタスクを実行できることがわかった。
論文参考訳（メタデータ） (2024-09-24T07:38:38Z)
Reprogramming Foundational Large Language Models(LLMs) for Enterprise Adoption for Spatio-Temporal Forecasting Applications: Unveiling a New Era in Copilot-Guided Cross-Modal Time Series Representation Learning [0.0]
パティオ時間予測は、輸送システム、物流、サプライチェーン管理など、様々な分野において重要な役割を担っている。本稿では,オープンソースの大規模・小規模言語モデル(LLM,LM)と従来の予測手法を組み合わせたハイブリッド手法を提案する。
論文参考訳（メタデータ） (2024-08-26T16:11:53Z)
A Comprehensive Evaluation of Large Language Models on Temporal Event Forecasting [45.0261082985087]
時間的事象予測のための大規模言語モデル(LLM)を総合的に評価する。 LLMの入力に生テキストを直接統合しても、ゼロショット補間性能は向上しないことがわかった。対照的に、特定の複雑なイベントや微調整LDMに生テキストを組み込むことで、性能が大幅に向上する。
論文参考訳（メタデータ） (2024-07-16T11:58:54Z)
LLM4TS: Aligning Pre-Trained LLMs as Data-Efficient Time-Series Forecasters [11.796765525301051]
事前学習された大言語モデル(LLM)を用いた時系列予測のためのフレームワークを提案する。 LLM4TSは、LLMを時系列データのニュアンスと整合させる2段階の微調整戦略と、下流の時系列予測タスクの予測微調整段階から構成される。我々のフレームワークは、事前訓練されたLLM内に多段階の時間データを統合し、時間固有の情報を解釈する能力を向上する新しい2段階集約手法を特徴としている。
論文参考訳（メタデータ） (2023-08-16T16:19:50Z)
To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文参考訳（メタデータ） (2023-05-22T17:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。