論文の概要: LLM-TS Integrator: Integrating LLM for Enhanced Time Series Modeling
- arxiv url: http://arxiv.org/abs/2410.16489v1
- Date: Mon, 21 Oct 2024 20:29:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-23 14:28:14.221941
- Title: LLM-TS Integrator: Integrating LLM for Enhanced Time Series Modeling
- Title（参考訳）: LLM-TSインテグレータ:拡張時系列モデリングのためのLCMの統合
- Authors: Can Chen, Gabriel Oliveira, Hossein Sharifi Noghabi, Tristan Sylvain,
- Abstract要約: 天気予報や異常検出などの動的システムでは時系列モデリングが不可欠である。
近年,大規模言語モデル(LLM)をTSモデリングに利用し,その強力なパターン認識機能を活用している。
- 参考スコア（独自算出の注目度）: 5.853711797849859
- License:
- Abstract: Time series~(TS) modeling is essential in dynamic systems like weather prediction and anomaly detection. Recent studies utilize Large Language Models (LLMs) for TS modeling, leveraging their powerful pattern recognition capabilities. These methods primarily position LLMs as the predictive backbone, often omitting the mathematical modeling within traditional TS models, such as periodicity. However, disregarding the potential of LLMs also overlooks their pattern recognition capabilities. To address this gap, we introduce \textit{LLM-TS Integrator}, a novel framework that effectively integrates the capabilities of LLMs into traditional TS modeling. Central to this integration is our \textit{mutual information} module. The core of this \textit{mutual information} module is a traditional TS model enhanced with LLM-derived insights for improved predictive abilities. This enhancement is achieved by maximizing the mutual information between traditional model's TS representations and LLM's textual representation counterparts, bridging the two modalities. Moreover, we recognize that samples vary in importance for two losses: traditional prediction and mutual information maximization. To address this variability, we introduce the \textit{sample reweighting} module to improve information utilization. This module assigns dual weights to each sample: one for prediction loss and another for mutual information loss, dynamically optimizing these weights via bi-level optimization. Our method achieves state-of-the-art or comparable performance across five mainstream TS tasks, including short-term and long-term forecasting, imputation, classification, and anomaly detection.
- Abstract（参考訳）: 時系列~(TS)モデリングは、天気予報や異常検出のような動的システムにおいて不可欠である。
近年,大規模言語モデル(LLM)をTSモデリングに適用し,その強力なパターン認識機能を活用している。
これらの手法は主にLSMを予測バックボーンとして位置づけ、周期性のような伝統的なTSモデルにおける数学的モデリングを省略する。
しかし、LLMの可能性を無視しても、パターン認識能力を見落としている。
このギャップに対処するために、従来のTSモデリングにLLMの機能を効果的に統合する新しいフレームワークである‘textit{LLM-TS Integrator} を導入する。
この統合の中心は、我々の \textit{mutual information} モジュールです。
この「textit{mutual information}」モジュールの中核は、予測能力を改善するためにLLMに基づく洞察で拡張された伝統的なTSモデルである。
この拡張は、従来のモデルのTS表現とLLMのテキスト表現の相互情報を最大化し、2つのモダリティをブリッジすることで達成される。
さらに、従来の予測と相互情報の最大化という2つの損失に対して、サンプルが重要であることを認識している。
この変動に対処するため,情報利用を改善するために,textit{sample reweighting} モジュールを導入する。
このモジュールは、各サンプルに二重重みを割り当てる: 1つは予測損失、もう1つは相互情報損失、もう1つはバイレベル最適化によってこれらの重みを動的に最適化する。
本手法は,短期および長期の予測,計算,分類,異常検出を含む5つのメインストリームTSタスクにおいて,最先端ないし同等の性能を実現する。
関連論文リスト
- Can MLLMs Guide Weakly-Supervised Temporal Action Localization Tasks? [6.7065734065794835]
MLLM4WTALと呼ばれる新しい学習パラダイムを導入する。
MLLMのポテンシャルを利用して、時間的アクションキーセマンティクスと完全なセマンティクスの事前を提供する。
キーセマンティックマッチング(KSM)と完全セマンティック再構成(CSR)の2つの異なるモジュールを統合することでこれを実現できる。
論文 参考訳（メタデータ） (2024-11-13T09:37:24Z) - Beam Prediction based on Large Language Models [51.45077318268427]
ミリ波(mmWave)通信は次世代無線ネットワークに期待できるが、パス損失は大きい。
長短期記憶(LSTM)のような従来のディープラーニングモデルでは、ビーム追跡精度が向上するが、ロバスト性や一般化が不足している。
本稿では,大規模言語モデル(LLM)を用いて,ビーム予測の堅牢性を向上させる。
論文 参考訳（メタデータ） (2024-08-16T12:40:01Z) - Get Confused Cautiously: Textual Sequence Memorization Erasure with Selective Entropy Maximization [17.20276556057748]
大規模言語モデル(LLM)は、トレーニングセットの冗長性からいくつかのテキストシーケンスを暗記し、引用することが発見されている。
このTSM(Textual Sequence Memorization)現象は、特定の記憶されたテキストを生成するのを防ぐために、LCM出力の調整を要求される。
TSM消去のための既存の方法は、モデルユーティリティを実質的に損なうことなく、大量の記憶されたサンプルを忘れることができない。
論文 参考訳（メタデータ） (2024-08-09T10:26:11Z) - DALD: Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。
我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。
DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
論文 参考訳（メタデータ） (2024-06-07T19:38:05Z) - Towards Modeling Learner Performance with Large Language Models [7.002923425715133]
本稿では,LLMのパターン認識とシーケンスモデリング機能が,知識追跡の領域にまで拡張できるかどうかを検討する。
ゼロショットプロンプト(ゼロショットプロンプト)とモデル微調整(モデル微調整)の2つの手法と,既存のLLM以外の知識追跡手法を比較した。
LLMベースのアプローチは最先端のパフォーマンスを達成しないが、微調整のLLMは素早いベースラインモデルの性能を上回り、標準的なベイズ的知識追跡手法と同等に機能する。
論文 参考訳（メタデータ） (2024-02-29T14:06:34Z) - Enhanced LFTSformer: A Novel Long-Term Financial Time Series Prediction Model Using Advanced Feature Engineering and the DS Encoder Informer Architecture [0.8532753451809455]
本研究では,拡張LFTSformerと呼ばれる長期金融時系列の予測モデルを提案する。
このモデルは、いくつかの重要なイノベーションを通じて、自分自身を区別する。
さまざまなベンチマークストックマーケットデータセットに関するシステマティックな実験は、強化LFTSformerが従来の機械学習モデルより優れていることを示している。
論文 参考訳（メタデータ） (2023-10-03T08:37:21Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳（メタデータ） (2023-10-03T01:31:25Z) - Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。
我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
論文 参考訳（メタデータ） (2023-03-13T16:00:31Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳（メタデータ） (2023-01-27T18:59:01Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳（メタデータ） (2022-11-09T18:58:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。