Fugu-MT 論文翻訳(概要): Reprogramming Foundational Large Language Models(LLMs) for Enterprise Adoption for Spatio-Temporal Forecasting Applications: Unveiling a New Era in Copilot-Guided Cross-Modal Time Series Representation Learning

論文の概要: Reprogramming Foundational Large Language Models(LLMs) for Enterprise Adoption for Spatio-Temporal Forecasting Applications: Unveiling a New Era in Copilot-Guided Cross-Modal Time Series Representation Learning

arxiv url: http://arxiv.org/abs/2408.14387v1
Date: Mon, 26 Aug 2024 16:11:53 GMT
ステータス: 処理完了
システム内更新日: 2024-08-27 13:21:54.099630
Title: Reprogramming Foundational Large Language Models(LLMs) for Enterprise Adoption for Spatio-Temporal Forecasting Applications: Unveiling a New Era in Copilot-Guided Cross-Modal Time Series Representation Learning
Title（参考訳）: 時空間予測アプリケーションのためのエンタープライズ導入のための基礎的大規模言語モデル(LLM)の再プログラミング:コパイロット誘導型クロスモーダル時系列表現学習の新しい時代を開拓する
Authors: Sakhinana Sagar Srinivas, Chidaksh Ravuru, Geethan Sannidhi, Venkataramana Runkana,
Abstract要約: パティオ時間予測は、輸送システム、物流、サプライチェーン管理など、様々な分野において重要な役割を担っている。本稿では,オープンソースの大規模・小規模言語モデル(LLM,LM)と従来の予測手法を組み合わせたハイブリッド手法を提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Spatio-temporal forecasting plays a crucial role in various sectors such as transportation systems, logistics, and supply chain management. However, existing methods are limited by their ability to handle large, complex datasets. To overcome this limitation, we introduce a hybrid approach that combines the strengths of open-source large and small-scale language models (LLMs and LMs) with traditional forecasting methods. We augment traditional methods with dynamic prompting and a grouped-query, multi-head attention mechanism to more effectively capture both intra-series and inter-series dependencies in evolving nonlinear time series data. In addition, we facilitate on-premises customization by fine-tuning smaller open-source LMs for time series trend analysis utilizing descriptions generated by open-source large LMs on consumer-grade hardware using Low-Rank Adaptation with Activation Memory Reduction (LoRA-AMR) technique to reduce computational overhead and activation storage memory demands while preserving inference latency. We combine language model processing for time series trend analysis with traditional time series representation learning method for cross-modal integration, achieving robust and accurate forecasts. The framework effectiveness is demonstrated through extensive experiments on various real-world datasets, outperforming existing methods by significant margins in terms of forecast accuracy.
Abstract（参考訳）: 時空間予測は輸送システム、物流、サプライチェーン管理など様々な分野において重要な役割を担っている。しかし、既存の手法は大規模で複雑なデータセットを扱う能力によって制限されている。この制限を克服するために,オープンソースの大規模・小規模言語モデル(LLM,LM)と従来の予測手法を組み合わせたハイブリッドアプローチを導入する。進化する非線形時系列データにおいて、動的プロンプトとグループ化クエリ、マルチヘッドアテンション機構を用いて従来の手法を拡張し、シリーズ内およびシリーズ間依存関係をより効果的に捕捉する。さらに,小型のオープンソースLMを微調整した時系列傾向解析によりオンプレミスのカスタマイズを容易にし,低ランク適応型アクティベーションメモリリダクション(LoRA-AMR)技術を用いて,推論レイテンシを保ちながら計算オーバーヘッドと記憶メモリの活性化を低減した。時系列トレンド分析のための言語モデル処理と、クロスモーダル統合のための伝統的な時系列表現学習法を組み合わせて、堅牢で正確な予測を行う。フレームワークの有効性は、様々な実世界のデータセットに関する広範な実験を通じて実証され、予測精度の点で既存の手法よりも優れている。

関連論文リスト

PreMixer: MLP-Based Pre-training Enhanced MLP-Mixers for Large-scale Traffic Forecasting [30.055634767677823]
都市コンピューティングでは,交通ネットワークからの時系列データの正確かつ迅速な予測が重要である。現在の研究制限は、モデル固有の非効率性と、モデル複雑さによる大規模トラフィックアプリケーションに対する不適合性のためである。本稿では,このギャップを埋めるための新しいフレームワークPreMixerを提案する。MLP(Multi-Layer Perceptrons)の原理に基づく予測モデルと事前学習機構を特徴とする。我々のフレームワークは,大規模トラフィックデータセットの広範な実験により検証され,高い計算効率を維持しながら,同等の最先端性能を実現している。
論文参考訳（メタデータ） (2024-12-18T08:35:40Z)
A Distribution-Aware Flow-Matching for Generating Unstructured Data for Few-Shot Reinforcement Learning [1.0709300917082865]
数発の強化学習のための合成非構造化データを生成するための分布認識フローマッチング手法を提案する。我々のアプローチは、オーバーフィッティングやデータ相関など、従来のモデルベースRLにおける重要な課題に対処する。提案手法は,初期タイムスタンプのフレームレートを30%向上させながら,最大Q値で安定した収束を実現することを示す。
論文参考訳（メタデータ） (2024-09-21T15:50:59Z)
Advancing Enterprise Spatio-Temporal Forecasting Applications: Data Mining Meets Instruction Tuning of Language Models For Multi-modal Time Series Analysis in Low-Resource Settings [0.0]
パティオ時間予測は輸送、物流、サプライチェーン管理において重要である。本稿では,従来の予測手法の強みと小言語モデルの命令チューニングを融合した動的マルチモーダル手法を提案する。我々のフレームワークは、推論速度とデータプライバシ/セキュリティを維持しながら、計算とメモリの要求を低減したオンプレミスのカスタマイズを可能にする。
論文参考訳（メタデータ） (2024-08-24T16:32:58Z)
A federated large language model for long-term time series forecasting [4.696083734269233]
長距離時系列予測に適した連合型大言語モデル(LLM)であるFedTimeを提案する。エッジデバイスやクライアントを別のクラスタに分割するために、K平均クラスタリングを採用しています。また、チャンネルの独立性やパッチの適用により、ローカルなセマンティック情報をよりよく保存する。
論文参考訳（メタデータ） (2024-07-30T02:38:27Z)
SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。初期経路では、中間出力は反冗長動作によって統合される。遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文参考訳（メタデータ） (2024-07-10T10:22:35Z)
LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
論文参考訳（メタデータ） (2024-05-23T11:10:32Z)
Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文参考訳（メタデータ） (2023-10-03T01:31:25Z)
Perceiver-based CDF Modeling for Time Series Forecasting [25.26713741799865]
本稿では,時系列データの累積分布関数(CDF)をモデル化するための新しいアーキテクチャであるPerceiver-CDFを提案する。提案手法は,マルチモーダル時系列予測に適したコプラに基づくアテンション機構と,知覚アーキテクチャを組み合わせたものである。単調かつマルチモーダルなベンチマークの実験は、最先端の手法よりも20%改善されていることを一貫して示している。
論文参考訳（メタデータ） (2023-10-03T01:13:17Z)
TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
論文参考訳（メタデータ） (2023-10-02T16:45:19Z)
Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文参考訳（メタデータ） (2023-01-05T13:59:29Z)
Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。本モデルは,多くの多変量データセット上での最先端性能を実現する。
論文参考訳（メタデータ） (2022-05-16T07:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。