論文の概要: TempoGPT: Enhancing Temporal Reasoning via Quantizing Embedding
- arxiv url: http://arxiv.org/abs/2501.07335v1
- Date: Mon, 13 Jan 2025 13:47:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-14 14:27:48.072341
- Title: TempoGPT: Enhancing Temporal Reasoning via Quantizing Embedding
- Title（参考訳）: TempoGPT: 量子化埋め込みによるテンポラル推論の強化
- Authors: Haochuan Zhang, Chunhua Yang, Jie Han, Liyang Qin, Xiaoli Wang,
- Abstract要約: 本稿では,マルチモーダル時系列データ構築手法とマルチモーダル時系列言語モデル(TLM, TempoGPT)を提案する。
ホワイトボックスシステム内の変数-システム関係を解析することにより,複雑な推論タスクのためのマルチモーダルデータを構築する。
広範な実験により、TempoGPTは時間的情報を正確に知覚し、結論を論理的に推論し、構築された複雑な時系列推論タスクにおける最先端の処理を達成することが示されている。
- 参考スコア（独自算出の注目度）: 13.996105878417204
- License:
- Abstract: Multi-modal language model has made advanced progress in vision and audio, but still faces significant challenges in dealing with complex reasoning tasks in the time series domain. The reasons are twofold. First, labels for multi-modal time series data are coarse and devoid of analysis or reasoning processes. Training with these data cannot improve the model's reasoning capabilities. Second, due to the lack of precise tokenization in processing time series, the representation patterns for temporal and textual information are inconsistent, which hampers the effectiveness of multi-modal alignment. To address these challenges, we propose a multi-modal time series data construction approach and a multi-modal time series language model (TLM), TempoGPT. Specially, we construct multi-modal data for complex reasoning tasks by analyzing the variable-system relationships within a white-box system. Additionally, proposed TempoGPT achieves consistent representation between temporal and textual information by quantizing temporal embeddings, where temporal embeddings are quantized into a series of discrete tokens using a predefined codebook; subsequently, a shared embedding layer processes both temporal and textual tokens. Extensive experiments demonstrate that TempoGPT accurately perceives temporal information, logically infers conclusions, and achieves state-of-the-art in the constructed complex time series reasoning tasks. Moreover, we quantitatively demonstrate the effectiveness of quantizing temporal embeddings in enhancing multi-modal alignment and the reasoning capabilities of TLMs. Code and data are available at https://github.com/zhanghaochuan20/TempoGPT.
- Abstract（参考訳）: マルチモーダル言語モデルは、視覚とオーディオの進歩を遂げてきたが、時系列領域における複雑な推論タスクを扱う上で、依然として大きな課題に直面している。
理由は2つある。
まず、マルチモーダル時系列データのラベルが粗く、分析や推論のプロセスが欠如している。
これらのデータによるトレーニングは、モデルの推論能力を改善することはできない。
第2に、処理時系列における正確なトークン化の欠如により、時間的およびテキスト的情報の表現パターンが矛盾し、マルチモーダルアライメントの有効性を損なう。
これらの課題に対処するために,マルチモーダル時系列データ構築手法とマルチモーダル時系列言語モデル(TLM, TempoGPT)を提案する。
特に,ホワイトボックスシステム内の変数系関係を解析することにより,複雑な推論タスクのためのマルチモーダルデータを構築する。
さらに、TempoGPTは、時間的埋め込みを定量化し、時間的埋め込みを予め定義されたコードブックを用いて一連の離散トークンに量子化することによって、時間的およびテキスト的情報間の一貫した表現を実現し、その後、共有埋め込み層が時間的およびテキスト的両方のトークンを処理する。
広範な実験により、TempoGPTは時間的情報を正確に知覚し、結論を論理的に推論し、構築された複雑な時系列推論タスクにおける最先端の処理を達成することが示されている。
さらに,マルチモーダルアライメント向上における時間埋め込みの定量化の有効性とTLMの推論能力について定量的に検証した。
コードとデータはhttps://github.com/zhanghaochuan20/TempoGPTで公開されている。
関連論文リスト
- Hierarchical Multimodal LLMs with Semantic Space Alignment for Enhanced Time Series Classification [4.5939667818289385]
HiTimeは階層的なマルチモーダルモデルであり、時間的情報を大きな言語モデルにシームレスに統合する。
本研究は, 時間的特徴をLCMに組み込むことにより, 時系列解析の進歩に寄与する可能性が示唆された。
論文 参考訳（メタデータ） (2024-10-24T12:32:19Z) - Beyond Forecasting: Compositional Time Series Reasoning for End-to-End Task Execution [19.64976935450366]
時系列データから複雑な多段階推論タスクを処理する新しいタスクであるコンポジション時系列推論を導入する。
具体的には、時系列データに構造的および構成的推論能力を必要とする様々な質問事例に焦点を当てる。
我々は,大規模言語モデル(LLM)を用いて複雑なタスクをプログラムのステップに分解するプログラム支援手法であるTS-Reasonerを開発した。
論文 参考訳（メタデータ） (2024-10-05T06:04:19Z) - Analyzing Temporal Complex Events with Large Language Models? A Benchmark towards Temporal, Long Context Understanding [57.62275091656578]
時間的複合イベント(TCE)として、長い期間にわたって多くのニュース記事から構成される複合イベントについて述べる。
本稿では,Large Language Models (LLMs) を用いて,TCE内のイベントチェーンを系統的に抽出し,解析する手法を提案する。
論文 参考訳（メタデータ） (2024-06-04T16:42:17Z) - Evaluating Large Language Models on Time Series Feature Understanding: A Comprehensive Taxonomy and Benchmark [13.490168087823992]
大規模言語モデル(LLM)は、自動時系列分析とレポートの可能性を秘めている。
本稿では時系列データに固有の様々な特徴を記述した重要なフレームワークである時系列特徴の包括的分類法を紹介する。
このデータセットは、コンパイル時系列におけるLCMの熟練度を評価するための確かな基盤として機能する。
論文 参考訳（メタデータ） (2024-04-25T12:24:37Z) - Time-Aware Knowledge Representations of Dynamic Objects with
Multidimensional Persistence [41.32931849366751]
本稿では,暗黙的な時間依存トポロジ情報に着目した時間認識型知識表現機構を提案する。
特に,TMP(textitTemporal MultiPersistence)と呼ばれる新しい手法を提案する。
TMP法は、最先端のマルチパーシスタンスサマリーの計算効率を59.5倍に向上させる。
論文 参考訳（メタデータ） (2024-01-24T00:33:53Z) - Towards Robust Temporal Reasoning of Large Language Models via a Multi-Hop QA Dataset and Pseudo-Instruction Tuning [73.51314109184197]
大規模言語モデル(LLM)には時間的知識の概念を理解することが不可欠である。
本稿では,複数質問応答と複数ホップの時間的推論に焦点をあてた複雑な時間的質問応答データセットであるComplex-TRを提案する。
論文 参考訳（メタデータ） (2023-11-16T11:49:29Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳（メタデータ） (2023-10-03T01:31:25Z) - TimeTuner: Diagnosing Time Representations for Time-Series Forecasting
with Counterfactual Explanations [3.8357850372472915]
本稿では,モデル行動が局所化,定常性,時系列表現の相関とどのように関連しているかをアナリストが理解するために,新しいビジュアル分析フレームワークであるTimeTunerを提案する。
TimeTunerは時系列表現を特徴付けるのに役立ち、機能エンジニアリングのプロセスを導くのに役立ちます。
論文 参考訳（メタデータ） (2023-07-19T11:40:15Z) - FormerTime: Hierarchical Multi-Scale Representations for Multivariate
Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。
1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文 参考訳（メタデータ） (2023-02-20T07:46:14Z) - Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。
我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。
本モデルは,多くの多変量データセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2022-05-16T07:53:42Z) - Interpretable Time-series Representation Learning With Multi-Level
Disentanglement [56.38489708031278]
Disentangle Time Series (DTS)は、シーケンシャルデータのための新しいDisentanglement Enhanceingフレームワークである。
DTSは時系列の解釈可能な表現として階層的意味概念を生成する。
DTSは、セマンティック概念の解釈性が高く、下流アプリケーションで優れたパフォーマンスを実現します。
論文 参考訳（メタデータ） (2021-05-17T22:02:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。