論文の概要: TempoGPT: Enhancing Temporal Reasoning via Quantizing Embedding
- arxiv url: http://arxiv.org/abs/2501.07335v1
- Date: Mon, 13 Jan 2025 13:47:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-14 14:27:48.072341
- Title: TempoGPT: Enhancing Temporal Reasoning via Quantizing Embedding
- Title（参考訳）: TempoGPT: 量子化埋め込みによるテンポラル推論の強化
- Authors: Haochuan Zhang, Chunhua Yang, Jie Han, Liyang Qin, Xiaoli Wang,
- Abstract要約: 本稿では,マルチモーダル時系列データ構築手法とマルチモーダル時系列言語モデル(TLM, TempoGPT)を提案する。
ホワイトボックスシステム内の変数-システム関係を解析することにより,複雑な推論タスクのためのマルチモーダルデータを構築する。
広範な実験により、TempoGPTは時間的情報を正確に知覚し、結論を論理的に推論し、構築された複雑な時系列推論タスクにおける最先端の処理を達成することが示されている。
- 参考スコア（独自算出の注目度）: 13.996105878417204
- License:
- Abstract: Multi-modal language model has made advanced progress in vision and audio, but still faces significant challenges in dealing with complex reasoning tasks in the time series domain. The reasons are twofold. First, labels for multi-modal time series data are coarse and devoid of analysis or reasoning processes. Training with these data cannot improve the model's reasoning capabilities. Second, due to the lack of precise tokenization in processing time series, the representation patterns for temporal and textual information are inconsistent, which hampers the effectiveness of multi-modal alignment. To address these challenges, we propose a multi-modal time series data construction approach and a multi-modal time series language model (TLM), TempoGPT. Specially, we construct multi-modal data for complex reasoning tasks by analyzing the variable-system relationships within a white-box system. Additionally, proposed TempoGPT achieves consistent representation between temporal and textual information by quantizing temporal embeddings, where temporal embeddings are quantized into a series of discrete tokens using a predefined codebook; subsequently, a shared embedding layer processes both temporal and textual tokens. Extensive experiments demonstrate that TempoGPT accurately perceives temporal information, logically infers conclusions, and achieves state-of-the-art in the constructed complex time series reasoning tasks. Moreover, we quantitatively demonstrate the effectiveness of quantizing temporal embeddings in enhancing multi-modal alignment and the reasoning capabilities of TLMs. Code and data are available at https://github.com/zhanghaochuan20/TempoGPT.
- Abstract（参考訳）: マルチモーダル言語モデルは、視覚とオーディオの進歩を遂げてきたが、時系列領域における複雑な推論タスクを扱う上で、依然として大きな課題に直面している。
理由は2つある。
まず、マルチモーダル時系列データのラベルが粗く、分析や推論のプロセスが欠如している。
これらのデータによるトレーニングは、モデルの推論能力を改善することはできない。
第2に、処理時系列における正確なトークン化の欠如により、時間的およびテキスト的情報の表現パターンが矛盾し、マルチモーダルアライメントの有効性を損なう。
これらの課題に対処するために,マルチモーダル時系列データ構築手法とマルチモーダル時系列言語モデル(TLM, TempoGPT)を提案する。
特に,ホワイトボックスシステム内の変数系関係を解析することにより,複雑な推論タスクのためのマルチモーダルデータを構築する。
さらに、TempoGPTは、時間的埋め込みを定量化し、時間的埋め込みを予め定義されたコードブックを用いて一連の離散トークンに量子化することによって、時間的およびテキスト的情報間の一貫した表現を実現し、その後、共有埋め込み層が時間的およびテキスト的両方のトークンを処理する。
広範な実験により、TempoGPTは時間的情報を正確に知覚し、結論を論理的に推論し、構築された複雑な時系列推論タスクにおける最先端の処理を達成することが示されている。
さらに,マルチモーダルアライメント向上における時間埋め込みの定量化の有効性とTLMの推論能力について定量的に検証した。
コードとデータはhttps://github.com/zhanghaochuan20/TempoGPTで公開されている。
関連論文リスト
- TimeCAP: Learning to Contextualize, Augment, and Predict Time Series Events with Large Language Model Agents [52.13094810313054]
TimeCAPは、時系列データのコンテキスト化ツールとしてLarge Language Models(LLM)を創造的に利用する時系列処理フレームワークである。
TimeCAPには2つの独立したLCMエージェントが組み込まれており、1つは時系列のコンテキストをキャプチャするテキスト要約を生成し、もう1つはより情報のある予測を行うためにこのリッチな要約を使用する。
実世界のデータセットによる実験結果から,TimeCAPは時系列イベント予測の最先端手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2025-02-17T04:17:27Z) - Language in the Flow of Time: Time-Series-Paired Texts Weaved into a Unified Temporal Narrative [65.84249211767921]
テキスト・アズ・タイム・シリーズ(英語版) (TaTS) は時系列の補助変数であると考えている。
TaTSは、既存の数値のみの時系列モデルにプラグインすることができ、ペア化されたテキストで時系列データを効率的に処理することができる。
論文 参考訳（メタデータ） (2025-02-13T03:43:27Z) - Time-VLM: Exploring Multimodal Vision-Language Models for Augmented Time Series Forecasting [26.4608782425897]
Time-VLMは、時間的、視覚的、テキスト的なモダリティを橋渡しして予測を強化する新しいフレームワークである。
本フレームワークは,(1)記憶バンク相互作用を通じて時間的特徴を抽出する検索型学習者,(2)時系列を情報的画像としてエンコードするビジョン型学習者,(3)文脈的テキスト記述を生成するテキスト型学習者,の3つのキーコンポーネントから構成される。
論文 参考訳（メタデータ） (2025-02-06T05:59:45Z) - Position: Empowering Time Series Reasoning with Multimodal LLMs [49.73647759532127]
マルチモーダル言語モデル (MLLM) は時系列解析においてより強力で柔軟な推論を可能にすると論じる。
我々は、MLLMにおける信頼、解釈可能性、堅牢な推論を優先する戦略を開発することで、この可能性を活用するよう研究者や実践者に呼びかける。
論文 参考訳（メタデータ） (2025-02-03T16:10:48Z) - Time Series Language Model for Descriptive Caption Generation [11.796431549951055]
本稿では,時系列キャプションに特化して設計された新しい時系列言語モデルTSLMを紹介する。
TSLMはエンコーダ・デコーダモデルとして機能し、テキストプロンプトと時系列データ表現の両方を活用する。
TSLMは、複数のデータモダリティから既存の最先端アプローチよりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2025-01-03T14:34:30Z) - Hierarchical Multimodal LLMs with Semantic Space Alignment for Enhanced Time Series Classification [4.5939667818289385]
HiTimeは階層的なマルチモーダルモデルであり、時間的情報を大きな言語モデルにシームレスに統合する。
本研究は, 時間的特徴をLCMに組み込むことにより, 時系列解析の進歩に寄与する可能性が示唆された。
論文 参考訳（メタデータ） (2024-10-24T12:32:19Z) - Evaluating Large Language Models on Time Series Feature Understanding: A Comprehensive Taxonomy and Benchmark [13.490168087823992]
大規模言語モデル(LLM)は、自動時系列分析とレポートの可能性を秘めている。
本稿では時系列データに固有の様々な特徴を記述した重要なフレームワークである時系列特徴の包括的分類法を紹介する。
このデータセットは、コンパイル時系列におけるLCMの熟練度を評価するための確かな基盤として機能する。
論文 参考訳（メタデータ） (2024-04-25T12:24:37Z) - Time-Aware Knowledge Representations of Dynamic Objects with
Multidimensional Persistence [41.32931849366751]
本稿では,暗黙的な時間依存トポロジ情報に着目した時間認識型知識表現機構を提案する。
特に,TMP(textitTemporal MultiPersistence)と呼ばれる新しい手法を提案する。
TMP法は、最先端のマルチパーシスタンスサマリーの計算効率を59.5倍に向上させる。
論文 参考訳（メタデータ） (2024-01-24T00:33:53Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳（メタデータ） (2023-10-03T01:31:25Z) - Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。
我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。
本モデルは,多くの多変量データセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2022-05-16T07:53:42Z) - Interpretable Time-series Representation Learning With Multi-Level
Disentanglement [56.38489708031278]
Disentangle Time Series (DTS)は、シーケンシャルデータのための新しいDisentanglement Enhanceingフレームワークである。
DTSは時系列の解釈可能な表現として階層的意味概念を生成する。
DTSは、セマンティック概念の解釈性が高く、下流アプリケーションで優れたパフォーマンスを実現します。
論文 参考訳（メタデータ） (2021-05-17T22:02:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。