論文の概要: ITFormer: Bridging Time Series and Natural Language for Multi-Modal QA with Large-Scale Multitask Dataset

• arxiv url: http://arxiv.org/abs/2506.20093v1
• Date: Wed, 25 Jun 2025 02:33:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.584002
• Title: ITFormer: Bridging Time Series and Natural Language for Multi-Modal QA with Large-Scale Multitask Dataset
• Title（参考訳）: ITFormer: 大規模マルチタスクデータセットを備えたマルチモーダルQAのためのブリッジング時系列と自然言語
• Authors: Yilin Wang, Peixuan Lei, Jie Song, Yuzhe Hao, Tao Chen, Yuxuan Zhang, Lei Jia, Yuanxiang Li, Zhongyu Wei,
• Abstract要約: 時系列データは、産業モニタリング、医療診断、気候研究などの様々な応用において重要である。 本稿では、時系列質問応答(Time-Series Question Answering)タスクを導入し、EngineMT-QAをリリースする。 Instruct Time Transformer(ITFormer)は,時系列エンコーダを凍結した大言語モデルでブリッジする新しいフレームワークである。
• 参考スコア（独自算出の注目度）: 39.309940166755396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Time-series data are critical in diverse applications, such as industrial monitoring, medical diagnostics, and climate research. However, effectively integrating these high-dimensional temporal signals with natural language for dynamic, interactive tasks remains a significant challenge. To address this, we introduce the Time-Series Question Answering (Time-Series QA) task and release EngineMT-QA, the first large-scale, multi-task, temporal-textual QA dataset designed to capture complex interactions between time-series signals and natural language. Building on this resource, we propose the Instruct Time Transformer (ITFormer), a novel framework that bridges time-series encoders with frozen large language models (LLMs). ITFormer effectively extracts, aligns, and fuses temporal and textual features, achieving a strong improvement in QA accuracy over strong baselines with fewer than 1\% additional trainable parameters. By combining computational efficiency with robust cross-modal modeling, our work establishes a adaptable paradigm for integrating temporal data with natural language, paving the way for new research and applications in multi-modal AI. More details about the project, including datasets and code, are available at: https://pandalin98.github.io/itformer_site/
• Abstract（参考訳）: 時系列データは、産業モニタリング、医療診断、気候研究などの様々な応用において重要である。 しかし、これらの高次元時間信号を動的に対話的なタスクのために自然言語と効果的に統合することは大きな課題である。 これを解決するために,時系列質問応答(Time-Series Question Answering, Time-Series QA)タスクを導入し,時系列信号と自然言語の複雑な相互作用を捉えるために設計された,最初の大規模マルチタスク,時間-テクスチュアルQAデータセットであるEngineMT-QAをリリースする。 Instruct Time Transformer(ITFormer)は,凍結した大言語モデル(LLM)で時系列エンコーダをブリッジする新しいフレームワークである。 ITFormerは、時間的およびテキスト的特徴を効果的に抽出し、整列し、ヒューズする。 計算効率と堅牢なクロスモーダルモデリングを組み合わせることで、我々の研究は、時間データを自然言語と統合するための適応可能なパラダイムを確立し、マルチモーダルAIにおける新しい研究と応用の道を開いた。 データセットやコードを含むこのプロジェクトに関する詳細は、https://pandalin98.github.io/itformer_site/で確認できる。

関連論文リスト

• Chat-TS: Enhancing Multi-Modal Reasoning Over Time-Series and Natural Language Data [22.274663165215237]
  時系列分析は、医療、金融、交通、エネルギーなど幅広い分野において重要である。 現在の時系列モデルは、時系列とテキストコンテンツの両方を含む推論を行う能力に制限がある。 Chat-TSは時系列トークンをLLMの語彙に統合し、両方のモダリティに対する推論能力を高める。
  論文  参考訳（メタデータ） (2025-03-13T21:05:11Z)
• Time-MQA: Time Series Multi-Task Question Answering with Context Enhancement [55.2439260314328]
  Time Series Multi-Task Question Answering (Time-MQA)は、複数の時系列タスクにわたる自然言語クエリを可能にする統合フレームワークである。 Time-MQAの中心はTSQAデータセットである。
  論文  参考訳（メタデータ） (2025-02-26T13:47:13Z)
• Language in the Flow of Time: Time-Series-Paired Texts Weaved into a Unified Temporal Narrative [65.84249211767921]
  テキスト・アズ・タイム・シリーズ(TaTS)は、既存の数値のみの時系列モデルにプラグインできる。 TaTSはモデルアーキテクチャを変更することなく予測性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-02-13T03:43:27Z)
• TempoGPT: Enhancing Time Series Reasoning via Quantizing Embedding [13.996105878417204]
  本稿では,マルチモーダル時系列データ構築手法とマルチモーダル時系列言語モデル(TLM, TempoGPT)を提案する。 ホワイトボックスシステム内の変数-システム関係を解析することにより,複雑な推論タスクのためのマルチモーダルデータを構築する。 広範な実験により、TempoGPTは時間的情報を正確に知覚し、結論を論理的に推論し、構築された複雑な時系列推論タスクにおける最先端の処理を達成することが示されている。
  論文  参考訳（メタデータ） (2025-01-13T13:47:05Z)
• UniTS: A Unified Multi-Task Time Series Model [31.675845788410246]
  UniTSは、予測タスクと生成タスクを単一のフレームワークに統合した、統合されたマルチタスク時系列モデルである。 UniTSは、人間の活動センサー、ヘルスケア、エンジニアリング、ファイナンスにまたがる38のデータセットでテストされている。
  論文  参考訳（メタデータ） (2024-02-29T21:25:58Z)
• Towards Robust Temporal Reasoning of Large Language Models via a Multi-Hop QA Dataset and Pseudo-Instruction Tuning [73.51314109184197]
  大規模言語モデル(LLM)には時間的知識の概念を理解することが不可欠である。 本稿では,複数質問応答と複数ホップの時間的推論に焦点をあてた複雑な時間的質問応答データセットであるComplex-TRを提案する。
  論文  参考訳（メタデータ） (2023-11-16T11:49:29Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。