論文の概要: MMTA: Benchmarking Multimodal Temporal Analysis with Time Series, Text, and Vision

• arxiv url: http://arxiv.org/abs/2610.17856v3
• Date: Mon, 19 Oct 2026 08:33:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 06:32:45.281544
• Title: MMTA: Benchmarking Multimodal Temporal Analysis with Time Series, Text, and Vision
• Title（参考訳）: MMTA:時系列・テキスト・ビジョンを用いたマルチモーダル時間解析のベンチマーク
• Abstract要約: 本稿では,時系列,テキスト,ビジョンの相互補完パターンを多用した3モーダルタスクのベンチマークであるMMTAを紹介する。 MMTAは、ロボット工学、自動運転、ヒューマンアクション、製造、ARアシスト、ヘルスケア、レコメンデーション、ファイナンス、気候の9つの領域にまたがる。 次に、時系列エンコーダ、時間的位置アライメント、モダリティ対応トークンレイアウト、予測ヘッドを備えたマルチモーダルLLM拡張であるTime Omni-vを紹介する。
• 参考スコア（独自算出の注目度）: 32.2906741631688
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Time-series analysis is increasingly studied in multimodal settings, yet most benchmarks pair temporal signals with text or with visualizations derived from the same signal. This leaves open whether multimodal large language models (MLLMs) can integrate time series with real-world visual evidence. We introduce MMTA (multimodal temporal analysis), a benchmark of tri-modal tasks with diverse cross-modal complementarity patterns among time series, text, and vision. MMTA spans nine domains -- robotics, autonomous driving, human action, manufacturing, AR assistance, healthcare, recommendation, finance, and climate -- under video+TS and image+TS layouts, with a 3,524-sample test split covering classification and forecasting. The benchmark standardizes heterogeneous real-world sources into a shared schema with domain-specific prompts, provenance documentation, and success-weighted metrics that penalize both wrong answers and failed generations. Evaluating eight open-source and proprietary MLLMs reveals a shared bottleneck: representing time series as text creates very long token sequences and weakens fine-grained alignment with visual evidence, especially in long-video settings. We then introduce TimeOmni-v, a multimodal LLM extension with a dedicated time-series encoder, temporal positional alignment, modality-aware token layout, and a forecasting head. TimeOmni-v improves long-video classification and time-series inference efficiency, showing that MMTA not only exposes representation and grounding failures but also motivates targeted model design.
• Abstract（参考訳）: 時系列分析は、マルチモーダルな設定で研究されているが、ほとんどのベンチマークでは、時間信号とテキスト、あるいは同じ信号から派生した可視化とをペアにしている。 これにより、マルチモーダル大言語モデル(MLLM)が時系列と実世界の視覚的証拠を統合することができるかどうかが明らかになる。 本稿では,時系列,テキスト,ビジョン間の相互補完パターンの異なる3モーダルタスクのベンチマークであるMMTA(multimodal temporal analysis)を紹介する。 MMTAは、ビデオ+TSと画像+TSレイアウトの下で、ロボット、自動運転、ヒューマンアクション、製造、ARアシスト、ヘルスケア、ファイナンス、気候の9つのドメインにまたがっており、分類と予測をカバーする3,524サンプルのテストスプリットがある。 このベンチマークは、異質な現実世界のソースを、ドメイン固有のプロンプト、証明ドキュメント、そして間違った回答と失敗した世代の両方を罰する成功重み付きメトリクスを備えた共有スキーマに標準化する。 8つのオープンソースおよびプロプライエタリなMLLMを評価することで、タイムシリーズをテキストとして表現し、非常に長いトークンシーケンスを生成し、視覚的エビデンス、特にロングビデオ環境での微妙なアライメントを弱めるという、共通のボトルネックが明らかになる。 次に、時系列エンコーダ、時間的位置アライメント、モダリティ対応トークンレイアウト、予測ヘッドを備えたマルチモーダルLLM拡張であるTimeOmni-vを紹介する。 TimeOmni-vは、長ビデオ分類と時系列推論の効率を改善し、MMTAが表現とグラウンドの失敗を公開するだけでなく、ターゲットとなるモデル設計を動機付けていることを示す。

関連論文リスト

• MM-ISTS: Cooperating Irregularly Sampled Time Series Forecasting with Multimodal Vision-Text LLMs [17.348428689125633]
  不規則にサンプリングされた時系列(ISTS)は実世界のシナリオで広く使われ、変数間の不均一な時間間隔に関する非同期な観察を示す。 ISTSの予測を容易にするため,時間的・視覚的・テキスト的モダリティを橋渡しするフレームワークMM-ISTSを提案する。 特に、情報的視覚画像とテキストデータを自動的に生成するクロスモーダル視覚テキスト符号化モジュールを提案する。 並行して、ISTSエンコーディングは、マルチビュー埋め込み融合や時間可変エンコーダを含む、歴史的ISTS観測から、補完的ながら豊富な時間的特徴を抽出する。
  論文  参考訳（メタデータ） (2026-03-06T07:57:15Z)
• TimeOmni-VL: Unified Models for Time Series Understanding and Generation [66.55423802406078]
  Time Omni-VLは、時系列の理解と生成を統合するビジョン中心のフレームワークである。 Time Omni-VLは、高忠実度生成のための明示的な制御信号として時系列理解を利用する最初の方法である。 実験により、この統一されたアプローチは意味的理解と数値的精度の両方を著しく改善することを確認した。
  論文  参考訳（メタデータ） (2026-02-19T07:50:11Z)
• Spectral Text Fusion: A Frequency-Aware Approach to Multimodal Time-Series Forecasting [7.885089945243776]
  SpecTFは、周波数領域における時系列に対するテキストデータの影響を統合するフレームワークである。 様々なマルチモーダル時系列データセットにおいて,SpecTFが最先端モデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-02T03:28:21Z)
• TimeLens: Rethinking Video Temporal Grounding with Multimodal LLMs [81.78017865436816]
  我々は,映像の時間的接地能力の強いMLLMを体系的に構築するTimeLensを提案する。 まず,既存のVTGベンチマークにおける重要な品質問題を明らかにし,TimeLens-Benchを導入する。 また、自動再アノテーションパイプラインを通じてノイズの多いトレーニングデータに対処し、大規模で高品質なトレーニングデータセットであるTimeLens-100Kを出力します。
  論文  参考訳（メタデータ） (2025-12-16T18:59:58Z)
• MLLM4TS: Leveraging Vision and Multimodal Language Models for General Time-Series Analysis [35.17244645389017]
  MLLM4TSは,マルチモーダルな大規模言語モデルを利用して時系列解析を行う新しいフレームワークである。 各時系列チャンネルは、1つの合成画像において水平に重ねられたカラー符号化された線プロットとして描画される。 時間対応の視覚パッチアライメント戦略では、視覚パッチを対応する時間セグメントにアライメントする。
  論文  参考訳（メタデータ） (2025-10-08T20:22:39Z)
• Universal Video Temporal Grounding with Generative Multi-modal Large Language Models [59.781211641591405]
  本稿では,自然言語クエリに基づいて映像中の時間的モーメントを正確に局所化する,ユニバーサルビデオ時間的グラウンドの計算モデルを提案する。 生成型マルチモーダル大言語モデル(MLLM)の強力な視覚言語理解機能を活用した,堅牢で普遍的なビデオグラウンドモデルUniTimeを提案する。 我々のモデルは、複雑な言語クエリを解釈しながら、多様なビュー、ジャンル、長さの動画を効果的に処理する。
  論文  参考訳（メタデータ） (2025-06-23T17:53:18Z)
• TimeXL: Explainable Multi-modal Time Series Prediction with LLM-in-the-Loop [79.5773512667468]
  TimeXLは、プロトタイプベースの時系列エンコーダと3つの協調する大規模言語モデルを統合するマルチモーダル予測フレームワークである。 リフレクションLLMは、予測された値と地上の真実を比較し、テキストの不整合やノイズを識別する。 このクローズドループワークフロー予測、批判(参照)、改善が連続的にフレームワークのパフォーマンスと解釈可能性を高めます。
  論文  参考訳（メタデータ） (2025-03-02T20:40:53Z)
• Time-VLM: Exploring Multimodal Vision-Language Models for Augmented Time Series Forecasting [26.4608782425897]
  Time-VLMは、時間的、視覚的、テキスト的なモダリティを橋渡しして予測を強化する新しいフレームワークである。 本フレームワークは,(1)記憶バンク相互作用を通じて時間的特徴を抽出する検索型学習者,(2)時系列を情報的画像としてエンコードするビジョン型学習者,(3)文脈的テキスト記述を生成するテキスト型学習者,の3つのキーコンポーネントから構成される。
  論文  参考訳（メタデータ） (2025-02-06T05:59:45Z)
• Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
  時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
  論文  参考訳（メタデータ） (2023-10-03T01:31:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。