論文の概要: VLT: A Vision-Language-Time Series Multimodal Foundation Model for Industrial Intelligence
- arxiv url: http://arxiv.org/abs/2607.14510v1
- Date: Thu, 16 Jul 2026 02:53:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:32.960491
- Title: VLT: A Vision-Language-Time Series Multimodal Foundation Model for Industrial Intelligence
- Title（参考訳）: VLT:産業インテリジェンスのためのビジョンランゲージタイムシリーズマルチモーダルファンデーションモデル
- Abstract要約: 産業時系列は、診断・健康管理の基礎となる。
本稿では、時系列、周波数スペクトルの視覚表現、テキスト知識を共同でモデル化するマルチモーダル基礎モデルであるVLTを提案する。
VLTは最先端の手法より優れており、数ショット、ノイズ、不完全なモダリティ設定で優れた堅牢性と一般化を実現している。
- 参考スコア（独自算出の注目度）: 8.44621217686077
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Industrial time series serve as the foundation for Prognostics and Health Management (PHM) to ensure the reliability and safety of industrial equipment such as aero-engines. However, existing approaches are typically limited to single-modality modeling, which restricts their generalization in complex scenarios. Although recent advances in large language models (LLMs) provide new opportunities for multimodal learning, bridging continuous time-series signals and discrete textual semantics remains an open challenge. To this end, we propose VLT, a multimodal foundation model that jointly models time-series, frequency-spectrum visual representations, and textual knowledge. A key insight is to utilize the frequency spectrum as a visual bridge to connect continuous temporal signals with discrete semantics. Specifically, a Time-aware Mixture-of-Experts (Time-MoE) is designed to capture heterogeneous temporal dynamics, while a Frequency-Text Augmented Learner enables joint modeling of spectral and semantic features within a shared representation space. Furthermore, a time-centric gradient alignment mechanism is introduced to mitigate cross-modal optimization conflicts via gradient normalization and reliability-aware dynamic reweighting. Extensive experiments on multiple industrial datasets demonstrate that VLT outperforms state-of-the-art methods, achieving superior robustness and generalization under few-shot, noisy, and incomplete-modality settings.
- Abstract（参考訳）: 産業時系列は、航空エンジンなどの産業機器の信頼性と安全性を確保するため、PHM(Prognostics and Health Management)の基礎となっている。
しかし、既存のアプローチは通常、複雑なシナリオにおける一般化を制限する単一のモダリティモデリングに限られる。
大規模言語モデル(LLM)の最近の進歩は、マルチモーダル学習の新しい機会を提供するが、連続した時系列信号と離散的なテキスト意味論はオープンな課題である。
そこで本研究では,時系列,周波数スペクトルの視覚表現,テキスト知識を共同でモデル化するマルチモーダル基礎モデルであるVLTを提案する。
重要な洞察は、周波数スペクトルを視覚ブリッジとして利用し、連続時間信号と個別の意味論を結びつけることである。
具体的には、タイムアウェア・ミックス・オブ・エキスパート(Time-Aware Mixture-of-Experts, Time-MoE)は、異種時間的ダイナミクスを捉えるように設計され、周波数テキスト拡張学習器は、共有表現空間内のスペクトル特徴と意味的特徴の合同モデリングを可能にする。
さらに、時間中心の勾配アライメント機構を導入し、勾配正規化と信頼性を考慮した動的再重み付けによるクロスモーダル最適化競合を緩和する。
複数の産業データセットに対する大規模な実験により、VLTは最先端の手法よりも優れ、数ショット、ノイズ、不完全なモダリティ設定の下で優れた堅牢性と一般化を達成することが示されている。
関連論文リスト
- Turing Patterns for Multimedia: Reaction-Diffusion Multi-Modal Fusion for Language-Guided Video Moment Retrieval [59.55233913340214]
ビデオ言語モデルは、時間的ビデオシーケンスとテキスト意味論の間の動的で非線形な相互作用を捉えるのに苦労することが多い。
反応拡散過程としてビデオ言語アライメントを再現する新しいフレームワークである textbfReaction-Diffusion Multimodal Fusion (RDMF) を提案する。
予備実験は、有能なビデオモーメントを識別する既存の手法より優れている可能性を実証している。
論文 参考訳（メタデータ） (2026-06-01T03:02:35Z) - TS-MLLM: A Multi-Modal Large Language Model-based Framework for Industrial Time-Series Big Data Analysis [26.025289609138763]
時系列解析のための統合型大言語モデルフレームワークTS-MLLMを提案する。
まず, 長期時間的ダイナミクスを捉えるために, 産業時系列・パッチ・モデリング・ブランチを開発した。
クロスモーダルな事前情報を統合するために,Spectrum-aware Vision-Language Model Adaptation (SVLMA) 機構を導入する。
複数の産業ベンチマークでの大規模な実験により、TS-MLLMは最先端の手法を著しく上回っていることが示された。
論文 参考訳（メタデータ） (2026-03-08T10:14:09Z) - GMS-CAVP: Improving Audio-Video Correspondence with Multi-Scale Contrastive and Generative Pretraining [64.72014392166625]
GMS-CAVPは、マルチスケールビデオ・オーディオアライメントとマルチスケール空間時間拡散に基づく事前学習目的を組み合わせた、新しいフレームワークである。
まず、GMS-CAVPは、様々な粒度にわたる意味的および時間的関係をキャプチャするマルチスケールのコントラスト学習戦略を導入する。
第2に、拡散に基づく生成目的を組み込むことにより、従来のコントラスト学習を超越し、ビデオとオーディオ間のモダリティ変換と合成を可能にする。
論文 参考訳（メタデータ） (2026-01-27T13:43:32Z) - Enhancing few-shot time series forecasting with LLM-guided diffusion [12.286204074670236]
専門分野における時系列予測は、データ可用性の制限によって制約されることが多い。
本稿では,大言語モデルの表現力と拡散モデルの生成能力を統合する新しい学習フレームワークLTSM-DIFFを提案する。
我々の研究はデータ不足下での時系列解析の新しいパラダイムを確立する。
論文 参考訳（メタデータ） (2026-01-19T06:30:05Z) - FusAD: Time-Frequency Fusion with Adaptive Denoising for General Time Series Analysis [92.23551599659186]
時系列分析は、金融、医療、産業、気象学などの分野において重要な役割を果たす。
FusADは多様な時系列タスク用に設計された統合分析フレームワークである。
論文 参考訳（メタデータ） (2025-12-16T04:34:27Z) - UniDiff: A Unified Diffusion Framework for Multimodal Time Series Forecasting [90.47915032778366]
マルチモーダル時系列予測のための統合拡散フレームワークUniDiffを提案する。
コアには統一的で並列な融合モジュールがあり、単一のクロスアテンション機構がタイムスタンプからの構造化情報とテキストからのセマンティックコンテキストを統合する。
8つの領域にわたる実世界のベンチマークデータセットの実験は、提案したUniDiffモデルが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2025-12-08T05:36:14Z) - UniCast: A Unified Multimodal Prompting Framework for Time Series Forecasting [9.836278124939453]
時系列予測は、ファイナンス、ヘルスケア、環境モニタリングといった分野における基本的なタスクである。
既存のモデルは、視覚やテキストなどのリッチなマルチモーダルコンテキストを無視し、実世界のシナリオで時系列データを伴って運用される。
本稿では、TSFMを拡張して時系列、視覚、テキストのモダリティを併用して予測性能を向上する、パラメータ効率の高い新しいマルチモーダルフレームワークUniCastを提案する。
論文 参考訳（メタデータ） (2025-08-16T07:33:27Z) - Adapting LLMs to Time Series Forecasting via Temporal Heterogeneity Modeling and Semantic Alignment [32.41581846555808]
大規模言語モデル(LLM)は、最近、自然言語処理における印象的な能力を実証した。
時間的アライメントのモデル化と意味的アライメントの強化によりLLMに基づく予測を強化する統合フレームワークであるTALONを提案する。
7つの実世界のベンチマークの実験では、TALONはすべてのデータセットで優れたパフォーマンスを達成している。
論文 参考訳（メタデータ） (2025-08-10T06:06:19Z) - UniSTD: Towards Unified Spatio-Temporal Learning across Diverse Disciplines [64.84631333071728]
本稿では,時間的モデリングのためのトランスフォーマーベースの統合フレームワークであるbfUnistageを紹介する。
我々の研究は、タスク固有の視覚テキストが時間学習のための一般化可能なモデルを構築することができることを示した。
また、時間的ダイナミクスを明示的に組み込むための時間的モジュールも導入する。
論文 参考訳（メタデータ） (2025-03-26T17:33:23Z) - General Time-series Model for Universal Knowledge Representation of Multivariate Time-Series data [61.163542597764796]
周波数領域で異なる時間粒度(または対応する周波数分解能)の時系列が異なる結合分布を示すことを示す。
時間領域と周波数領域の両方からタイムアウェア表現を学習するために,新しいFourierナレッジアテンション機構を提案する。
自己回帰的空白埋め込み事前学習フレームワークを時系列解析に初めて組み込み、生成タスクに依存しない事前学習戦略を実現する。
論文 参考訳（メタデータ） (2025-02-05T15:20:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。