論文の概要: Multi-modal Time Series Analysis: A Tutorial and Survey

• arxiv url: http://arxiv.org/abs/2503.13709v1
• Date: Mon, 17 Mar 2025 20:30:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:15:15.749634
• Title: Multi-modal Time Series Analysis: A Tutorial and Survey
• Title（参考訳）: マルチモーダル時系列分析 : チュートリアルと調査
• Authors: Yushan Jiang, Kanghui Ning, Zijie Pan, Xuyang Shen, Jingchao Ni, Wenchao Yu, Anderson Schneider, Haifeng Chen, Yuriy Nevmyvaka, Dongjin Song,
• Abstract要約: マルチモーダル時系列分析はデータマイニングにおいて顕著な研究領域となっている。 しかし、マルチモーダル時系列の効果的な解析は、データの不均一性、モダリティギャップ、不整合、固有ノイズによって妨げられる。 マルチモーダル時系列法の最近の進歩は、クロスモーダル相互作用を通じて、マルチモーダルコンテキストを利用した。
• 参考スコア（独自算出の注目度）: 36.93906365779472
• License:
• Abstract: Multi-modal time series analysis has recently emerged as a prominent research area in data mining, driven by the increasing availability of diverse data modalities, such as text, images, and structured tabular data from real-world sources. However, effective analysis of multi-modal time series is hindered by data heterogeneity, modality gap, misalignment, and inherent noise. Recent advancements in multi-modal time series methods have exploited the multi-modal context via cross-modal interactions based on deep learning methods, significantly enhancing various downstream tasks. In this tutorial and survey, we present a systematic and up-to-date overview of multi-modal time series datasets and methods. We first state the existing challenges of multi-modal time series analysis and our motivations, with a brief introduction of preliminaries. Then, we summarize the general pipeline and categorize existing methods through a unified cross-modal interaction framework encompassing fusion, alignment, and transference at different levels (\textit{i.e.}, input, intermediate, output), where key concepts and ideas are highlighted. We also discuss the real-world applications of multi-modal analysis for both standard and spatial time series, tailored to general and specific domains. Finally, we discuss future research directions to help practitioners explore and exploit multi-modal time series. The up-to-date resources are provided in the GitHub repository: https://github.com/UConn-DSIS/Multi-modal-Time-Series-Analysis
• Abstract（参考訳）: マルチモーダル時系列分析は、テキスト、画像、実世界の情報源からの構造化表データなど、多種多様なデータモダリティの利用可能化によって、データマイニングにおいて顕著な研究領域として最近登場した。 しかし、マルチモーダル時系列の効果的な解析は、データの不均一性、モダリティギャップ、不整合、固有ノイズによって妨げられる。 近年のマルチモーダル時系列手法の進歩は、深層学習法に基づくクロスモーダルな相互作用を通じてマルチモーダルな文脈を利用しており、様々な下流タスクを大幅に強化している。 本チュートリアルおよび調査では,マルチモーダル時系列データセットと手法の体系的かつ最新の概要について述べる。 まず,マルチモーダル時系列解析の課題とその動機について述べる。 次に、一般的なパイプラインを要約し、異なるレベルでの融合、アライメント、転送を含む統合された相互モーダル相互作用フレームワーク(インプット、中間、アウトプット)を通じて既存のメソッドを分類する。 また、一般的な領域や特定の領域に合わせた標準時系列および空間時系列のマルチモーダル解析の現実的応用についても論じる。 最後に,実践者がマルチモーダル時系列を探索・活用するための今後の研究の方向性について論じる。 GitHubリポジトリに最新のリソースが提供されている。 https://github.com/UConn-DSIS/Multi-modal-Time-Series-Analysis。

関連論文リスト

• TempoGPT: Enhancing Time Series Reasoning via Quantizing Embedding [13.996105878417204]
  本稿では,マルチモーダル時系列データ構築手法とマルチモーダル時系列言語モデル(TLM, TempoGPT)を提案する。 ホワイトボックスシステム内の変数-システム関係を解析することにより,複雑な推論タスクのためのマルチモーダルデータを構築する。 広範な実験により、TempoGPTは時間的情報を正確に知覚し、結論を論理的に推論し、構築された複雑な時系列推論タスクにおける最先端の処理を達成することが示されている。
  論文  参考訳（メタデータ） (2025-01-13T13:47:05Z)
• A Practitioner's Guide to Continual Multimodal Pretraining [83.63894495064855]
  マルチモーダル・ファンデーション・モデルは視覚と言語を交わす多くのアプリケーションに役立っている。 モデルを更新し続けるために、継続事前トレーニングの研究は主に、大規模な新しいデータに対する頻度の低い、差別的な更新、あるいは頻繁に行われるサンプルレベルの更新のシナリオを探求する。 本稿では,FoMo-in-Flux(FoMo-in-Flux)について紹介する。
  論文  参考訳（メタデータ） (2024-08-26T17:59:01Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)
• Few-shot Multimodal Sentiment Analysis based on Multimodal Probabilistic Fusion Prompts [30.15646658460899]
  ソーシャルメディア上でのマルチモーダルコンテンツの普及により,マルチモーダル感情分析が注目されている。 この地域の既存の研究は、大規模に監督されたデータに大きく依存している。 マルチモーダルな感情検出のために,様々なモーダルから多様な手がかりを生かしたマルチモーダル確率核融合法(MultiPoint)を提案する。
  論文  参考訳（メタデータ） (2022-11-12T08:10:35Z)
• Generalized Product-of-Experts for Learning Multimodal Representations in Noisy Environments [18.14974353615421]
  本稿では,エキスパート手法の一般化による雑音環境下でのマルチモーダル表現学習手法を提案する。 提案手法では,モダリティ毎に異なるネットワークをトレーニングし,そのモダリティから得られる情報の信頼性を評価する。 マルチモーダル3Dハンドプレース推定とマルチモーダル手術ビデオセグメンテーションという,2つの挑戦的なベンチマークで最先端のパフォーマンスを得た。
  論文  参考訳（メタデータ） (2022-11-07T14:27:38Z)
• Channel Exchanging Networks for Multimodal and Multitask Dense Image Prediction [125.18248926508045]
  本稿では,マルチモーダル融合とマルチタスク学習の両方に適用可能な,自己適応的でパラメータフリーなチャネル交換ネットワーク(CEN)を提案する。 CENは異なるモダリティのワーク間でチャネルを動的に交換する。 濃密な画像予測を応用するために、CENの有効性は4つの異なるシナリオで検証される。
  論文  参考訳（メタデータ） (2021-12-04T05:47:54Z)
• StreaMulT: Streaming Multimodal Transformer for Heterogeneous and Arbitrary Long Sequential Data [0.0]
  StreaMulTは、クロスモーダルアテンションとメモリバンクに依存するストリーミングマルチモーダルトランスであり、トレーニング時に任意に長い入力シーケンスを処理し、推論時にストリーミング形式で実行する。 StreaMulTは、Multimodal Sentiment Analysisタスク用のCMU-MOSEIデータセットの最先端メトリクスを改善し、他のマルチモーダルモデルよりもはるかに長い入力を処理することができる。
  論文  参考訳（メタデータ） (2021-10-15T11:32:17Z)
• Time Series Analysis via Network Science: Concepts and Algorithms [62.997667081978825]
  本稿では,時系列をネットワークに変換する既存のマッピング手法について概観する。 我々は、主要な概念的アプローチを説明し、権威的な参照を提供し、統一された表記法と言語におけるそれらの利点と限界について洞察を与える。 ごく最近の研究だが、この研究領域には大きな可能性を秘めており、今後の研究の道を開くことを目的としている。
  論文  参考訳（メタデータ） (2021-10-11T13:33:18Z)
• Multimodal Categorization of Crisis Events in Social Media [81.07061295887172]
  本稿では,画像とテキストの両方を入力として利用するマルチモーダル融合法を提案する。 特に、弱モダリティから非形式的および誤解を招くコンポーネントをフィルタリングできるクロスアテンションモジュールを導入する。 本手法は,3つの危機関連タスクにおいて,一様アプローチと強いマルチモーダルベースラインを大きなマージンで上回ることを示す。
  論文  参考訳（メタデータ） (2020-04-10T06:31:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。