論文の概要: QiYao-M: Multimodal Time Series Foundation Model with Role-Aware Modeling of Endogenous and Exogenous Modalities

• arxiv url: http://arxiv.org/abs/2609.34842v1
• Date: Mon, 28 Sep 2026 10:39:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 02:21:42.695196
• Title: QiYao-M: Multimodal Time Series Foundation Model with Role-Aware Modeling of Endogenous and Exogenous Modalities
• Title（参考訳）: QiYao-M:内因性および外因性モダリティの役割意識モデリングによるマルチモーダル時系列基盤モデル
• Abstract要約: 既存のマルチモーダル時系列基礎モデル(TSFM)は、大まかに共有されたメカニズムを通じて異質なモダリティをモデル化する。 本稿では,2種類のモードを別々にモデル化した役割認識型マルチモーダルTSFMであるQiYao-Mを提案する。 内因性モーダル性については,時間的変動とともに進化する過程を捉えるために,内因性マルチモーダル予測器と内因性マルチモーダルスーパービジョンを導入する。
• 参考スコア（独自算出の注目度）: 25.584310565213215
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing multimodal time series foundation models (TSFMs) typically model heterogeneous modalities through largely shared mechanisms, overlooking the distinct forecasting roles of endogenous and exogenous modalities. In this work, we propose QiYao-M, a role-aware multimodal TSFM that models the two types of modalities separately. For endogenous modalities, to capture how they evolve along with the underlying temporal dynamics, we introduce an Endo-Multimodal Predictor and Endo-Multimodal Supervision to explicitly learn their evolution from history to the future. For exogenous modalities, to generalize across domains and across various modality types and numbers under the scarcity of exo-multimodal pretraining data, we propose an Exo-Multimodal Retrieval Enhancer that enables rapid downstream adaptation without updating the TSFM parameters. We further introduce Endo-Modality Proxy Training to train this retrieval module without exogenous multimodal pretraining data. Extensive experiments across unimodal and multimodal benchmarks demonstrate strong forecasting performance in scenarios both with and without exogenous modalities.
• Abstract（参考訳）: 既存のマルチモーダル時系列基礎モデル(TSFM)は、内因性および外因性モダリティの予測的役割を見越して、大まかに共有されたメカニズムを通じて異種モダリティをモデル化する。 本研究では,2種類のモードを別々にモデル化した役割認識型マルチモーダルTSFMであるQiYao-Mを提案する。 内在的なモダリティに対しては,その進化を時間的ダイナミクスとともに捉えるために,歴史から未来への展開を明確に学習するために,内因性マルチモーダル予測器と内因性マルチモーダルスーパービジョンを導入する。 外因性モーダル性については, TSFMパラメータを更新することなく, 急激な下流適応を可能にするExo-Multimodal Retrieval Enhancerを提案する。 さらに,外因性マルチモーダル事前学習データを使わずに,この検索モジュールをトレーニングするために,エンドモダリティ・プロキシ・トレーニングを導入する。 一様および多モードのベンチマークによる広範囲な実験は、外因性モダリティを持つシナリオと非依存のシナリオにおいて、強い予測性能を示す。

関連論文リスト

• Generalized Multimodal Foundation Model [81.82608282466266]
  我々は、統一マルチモーダル融合モデルが特定のモダリティに依存しず、多モーダル相関の伝達可能なパターンを符号化すべきであると主張する。 多様な相関パターンを持つ大規模合成マルチモーダルデータセットを構築することにより、トレーニング中に伝達可能なマルチモーダル相関を符号化し、推論中に適切な関連を活性化する。
  論文  参考訳（メタデータ） (2026-08-16T15:47:13Z)
• Omni-Diffusion: Unified Multimodal Understanding and Generation with Masked Discrete Diffusion [66.78268790956493]
  オムニ・ディフュージョン(Omni-Diffusion)は、マスクベースの離散拡散モデルに基づいて構築された、最初の任意のマルチモーダル言語モデルである。 本手法は2つ以上のモダリティを処理する既存のマルチモーダルシステムに匹敵する性能または性能を示す。
  論文  参考訳（メタデータ） (2026-03-06T18:59:57Z)
• NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching [64.10695425442164]
  NExT-OMNI(英語版)は、離散フローパラダイムによる統一モデリングを実現するオープンソース・オムニモーダル・ファンデーション・モデルである。 NExT-OMNIは、大規模なインターリーブ付きテキスト、画像、ビデオ、オーディオデータに基づいて訓練され、マルチモーダル生成および理解ベンチマーク上で競合するパフォーマンスを提供する。 さらなる研究を進めるために、トレーニングの詳細、データプロトコル、およびコードとモデルチェックポイントの両方をオープンソース化する。
  論文  参考訳（メタデータ） (2025-10-15T16:25:18Z)
• MIND: Modality-Informed Knowledge Distillation Framework for Multimodal Clinical Prediction Tasks [50.98856172702256]
  マルチモーダルモデル圧縮手法である MIND (Modality-Informed Knowledge Distillation) フレームワークを提案する。 MINDは、様々なサイズの事前訓練されたディープニューラルネットワークのアンサンブルから、より小さなマルチモーダルの学生に知識を伝達する。 時系列データと胸部X線画像を用いた2値および複数ラベルの臨床予測タスクにおけるMINDの評価を行った。
  論文  参考訳（メタデータ） (2025-02-03T08:50:00Z)
• Learning Multimodal Latent Generative Models with Energy-Based Prior [3.6648642834198797]
  EBMに潜時生成モデルを統合する新しいフレームワークを提案する。 このアプローチは、より表現力があり、情報的であり、複数のモダリティにまたがる情報のより良いキャプチャをもたらす。
  論文  参考訳（メタデータ） (2024-09-30T01:38:26Z)
• MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
  実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。 近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。 SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
  論文  参考訳（メタデータ） (2024-04-13T13:39:26Z)
• Collaborative Diffusion for Multi-Modal Face Generation and Editing [34.16906110777047]
  本稿では,事前学習した単モーダル拡散モデルと協調して複数モーダル顔の生成と編集を行うコラボレーティブ拡散について述べる。 具体的には、事前学習された各ユニモーダルモデルに対する空間的時間的影響関数を予測することにより、マルチモーダルな認知ステップを適応的に幻覚するメタネットワークである動的ディフューザを提案する。
  論文  参考訳（メタデータ） (2023-04-20T17:59:02Z)
• Generalizing Multimodal Variational Methods to Sets [35.69942798534849]
  本稿では,マルチモーダル潜在空間を学習するために,Set Multimodal VAE(SMVAE)と呼ばれる新しい変分法を提案する。 共同モダリティ後部分布を直接モデル化することにより、提案したSMVAEは、複数のモダリティ間で情報を交換し、分解による欠点を補うことを学習する。
  論文  参考訳（メタデータ） (2022-12-19T23:50:19Z)
• Variational Dynamic Mixtures [18.730501689781214]
  逐次潜伏変数を推定するための変分動的混合(VDM)を開発した。 実証実験により、VDMは、高マルチモーダルデータセットにおける競合するアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-20T16:10:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。