論文の概要: Multimodal Language Models with Modality-Specific Experts for Financial Forecasting from Interleaved Sequences of Text and Time Series

• arxiv url: http://arxiv.org/abs/2509.19628v1
• Date: Tue, 23 Sep 2025 22:40:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 20:53:19.629587
• Title: Multimodal Language Models with Modality-Specific Experts for Financial Forecasting from Interleaved Sequences of Text and Time Series
• Title（参考訳）: モダリティを持つ多モーダル言語モデルによるテキストと時系列のインターリーブシーケンスからの財務予測
• Authors: Ross Koval, Nicholas Andrews, Xifeng Yan,
• Abstract要約: テキストと時系列のデータは、金融市場の補完的な見方を提供する。 我々は,これらのインターリーブ配列をモダリティに特化した専門家を用いてモデル化する統一型ニューラルネットワークを提案する。 我々は,大規模財務予測課題におけるアプローチの有効性を実証する。
• 参考スコア（独自算出の注目度）: 18.185361179633553
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Text and time series data offer complementary views of financial markets: news articles provide narrative context about company events, while stock prices reflect how markets react to those events. However, despite their complementary nature, effectively integrating these interleaved modalities for improved forecasting remains challenging. In this work, we propose a unified neural architecture that models these interleaved sequences using modality-specific experts, allowing the model to learn unique time series patterns, while still enabling joint reasoning across modalities and preserving pretrained language understanding capabilities. To further improve multimodal understanding, we introduce a cross-modal alignment framework with a salient token weighting mechanism that learns to align representations across modalities with a focus on the most informative tokens. We demonstrate the effectiveness of our approach on a large-scale financial forecasting task, achieving state-of-the-art performance across a wide variety of strong unimodal and multimodal baselines. We develop an interpretability method that reveals insights into the value of time series-context and reinforces the design of our cross-modal alignment objective. Finally, we demonstrate that these improvements translate to meaningful economic gains in investment simulations.
• Abstract（参考訳）: テキストと時系列のデータは、金融市場を補完する見解を提供する: ニュース記事は企業イベントに関する物語の文脈を提供するが、株価はこれらのイベントに対する市場反応を反映している。 しかし、その相補的な性質にもかかわらず、これらのインターリーブされたモダリティを効果的に統合して予測を改善することは依然として困難である。 本研究では,これらのインターリーブシーケンスをモダリティに特化した専門家を用いてモデル化し,モデルが独自の時系列パターンを学習できるようにするとともに,モダリティを越えた共同推論と事前訓練された言語理解能力の維持を可能にする統一型ニューラルアーキテクチャを提案する。 マルチモーダル理解をさらに改善するため,モーダル間の表現の整合を学習し,最も有意義なトークンに焦点をあてた,有意義なトークン重み付け機構を備えたクロスモーダルアライメントフレームワークを導入する。 我々は,大規模財務予測タスクにおけるアプローチの有効性を実証し,多種多様な強力な単調・多モードベースラインにまたがる最先端性能を実現する。 我々は,時系列コンテキストの価値を把握し,モーダルなアライメント目標の設計を補強する解釈可能性手法を開発した。 最後に、これらの改善が投資シミュレーションにおいて有意義な経済的な利益をもたらすことを実証する。

関連論文リスト

• Does Multimodality Lead to Better Time Series Forecasting? [84.74978289870155]
  このようなマルチモーダル積分がどのような条件で常に得られるかは、まだ不明である。 本稿では,時系列とテキスト表現をアライメントするアライメント・ベース・メソッドと,予測のための大規模言語モデルを直接促進するプロンプト・ベース・メソッドの2つの一般的なマルチモーダル予測パラダイムを評価する。 その結果,1)高容量テキストモデル,(2)比較的弱い時系列モデル,(3)適切な整合戦略などにより,テキスト情報を組み込むことが最も有用であることが示唆された。
  論文  参考訳（メタデータ） (2025-06-20T23:55:56Z)
• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
  自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。 実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• BreakGPT: Leveraging Large Language Models for Predicting Asset Price Surges [55.2480439325792]
  本稿では,時系列予測や資産価格の急上昇の予測に特化して,新たな大規模言語モデル(LLM)アーキテクチャであるBreakGPTを紹介する。 我々は、最小限のトレーニングで財務予測を行うための有望なソリューションとしてBreakGPTを紹介し、局所的およびグローバルな時間的依存関係をキャプチャする強力な競合相手として紹介する。
  論文  参考訳（メタデータ） (2024-11-09T05:40:32Z)
• Context Matters: Leveraging Contextual Features for Time Series Forecasting [2.9687381456164004]
  既存の予測モデルにマルチモーダルなコンテキスト情報を外科的に統合する新しいプラグイン・アンド・プレイ手法であるContextFormerを導入する。 ContextFormerは、カテゴリ、連続、時間変化、さらにはテキスト情報を含む、リッチなマルチモーダルコンテキストから予測固有の情報を効果的に蒸留する。 エネルギー、交通、環境、金融ドメインにまたがるさまざまな実世界のデータセットにおいて、SOTA予測モデルを最大30%上回ります。
  論文  参考訳（メタデータ） (2024-10-16T15:36:13Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Modality-aware Transformer for Financial Time series Forecasting [3.401797102198429]
  我々は,textitModality-aware Transformer という,新しいマルチモーダルトランスモデルを提案する。 本モデルでは,対象とする時系列を効果的に予測するために,分類的テキストと数値的時系列の両方のパワーを探索することに長けている。 財務データセットに関する我々の実験は、Modality-aware Transformerが既存の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-10-02T14:22:41Z)
• Incorporating Pre-trained Model Prompting in Multimodal Stock Volume Movement Prediction [22.949484374773967]
  本稿では,PromptをベースとしたMUltimodal Stock volumE予測モデル(ProMUSE)を提案する。 金融ニュースの理解を深めるために、事前訓練された言語モデルを使用します。 また, この問題を緩和するため, 核融合ヘッドの横にある一方向の頭部を保ちながら, 新たな異方性コントラストアライメントを提案する。
  論文  参考訳（メタデータ） (2023-09-11T16:47:01Z)
• Multimodal Contrastive Learning via Uni-Modal Coding and Cross-Modal Prediction for Multimodal Sentiment Analysis [19.07020276666615]
  本稿では,マルチモーダル表現のためのMMCL(MultiModal Contrastive Learning)というフレームワークを提案する。 また、予測のプロセスを促進し、感情に関連するよりインタラクティブな情報を学ぶために、事例ベースと感情ベースのコントラスト学習という2つのコントラスト学習タスクを設計する。
  論文  参考訳（メタデータ） (2022-10-26T08:24:15Z)
• High-Modality Multimodal Transformer: Quantifying Modality & Interaction Heterogeneity for High-Modality Representation Learning [112.51498431119616]
  本稿では,多種多様なモダリティを含む高モダリティシナリオに対する効率的な表現学習について検討する。 単一のモデルであるHighMMTは、テキスト、画像、オーディオ、ビデオ、センサー、プロプレセプション、スピーチ、時系列、セット、テーブル)と5つの研究領域から15のタスクをスケールする。
  論文  参考訳（メタデータ） (2022-03-02T18:56:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。