論文の概要: MM-FinEval: A Multi-Task Multimodal Benchmark for Real-World Financial Forecasting

• arxiv url: http://arxiv.org/abs/2609.38523v1
• Date: Tue, 29 Sep 2026 20:40:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.721603
• Title: MM-FinEval: A Multi-Task Multimodal Benchmark for Real-World Financial Forecasting
• Title（参考訳）: MM-FinEval: 実世界の財務予測のためのマルチタスクマルチモーダルベンチマーク
• Abstract要約: MM-FinEvalは,マルチモーダルな大規模言語モデル(LLM)を複数の財務タスクで評価するための新しいベンチマークである。 提案するデータセット全体では,2,045件のS&P 500カンファレンスがインプットとしてコールされ,12のファイナンシャルタスクラベルがアウトプットとして提供される。 小型のAny-to-Anyモデルでは,大規模なプロプライエタリモデルと比較しても,3つのモードを全て処理することで高い性能が得られる。
• 参考スコア（独自算出の注目度）: 23.184079402371754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Financial forecasting from earnings conference calls requires models to reason over complex corporate disclosures, market expectations, and subtle communication signals. However, existing financial benchmarks are often limited to unimodal inputs or single-task settings, making it difficult to evaluate whether multimodal large language models (LLMs) can support real-world financial analysis. In this paper, we introduce MM-FinEval, a novel benchmark designed to evaluate multimodal LLMs across multiple financial tasks. MM-FinEval spans a diverse timeline from 2019 to 2022. The entire proposed dataset contains 2,045 S\&P 500 conference earning calls as inputs and 12 financial task labels as outputs. Each input contains three modalities: a word-to-word text transcript of the earning call, the corresponding presentation slides used during the call, and the entire audio recording. To establish a rigorous evaluation framework, we analyze 19 baseline models across three distinct model categories: Image-Text, Audio-Text, and Any-to-Any configurations. We observe that small-size Any-to-Any models processing all three modalities achieve strong performance, even when compared against larger proprietary models restricted to two-modality inputs. This indicates that our tri-modal dataset design introduces useful, non-redundant information. These results validate that text, audio, and visual data serve as important, complementary signals that mimic the decision-making process of expert human analysts.
• Abstract（参考訳）: 決算報告による財務予測は、複雑な企業情報開示、市場の期待、微妙なコミュニケーションシグナルを推論するモデルを必要とする。 しかし、既存の金融ベンチマークは単調な入力や単一タスクの設定に限られており、マルチモーダルな大規模言語モデル(LLM)が現実世界の財務分析をサポートするかどうかを評価することは困難である。 本稿では,MM-FinEvalについて紹介する。MM-FinEvalは,複数の財務タスクにまたがるマルチモーダルLLMを評価するために設計された,新しいベンチマークである。 MM-FinEvalは2019年から2022年までのさまざまなタイムラインにまたがっている。 提案するデータセット全体では,2,045件のS\&P 500カンファレンスがインプットとしてコールされ,12件のファイナンシャルタスクラベルがアウトプットとして提供される。 それぞれの入力には、3つのモダリティが含まれており、すなわち、獲得した呼び出しのワード・ツー・ワードのテキストの書き起こし、呼び出し中に使用される対応するプレゼンテーションスライド、および音声記録全体である。 厳密な評価フレームワークを確立するために、画像テキスト、オーディオテキスト、Any-to-Any構成という3つの異なるモデルカテゴリの19のベースラインモデルを解析する。 小型のAny-to-Anyモデルでは,2つのモードの入力に制限された大規模プロプライエタリモデルと比較しても,3つのモードを全て処理することで高い性能が得られる。 このことは、我々のトリモーダルデータセット設計が有用で非冗長な情報を導入していることを示している。 これらの結果は、テキスト、音声、視覚データが、専門家の人間アナリストの意思決定プロセスを模倣する重要な補完的な信号であることを示す。

関連論文リスト

• OmniRet: Efficient and High-Fidelity Omni Modality Retrieval [51.80205678389465]
  OmniRetは,テキスト,視覚,音声の3つの重要なモダリティにまたがる複雑なクエリを処理可能な,最初の検索モデルである。 提案モデルでは,コンポジションクエリ,音声,ビデオ検索のタスクにおいて,最先端のモデルを用いたオンパーパフォーマンスを実現しつつ,大幅な改善を実現している。
  論文  参考訳（メタデータ） (2026-03-02T17:19:55Z)
• FinMTM: A Multi-Turn Multimodal Benchmark for Financial Reasoning and Agent Evaluation [15.654001393123403]
  FinMTMはマルチターンマルチモーダルベンチマークであり、データ次元とタスク次元の両方に沿って多様性を拡張する。 データ側では、財務状況を基礎とした11,133のバイリンガル(中国語と英語)財務QAペアをキュレートし、注釈付けします。 タスク側では、FinMTMはシングルチョイスと複数チョイスの質問、複数ターンのオープンエンド対話、エージェントベースのタスクをカバーしている。
  論文  参考訳（メタデータ） (2026-02-03T05:38:24Z)
• UniFinEval: Towards Unified Evaluation of Financial Multimodal Models across Text, Images and Videos [22.530796761115766]
  我々は、情報密度の高い金融環境のための最初の統合マルチモーダルベンチマークUniFinEvalを提案する。 UniFinEvalは、現実世界の金融システムに根ざした5つの中核的な金融シナリオを体系的に構築する。 Gemini-3-pro-previewは、全体的なパフォーマンスは最高だが、財務の専門家と比べて大きな差がある。
  論文  参考訳（メタデータ） (2026-01-09T10:15:32Z)
• Unlocking Financial Insights: An advanced Multimodal Summarization with Multimodal Output Framework for Financial Advisory Videos [11.550322270589952]
  FASTER(Financial Advisory Summariser with Textual Embedded Relevant Image)は、最適化された簡潔な要約を生成するフレームワークである。 FASTERは、セマンティックな視覚的記述にBLIP、テキストパターンにOCR、話者ダイアリゼーションをBOS機能としてWhisperベースの書き起こしにBLIPを使用している。 A modified Direct Preference Optimization (DPO)-based loss function, equipped with BOS-specific fact-checking, ensure precision, Relevance, and factual consistency。
  論文  参考訳（メタデータ） (2025-09-25T09:54:19Z)
• MultiFinBen: Benchmarking Large Language Models for Multilingual and Multimodal Financial Application [118.63802040274999]
  MultiFinBen は、現実的な財務状況下で LLM を評価するための、最初のエキスパートアノテーション付き多言語(5言語)およびマルチモーダルベンチマークである。 財務理由付けテストは、書類やニュースと統合された言語間のエビデンスと、スキャンされた文書から構造化されたテキストを抽出する財務OCRである。 21個のLLMを評価したところ、GPT-4oのようなフロンティアのマルチモーダルモデルでさえ、視力とオーディオが強く、多言語設定では急激に低下するが、全体の46.01%しか達成していないことが示されている。
  論文  参考訳（メタデータ） (2025-06-16T22:01:49Z)
• Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications [88.96861155804935]
  オープンソースのマルチモーダル金融 LLM である textitOpen-FinLLMs を紹介する。 FinLLaMAは52ビリオンのトーケンコーパス、FinLLaMA-Instructは573Kの財務命令で微調整され、FinLLaVAは1.43Mのマルチモーダルチューニングペアで強化されている。 我々は、14の財務タスク、30のデータセット、および4つのマルチモーダルタスクにわたるOpen-FinLLMをゼロショット、少数ショット、教師付き微調整設定で評価した。
  論文  参考訳（メタデータ） (2024-08-20T16:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。