論文の概要: FinMR: A Knowledge-Intensive Multimodal Benchmark for Advanced Financial Reasoning
- arxiv url: http://arxiv.org/abs/2510.07852v1
- Date: Thu, 09 Oct 2025 06:49:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-10 17:54:14.913901
- Title: FinMR: A Knowledge-Intensive Multimodal Benchmark for Advanced Financial Reasoning
- Title(参考訳): FinMR: 高度な金融推論のための知識集約型マルチモーダルベンチマーク
- Authors: Shuangyan Deng, Haizhou Peng, Jiachen Xu, Rui Mao, Ciprian Doru Giurcăneanu, Jiamou Liu,
- Abstract要約: FinMRは専門アナリストの基準で専門家レベルの財務推論能力を評価するために設計された知識集約型マルチモーダルデータセットである。
これは15の金融分野において、3,200以上の厳格にキュレートされ、専門的に注釈付けされた質問応答ペアで構成されている。
FinMRは、専門的なアナリストレベルの能力に向け、マルチモーダルな財務推論を評価し、前進させるための重要なベンチマークツールとして、自らを確立している。
- 参考スコア(独自算出の注目度): 10.985136487771364
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal Large Language Models (MLLMs) have made substantial progress in recent years. However, their rigorous evaluation within specialized domains like finance is hindered by the absence of datasets characterized by professional-level knowledge intensity, detailed annotations, and advanced reasoning complexity. To address this critical gap, we introduce FinMR, a high-quality, knowledge-intensive multimodal dataset explicitly designed to evaluate expert-level financial reasoning capabilities at a professional analyst's standard. FinMR comprises over 3,200 meticulously curated and expertly annotated question-answer pairs across 15 diverse financial topics, ensuring broad domain diversity and integrating sophisticated mathematical reasoning, advanced financial knowledge, and nuanced visual interpretation tasks across multiple image types. Through comprehensive benchmarking with leading closed-source and open-source MLLMs, we highlight significant performance disparities between these models and professional financial analysts, uncovering key areas for model advancement, such as precise image analysis, accurate application of complex financial formulas, and deeper contextual financial understanding. By providing richly varied visual content and thorough explanatory annotations, FinMR establishes itself as an essential benchmark tool for assessing and advancing multimodal financial reasoning toward professional analyst-level competence.
- Abstract(参考訳): MLLM(Multimodal Large Language Models)は近年大きく進歩している。
しかし、金融のような専門分野における厳格な評価は、専門レベルの知識強度、詳細なアノテーション、高度な推論複雑性によって特徴づけられるデータセットが欠如していることによって妨げられている。
この重要なギャップに対処するために、専門アナリストの基準で専門家レベルの財務推論能力を評価するために明示的に設計された、高品質で知識集約型のマルチモーダルデータセットであるFinMRを紹介します。
FinMRは15の金融トピックにまたがって3,200以上の精巧にキュレートされ、専門的に注釈付けされた質問応答ペアで構成されており、幅広い領域の多様性を確保し、洗練された数学的推論、高度な財務知識、複数の画像タイプにまたがる微妙な視覚的解釈タスクを統合する。
オープンソースおよびオープンソースMLLMの総合的なベンチマークを通じて、これらのモデルとプロの財務アナリストの間での大幅なパフォーマンス格差を強調し、正確な画像解析、複雑な財務公式の正確な適用、より深い文脈の財務理解など、モデルの進歩のための重要な領域を明らかにする。
豊富な多様なビジュアルコンテンツと詳細な説明アノテーションを提供することで、FinMRはプロのアナリストレベルの能力に向け、マルチモーダルな財務推論を評価し、前進させるための重要なベンチマークツールとしての地位を確立している。
関連論文リスト
- Exploring Large Language Models for Financial Applications: Techniques, Performance, and Challenges with FinMA [0.0]
PIXIUフレームワークで作成されたモデルであるFinMAは、専門的な財務業務におけるパフォーマンスを評価する。
調査の結果,FinMAは感情分析や分類に優れていたが,数値推論,実体認識,要約といったタスクにおいて顕著な課題に直面していることがわかった。
論文 参考訳(メタデータ) (2025-10-02T11:19:59Z) - FinMMR: Make Financial Numerical Reasoning More Multimodal, Comprehensive, and Challenging [12.897569424944107]
FinMMRは、金融数値推論タスクにおけるマルチモーダル大言語モデル(MLLM)の推論能力を評価するために設計された、新しいバイリンガルベンチマークである。
FinMMRは、テーブル、バーチャート、オーナシップ構造チャートを含む14のカテゴリにまたがる4.3Kの質問と8.7Kのイメージで構成されている。
論文 参考訳(メタデータ) (2025-08-06T16:51:09Z) - CFBenchmark-MM: Chinese Financial Assistant Benchmark for Multimodal Large Language Model [21.702901343472558]
MLLM(Multimodal Large Language Models)は、LLM(Large Language Models)の成長とともに急速に発展してきた。
本稿では, CFBenchmark-MMについて紹介する。CFBenchmark-MMは, テーブル, ヒストグラムチャート, ラインチャート, パイチャート, 構造図を含む9000以上の画像検索ペアを持つ中国のマルチモーダル・ファイナンス・ベンチマークである。
我々は、段階的に異なる視覚コンテンツを提供することで、マルチモーダル情報を扱う際のMLLMを評価するための段階的評価システムを開発した。
論文 参考訳(メタデータ) (2025-06-16T02:52:44Z) - FinDER: Financial Dataset for Question Answering and Evaluating Retrieval-Augmented Generation [65.04104723843264]
ファイナンスにおけるRetrieval-Augmented Generation(RAG)に適したエキスパート生成データセットであるFinDERを提案する。
FinDERは、ドメインの専門家による検索関連証拠の注釈付けに重点を置いており、5,703のクエリ・エビデンス・アンサー・トリプルを提供している。
大きなコーパスから関連する情報を取得するためにモデルに挑戦することで、FinDERはRAGシステムを評価するためのより現実的なベンチマークを提供する。
論文 参考訳(メタデータ) (2025-04-22T11:30:13Z) - MME-Finance: A Multimodal Finance Benchmark for Expert-level Understanding and Reasoning [42.80085792749683]
本稿では,VQA(Visual Question Answering)ベンチマークであるMME-Financeを提案する。
このベンチマークの特徴は財務と専門知識であり、実際のユーザのニーズを反映したチャートの構築を含む。
また,中国語の文脈下でのMLLMの性能比較を支援する中国語版を提案する。
論文 参考訳(メタデータ) (2024-11-05T18:59:51Z) - FinTeamExperts: Role Specialized MOEs For Financial Analysis [17.145985064776273]
我々は、金融分析のためのMixture of Experts (MOEs) として構成されたロール特化LDMフレームワークであるFinTeamExpertsを提示する。
このフレームワークは、マクロアナリスト、マイクロアナリスト、量的アナリストといった、異なる役割を専門とする各モデルをトレーニングすることで、協力的なチーム設定をシミュレートする。
我々は、異なるコーパス上の3つの8ビリオンパラメータモデルを訓練し、それぞれが特定の金融関連の役割に長けている。
論文 参考訳(メタデータ) (2024-10-28T00:40:55Z) - FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。
FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
論文 参考訳(メタデータ) (2024-02-20T02:16:16Z) - PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark
for Finance [63.51545277822702]
PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。
我々はLLaMAを細調整してFinMAを提案する。
我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
論文 参考訳(メタデータ) (2023-06-08T14:20:29Z) - FinQA: A Dataset of Numerical Reasoning over Financial Data [52.7249610894623]
我々は、大量の財務文書の分析を自動化することを目的として、財務データに関する深い質問に答えることに重点を置いている。
我々は,金融専門家が作成した財務報告に対して質問回答のペアを用いた,新たな大規模データセットFinQAを提案する。
その結果、人気があり、大規模で、事前訓練されたモデルは、金融知識を得るための専門的な人間には程遠いことが示される。
論文 参考訳(メタデータ) (2021-09-01T00:08:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。