論文の概要: Enhancing Financial Question Answering: A Novel Benchmark Dataset of Banks' financial statements

• arxiv url: http://arxiv.org/abs/2609.03654v1
• Date: Thu, 03 Sep 2026 10:52:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:39.023409
• Title: Enhancing Financial Question Answering: A Novel Benchmark Dataset of Banks' financial statements
• Title（参考訳）: 銀行の財務諸表の新たなベンチマークデータセット
• Abstract要約: 金融質問応答のための新しいベンチマークデータセットであるFinRAG-QAを紹介する。 FinRAG-QAは、平均198kワードのドキュメントを横断的に検索する。 コンテキストチャンク濃縮と検索最適化埋め込みモデルを組み合わせると、NDCG@10は0.322から0.710に上昇する。
• 参考スコア（独自算出の注目度）: 6.625637186756314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The comparative analysis of banks' financial statements poses significant challenges for automated question answering systems due to their complexity, substantial length, technical language, and inhomogeneity of both textual and numerical content across different jurisdictions and institutions. We introduce FinRAG-QA, a novel benchmark dataset for financial question answering, which comprises 999 practitioner-curated questions on 10 standardised indicators, grounded in 209 annual and Pillar 3 reports from 24 major European and U.S. banks spanning 2019-2023. Unlike prior financial QA benchmarks, which centre on U.S. filings and single-institution analysis, FinRAG-QA targets cross-institutional retrieval over documents averaging 198k words, longer than any existing financial QA resource. On this benchmark we evaluate a multi-stage RAG pipeline and isolate the contribution of each component. Contextual chunk enrichment combined with a retrieval-optimised embedding model raises NDCG@10 from 0.322 to 0.710; conditional on the ground truth being retrieved, a reasoning-optimised generator raises answer accuracy from 44.6% to 79.0% (+34.4 percentage points), at roughly 20x the generation latency. We further show that cross-encoder reranking degrades retrieval when the first-stage ranking is already strong, and that a single top-ranked chunk outperforms larger contexts at generation time. Experiments were run in late 2024-early 2025 with the models available at that time.
• Abstract（参考訳）: 銀行の財務諸表の比較分析は、その複雑さ、相当な長さ、技術的言語、および異なる司法機関や機関におけるテキストコンテンツと数値コンテンツの両方の不均一性により、自動質問応答システムに重大な課題をもたらす。 これは、2019-2023年の間に欧州と米国の大手24の銀行から報告された209年に根拠を置き、999人の専門家による10の基準指標に関する質問を含む、金融質問応答のための新しいベンチマークデータセットである。 米国の申請やシングルインスティテュート分析を中心とした以前の財務QAベンチマークとは異なり、FinRAG-QAは既存の財務QAリソースよりも長い平均198kワードの文書に対するクロスインスティカル検索を目標としている。 このベンチマークでは、マルチステージRAGパイプラインを評価し、各コンポーネントのコントリビューションを分離する。 検索最適化埋め込みモデルと組み合わせたコンテキストチャンク濃縮は、NDCG@10を0.322から0.710に引き上げ、地上の真理を条件として、推論最適化ジェネレータは、応答精度を44.6%から79.0%(+34.4ポイント)に、生成遅延の約20倍に引き上げる。 さらに、クロスエンコーダは、第1段階のランクが既に強い場合、検索が劣化し、上位のチャンクが生成時により大きなコンテキストを上回ることを示す。 実験は2024年後半から2025年前半にかけて行われ、当時のモデルが利用可能であった。

関連論文リスト

• IGT @ FinMMEval 2026 Task 2: Question-Type Prompting with Targeted Extraction for Multilingual Financial QA [0.0]
  PolyFiQA Task 2は、英語のSEC(証券取引委員会)の申請書と多言語ニュース記事に対する多言語対応タスクである。 中心的な見解として, 344 の展開課題は, 根本的に異なるアプローチを必要とする 2 つのファミリーに分けられる。 データセット分析により、合成タイプごとに19の接地真実参照回答のうち17-18が、正確な証拠ラベルのプレフィックスを共有していることが明らかになった。 最終システムは、ROUGE-1の開発を約0.395で達成し、RAGベースラインに対する60%の相対的な改善を実現した。
  論文  参考訳（メタデータ） (2026-09-08T02:23:31Z)
• FinDeepIndicator: Benchmarking Deep Research Agents in End-to-End Financial Indicator Construction [57.909515451254855]
  FinDeepIndicatorは、エンドツーエンドの金融指標構築においてDeep Research(DR)エージェントを評価するための最初のベンチマークである。 DRエージェントを、公式仕様、データ収集、インジケータ計算、回答生成の4段階にわたって評価する。 米国と中国の両方の市場から抽出された3350のキュレートされた質問応答ペア、10年間の歴史的財務データ、800の上場企業が含まれている。
  論文  参考訳（メタデータ） (2026-08-01T16:54:41Z)
• Hierarchical Reranking for Scalable Financial RAG System [4.690968174645844]
  本稿では,大規模財務データセットにおける検索性能と生成信頼性の向上を目的としたRAGフレームワークである階層リランカを提案する。 提案システムは, NDCG@20スコア0.7918を達成し, より優れた事実整合性を示した。 この作業では、金融推論の正確性とスケーラビリティを両立させる、デプロイ可能なドメイン最適化RAGパイプラインを提供する。
  論文  参考訳（メタデータ） (2026-07-29T23:25:45Z)
• The CLEF-2026 FinMMEval Lab: Multilingual and Multimodal Evaluation of Financial AI Systems [54.12165004393043]
  FinMMEval 2026は、財務的理解、推論、意思決定にまたがる3つの相互接続タスクを提供する。 このラボは、堅牢で透明でグローバルに包括的な金融AIシステムの開発を促進することを目的としている。
  論文  参考訳（メタデータ） (2026-02-11T14:14:06Z)
• AfriEconQA: A Benchmark Dataset for African Economic Analysis based on World Bank Reports [0.0]
  AfriEconQAは、世界銀行の包括的コーパスに基づくアフリカ経済分析のための特別なベンチマークデータセットである。 データセットは8,937のキュレートされたQAインスタンスで構成され、10018の合成質問のプールから厳格にフィルタリングされる。 AfriEconQAはアフリカ経済分析に特化した最初のベンチマークであり、Information Retrieval (IR)システムに固有の課題を提供する。
  論文  参考訳（メタデータ） (2026-01-06T00:02:11Z)
• FinLFQA: Evaluating Attributed Text Generation of LLMs in Financial Long-Form Question Answering [57.43420753842626]
  FinLFQAは、複雑な財務問題に対する長文の回答を生成するための大規模言語モデルの能力を評価するために設計されたベンチマークである。 回答品質と属性品質の両方をカバーする自動評価フレームワークを提供する。
  論文  参考訳（メタデータ） (2025-10-07T20:06:15Z)
• FinReflectKG - MultiHop: Financial QA Benchmark for Reasoning with Knowledge Graph Evidence [0.0]
  FinReflectKG - FinReflectKG上に構築されたベンチマークであるMultiHop。 我々は、KGから正確な裏付けのある財務アナリストスタイルの質問を生成する。 推論モデルと非推論モデルの両方において、KG誘導による正確な検索は実質的な利得をもたらす。
  論文  参考訳（メタデータ） (2025-10-03T11:19:31Z)
• FinAI-BERT: A Transformer-Based Model for Sentence-Level Detection of AI Disclosures in Financial Reports [6.324803752309524]
  本研究では,FinAI-BERTについて紹介する。FinAI-BERTはドメイン適応トランスフォーマーに基づく言語モデルで,文レベルでのAI関連コンテンツを財務テキストに分類する。 このモデルは、米国の銀行の年間報告669件から抽出された1,586文の、手動でキュレートされバランスの取れたデータセットに基づいて微調整された。
  論文  参考訳（メタデータ） (2025-06-29T09:33:29Z)
• FinDER: Financial Dataset for Question Answering and Evaluating Retrieval-Augmented Generation [65.04104723843264]
  ファイナンスにおけるRetrieval-Augmented Generation(RAG)に適したエキスパート生成データセットであるFinDERを提案する。 FinDERは、ドメインの専門家による検索関連証拠の注釈付けに重点を置いており、5,703のクエリ・エビデンス・アンサー・トリプルを提供している。 大きなコーパスから関連する情報を取得するためにモデルに挑戦することで、FinDERはRAGシステムを評価するためのより現実的なベンチマークを提供する。
  論文  参考訳（メタデータ） (2025-04-22T11:30:13Z)
• FinTextQA: A Dataset for Long-form Financial Question Answering [10.1084081290893]
  FinTextQAは金融における長文質問応答(LFQA)のための新しいデータセットである。 我々のデータセット上で最も効果的なシステム構成は、組込み器、レトリバー、リランカー、ジェネレータをAda2、Automated Merged Retrieval、Bge-Reranker-Base、Baichuan2-7Bとして設定することであった。
  論文  参考訳（メタデータ） (2024-05-16T10:53:31Z)
• FinQA: A Dataset of Numerical Reasoning over Financial Data [52.7249610894623]
  我々は、大量の財務文書の分析を自動化することを目的として、財務データに関する深い質問に答えることに重点を置いている。 我々は,金融専門家が作成した財務報告に対して質問回答のペアを用いた,新たな大規模データセットFinQAを提案する。 その結果、人気があり、大規模で、事前訓練されたモデルは、金融知識を得るための専門的な人間には程遠いことが示される。
  論文  参考訳（メタデータ） (2021-09-01T00:08:14Z)
• TAT-QA: A Question Answering Benchmark on a Hybrid of Tabular and Textual Content in Finance [71.76018597965378]
  TAT-QAと呼ばれるタブラデータとテクスチャデータの両方を含む新しい大規模な質問応答データセットを構築します。 本稿では,テーブルとテキストの両方を推論可能な新しいQAモデルであるTAGOPを提案する。
  論文  参考訳（メタデータ） (2021-05-17T06:12:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。