論文の概要: FinGREAT: Evaluating LLMs on Financial Graph-guided Retrieval And Typing

• arxiv url: http://arxiv.org/abs/2610.19240v1
• Date: Tue, 13 Oct 2026 21:57:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.823516
• Title: FinGREAT: Evaluating LLMs on Financial Graph-guided Retrieval And Typing
• Title（参考訳）: FinGREAT:金融グラフ誘導検索とタイピングによるLLMの評価
• Abstract要約: オープンウェイトLSMが予め定義された二重エントリー会計関係に対応する証拠を抽出・分類できるかどうかを検討する。 SEC 10-K Item 7の申請件数1300件にまたがる5つのオープンウェイト・ファミリーから,26年間の中規模モデルを評価した。 その結果,抽出量,エッジ分布,モデル間合意の相違が明らかとなった。
• 参考スコア（独自算出の注目度）: 1.4717403705761436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Financial disclosures express the underlying relationships of double-entry accounting through unstructured text. While financial LLM benchmarks predominantly emphasize question answering and classification, schema-guided evidence discovery remains relatively under-explored. We investigate whether open-weight LLMs can extract and classify evidence corresponding to predefined double-entry accounting relationships underlying the text. Using a financial accounting graph comprising 11 nodes (accounts) and 11 edges (transaction types), we evaluate mid-sized models from 5 open-weight families across 1,300 SEC 10-K Item 7 filings spanning 26 years, comparing their extraction performance against three proprietary models. Results reveal substantial differences in extraction volume, edge distributions, and cross-model agreement. Building on this study, we introduce a human-annotated relation classification benchmark comprising 483 passages across three financial accounting categories, evaluating 34 open-weight and 10 proprietary models. The strongest open-weight and proprietary models achieve 84.1\% and 92.8\% accuracy, respectively, with considerable variation across accounting categories. Our findings highlight the importance of evaluating evidence discovery and relation understanding separately, while investigating locally deployable models for scalable, privacy-sensitive financial analysis.
• Abstract（参考訳）: 財務情報開示は、非構造化テキストによる二重会計の基盤となる関係を表現している。 金融LLMベンチマークは質問応答と分類に重点を置いているが、スキーマ誘導型エビデンス発見はいまだに未調査である。 本研究では,オープンウェイト LLM が,テキストの裏側にある事前定義された二重エントリー会計関係に対応する証拠を抽出し,分類できるかどうかを検討する。 11のノード(アカウント)と11のエッジ(トランザクションタイプ)からなる財務会計グラフを使用して、1,300のSEC 10-K Item 7申請書にまたがる5つのオープンウェイトファミリーの中規模モデルを26年間にわたって評価し、抽出性能を3つのプロプライエタリモデルと比較した。 その結果,抽出量,エッジ分布,モデル間合意の相違が明らかとなった。 本研究では,3つの財務会計カテゴリーにまたがる483の項目を対象とし,34のオープンウェイトモデルと10のプロプライエタリモデルについて評価した。 最強のオープンウェイトモデルとプロプライエタリモデルはそれぞれ84.1\%と92.8\%の精度を達成し、会計カテゴリーによってかなり異なる。 本研究は,スケーラブルでプライバシに敏感な財務分析を行うために,ローカルに展開可能なモデルを調査しながら,証拠発見と関係理解を別々に評価することの重要性を強調した。

関連論文リスト

• Resolving the Missing Financial Data Crisis: A Generative AI Pipeline for SEC 10-K Extraction [6.220725124423482]
  SEC 10-K の申請書には、構造化データセットで一貫して取得されない相当な財務情報が含まれている。 正規表現(Regex)やBERTといった従来の金融抽出手法が広く用いられている。 本研究では,Llama-3 8B,Qwen-2.5 14B,Llama-3.3 70Bなどの大規模言語モデル(LLM)を評価し,個々のモデルの長所と短所を明らかにする。
  論文  参考訳（メタデータ） (2026-09-25T21:37:59Z)
• FinSheet-Bench: From Simple Lookups to Complex Reasoning, Where LLMs Break on Financial Spreadsheets [0.0]
  FinSheet-Benchは、実際のプライベートエクイティファンド構造をモデルとした総合金融ポートフォリオデータのベンチマークである。 プロの金融アプリケーションで教師なしの使用に十分なエラー率を達成するスタンドアロンモデルは存在しない。
  論文  参考訳（メタデータ） (2026-03-07T19:27:34Z)
• Fin-RATE: A Real-world Financial Analytics and Tracking Evaluation Benchmark for LLMs on SEC Filings [31.87459935714186]
  Fin-RATE(フィン・ラテ)は、米国証券取引委員会(SEC)の申請書類と財務アナリストを反映したベンチマークである。 我々は、オープンソース、クローズドソース、金融特化モデルにまたがって、Large Language Models(LLM)をリードする17のベンチマークを行った。 その結果、タスクが単一文書推論から縦断的、横断的分析へ移行するにつれて、精度が18.60%低下し、14.35%低下した。
  論文  参考訳（メタデータ） (2026-02-07T00:54:37Z)
• FinAgentBench: A Benchmark Dataset for Agentic Retrieval in Financial Question Answering [57.18367828883773]
  FinAgentBenchは、ファイナンスにおける多段階推論によるエージェント検索を評価するためのベンチマークである。 このベンチマークは、S&P-500上場企業に関する26Kのエキスパートアノテート例から成っている。 我々は,最先端モデルの集合を評価し,対象の微調整がエージェント検索性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2025-08-07T22:15:22Z)
• FinTagging: Benchmarking LLMs for Extracting and Structuring Financial Information [47.37027539828975]
  FinTaggingは構造認識とフルスコープのための最初の包括的なベンチマークである。 タグ付け 数値識別用FinNIは、数値エンティティとそのタイプを抽出する。 財務報告 概念リンクのためのFinCLは、抽出された各実体を米国の完全な分類学における対応する概念にマッピングする。
  論文  参考訳（メタデータ） (2025-05-27T02:55:53Z)
• BizFinBench: A Business-Driven Real-World Financial Benchmark for Evaluating LLMs [7.9458352414205295]
  大規模な言語モデルは一般的なタスクでは優れていますが、ロジック重大で精度の高い、財務、法律、医療といった重要な領域での信頼性の評価は依然として難しいままです。 BizFinBenchは、実世界の金融アプリケーションにおけるLSMの評価に特化して設計された最初のベンチマークである。 BizFinBenchは中国語で6,781の注釈付きクエリで構成されており、数値計算、推論、情報抽出、予測認識、知識に基づく質問応答の5つの次元にまたがっている。
  論文  参考訳（メタデータ） (2025-05-26T03:23:02Z)
• Reliable Decision Support with LLMs: A Framework for Evaluating Consistency in Binary Text Classification Applications [0.7124971549479361]
  本研究では,大言語モデル(LLM)のバイナリテキスト分類における一貫性を評価するフレームワークを提案する。 我々は,サンプルサイズ要件を定め,不適切な応答の指標を開発し,レータ内およびレータ間信頼性を評価する。
  論文  参考訳（メタデータ） (2025-05-20T21:12:58Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Gaussian process imputation of multiple financial series [71.08576457371433]
  金融指標、株価、為替レートなどの複数の時系列は、市場が潜んでいる状態に依存しているため、強く結びついている。 金融時系列間の関係を多出力ガウスプロセスでモデル化することで学習することに注力する。
  論文  参考訳（メタデータ） (2020-02-11T19:18:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。