論文の概要: FinTagging: Benchmarking LLMs for Extracting and Structuring Financial Information

• arxiv url: http://arxiv.org/abs/2505.20650v2
• Date: Fri, 10 Oct 2025 00:16:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 04:53:46.781998
• Title: FinTagging: Benchmarking LLMs for Extracting and Structuring Financial Information
• Title（参考訳）: FinTagging:財務情報の抽出と構造化のためのLLMのベンチマーク
• Authors: Yan Wang, Yang Ren, Lingfei Qian, Xueqing Peng, Keyi Wang, Yi Han, Dongji Feng, Fengran Mo, Shengyuan Lin, Qinchuan Zhang, Kaiwen He, Chenri Luo, Jianxing Chen, Junwei Wu, Jimin Huang, Guojun Xiong, Xiao-Yang Liu, Qianqian Xie, Jian-Yun Nie,
• Abstract要約: FinTaggingは構造認識とフルスコープのための最初の包括的なベンチマークである。 タグ付け 数値識別用FinNIは、数値エンティティとそのタイプを抽出する。 財務報告 概念リンクのためのFinCLは、抽出された各実体を米国の完全な分類学における対応する概念にマッピングする。
• 参考スコア（独自算出の注目度）: 47.37027539828975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accurately understanding numbers from financial reports is fundamental to how markets, regulators, algorithms, and normal people read the economy and the world, yet even with XBRL (eXtensible Business Reporting Language) designed to tag every figure with standardized accounting concepts, mapping thousands of facts to over 10,000 U.S. GAAP concepts remains costly, inconsistent, and error-prone. Existing benchmarks define tagging as flat, single-step, extreme classification over small subsets of US-GAAP concepts, overlooking both the taxonomy's hierarchical semantics and the structured nature of real tagging, where each fact must be represented as a contextualized multi-field output. These simplifications prevent fair evaluation of large language models (LLMs) under realistic reporting conditions. To address these gaps, we introduce FinTagging, the first comprehensive benchmark for structure-aware and full-scope XBRL tagging, designed to evaluate LLMs' ability to extract and align financial facts through numerical reasoning and taxonomy alignment across text and tables. We define two subtasks: FinNI for numeric identification, which extracts numerical entities and their types from XBRL reports, and FinCL for concept linking, which maps each extracted entity to the corresponding concept in the full US-GAAP taxonomy. Together, these subtasks produce a structured representation of each financial fact. We evaluate diverse LLMs under zero-shot settings and analyze their performance across both subtasks and overall tagging accuracy. Results show that LLMs generalize well in numeric identification but struggle with fine-grained concept linking, revealing current limitations in structure-aware reasoning for accurate financial disclosure. All code and datasets are available on GitHub and Hugging Face.
• Abstract（参考訳）: 財務報告の数字を正確に理解することは、市場、規制当局、アルゴリズム、そして普通の人々が経済や世界を読む方法に不可欠であるが、XBRL (eXtensible Business Reporting Language) でさえ、標準化された会計概念ですべての人物をタグ付けし、何千もの事実を1万以上の米国GAAP概念にマッピングするように設計されている。 既存のベンチマークでは、タグ付けを、分類学の階層的意味論と実際のタグ付けの構造的性質の両方を見渡すことで、US-GAAPのコンセプトの小さなサブセットに対して、フラットで単一ステップの極端な分類として定義している。 これらの単純化により、現実的な報告条件下での大規模言語モデル(LLM)の公平な評価が防止される。 これらのギャップに対処するために、構造認識およびフルスコープXBRLタグ付けのための最初の包括的なベンチマークであるFinTaggingを導入し、テキストとテーブルをまたいだ数値的推論と分類的アライメントを通じて、LLMの財務事実を抽出・調整する能力を評価する。 数値識別のためのFinNIと、XBRLレポートから数値エンティティとそのタイプを抽出するFinCLと、抽出したエンティティを対応する概念に完全なUS-GAAP分類法でマッピングするFinCLという2つのサブタスクを定義した。 これらのサブタスクは、それぞれの財務事実の構造化された表現を生成する。 我々は,ゼロショット設定下での多様なLDMを評価し,サブタスクと全体的なタグ付け精度の両方で性能を解析した。 その結果,LLMは数値識別においてよく一般化するが,詳細な概念リンクに苦慮し,正確な財務開示のための構造認識推論における現在の限界を明らかにした。 すべてのコードとデータセットはGitHubとHugging Faceで入手できる。

関連論文リスト

• Structure First, Reason Next: Enhancing a Large Language Model using Knowledge Graph for Numerical Reasoning in Financial Documents [0.21485350418225244]
  大規模言語モデル(LLM)は、複数のQ-Aシステムにおいて有望な結果を示している。 知識グラフ(KG)のような構造化データ拡張は、LSMの予測を著しく改善した。 本稿では,KGを用いた構造化情報と,数値推論タスクのためのLLM予測を併用するフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-12T17:39:08Z)
• Scaling Beyond Context: A Survey of Multimodal Retrieval-Augmented Generation for Document Understanding [61.36285696607487]
  文書理解は、財務分析から科学的発見への応用に不可欠である。 現在のアプローチでは、OCRベースのパイプラインがLarge Language Models(LLM)やネイティブのMultimodal LLMs(MLLM)に制限されている。 Retrieval-Augmented Generation (RAG)は、外部データの基底モデルを支援するが、文書のマルチモーダルな性質は、テキスト、テーブル、チャート、レイアウトを組み合わせることで、より高度なパラダイムを必要とする。
  論文  参考訳（メタデータ） (2025-10-17T02:33:16Z)
• FinAuditing: A Financial Taxonomy-Structured Multi-Document Benchmark for Evaluating LLMs [40.216867348210265]
  FinAuditingは、財務監査タスクを評価するための最初の分類基準であり、構造を意識したマルチドキュメントのベンチマークである。 本物のアメリカ製である。 FinAuditingは3つの補完的なサブタスク、セマンティック一貫性のためのFinSM、リレーショナル一貫性のためのFinRE、数値一貫性のためのFinMRを定義している。 13の最先端のLCMに関する大規模なゼロショット実験は、現在のモデルが意味論、関係論、数学的次元で矛盾なく機能することを明らかにする。
  論文  参考訳（メタデータ） (2025-10-10T00:41:55Z)
• FinAgentBench: A Benchmark Dataset for Agentic Retrieval in Financial Question Answering [57.18367828883773]
  FinAgentBenchは、ファイナンスにおける多段階推論によるエージェント検索を評価するためのベンチマークである。 このベンチマークは、S&P-500上場企業に関する26Kのエキスパートアノテート例から成っている。 我々は,最先端モデルの集合を評価し,対象の微調整がエージェント検索性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2025-08-07T22:15:22Z)
• FAITH: A Framework for Assessing Intrinsic Tabular Hallucinations in finance [0.06597195879147556]
  金融に大規模言語モデル(LLM)をデプロイする上で、幻覚は依然として重要な課題である。 金融LLMにおける内因性幻覚を評価するための厳密でスケーラブルなフレームワークを開発する。 私たちの仕事は、より信頼性が高く信頼性の高い財務生成AIシステムを構築するための重要なステップとして役立ちます。
  論文  参考訳（メタデータ） (2025-08-07T09:37:14Z)
• Fine-Tuning Vision-Language Models for Markdown Conversion of Financial Tables in Malaysian Audited Financial Reports [0.0]
  本稿ではQwen2.5-VL-7Bに基づく微調整視覚言語モデル(VLM)を提案する。 提案手法には,拡大した2,152枚の画像テキストペアをキュレートしたデータセットと,LoRAを用いた教師付き微調整戦略が含まれる。 基準に基づく評価では92.20%の精度と96.53%のTEDSスコアが得られた。
  論文  参考訳（メタデータ） (2025-08-04T04:54:00Z)
• Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [80.88654868264645]
  Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。 AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。 結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
  論文  参考訳（メタデータ） (2025-07-22T06:37:51Z)
• MultiFinBen: Benchmarking Large Language Models for Multilingual and Multimodal Financial Application [118.63802040274999]
  MultiFinBen は、現実的な財務状況下で LLM を評価するための、最初のエキスパートアノテーション付き多言語(5言語)およびマルチモーダルベンチマークである。 財務理由付けテストは、書類やニュースと統合された言語間のエビデンスと、スキャンされた文書から構造化されたテキストを抽出する財務OCRである。 21個のLLMを評価したところ、GPT-4oのようなフロンティアのマルチモーダルモデルでさえ、視力とオーディオが強く、多言語設定では急激に低下するが、全体の46.01%しか達成していないことが示されている。
  論文  参考訳（メタデータ） (2025-06-16T22:01:49Z)
• Representation Learning of Limit Order Book: A Comprehensive Study and Benchmarking [3.94375691568608]
  限界秩序書(LOB)は市場ダイナミクスの詳細なビューを提供する。 既存のアプローチはしばしば、エンド・ツー・エンドの方法で特定の下流タスクによる表現学習を密に結合する。 我々は、実際の中国のAシェア市場データを標準化したベンチマークであるLOBenchを紹介し、キュレートされたデータセット、統一された前処理、一貫した評価指標、強力なベースラインを提供する。
  論文  参考訳（メタデータ） (2025-05-04T15:00:00Z)
• HiFi-KPI: A Dataset for Hierarchical KPI Extraction from Earnings Filings [42.63642722062992]
  階層型金融鍵性能指標(HiFi-KPI)データセットを紹介する。 本手法は分類に基づくグループ化手法を用いて218,126のラベル階層を編成する。 また、4つの専門家マップ付きラベルを持つ手作業でキュレートされたサブセットであるHiFi-KPI Liteをリリースする。
  論文  参考訳（メタデータ） (2025-02-21T12:19:08Z)
• Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
  Instruct-LFはゴール指向の潜在因子発見システムである。 命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
  論文  参考訳（メタデータ） (2025-02-21T02:03:08Z)
• KG-CF: Knowledge Graph Completion with Context Filtering under the Guidance of Large Language Models [55.39134076436266]
  KG-CFはランキングベースの知識グラフ補完タスクに適したフレームワークである。 KG-CFは、LLMの推論能力を活用して、無関係なコンテキストをフィルタリングし、現実世界のデータセットで優れた結果を得る。
  論文  参考訳（メタデータ） (2025-01-06T01:52:15Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
  本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。 実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
  論文  参考訳（メタデータ） (2024-06-05T20:19:09Z)
• NIFTY Financial News Headlines Dataset [14.622656548420073]
  NIFTY Financial News Headlines データセットは,大規模言語モデル(LLM)を用いた金融市場予測の促進と進展を目的としている。 i) LLMの教師付き微調整(SFT)を目標とするNIFTY-LMと、(ii) NIFTY-RLと、(人からのフィードバックからの強化学習のような)アライメントメソッドに特化してフォーマットされたNIFTY-RLの2つの異なるモデルアプローチで構成されている。
  論文  参考訳（メタデータ） (2024-05-16T01:09:33Z)
• Parameter-Efficient Instruction Tuning of Large Language Models For Extreme Financial Numeral Labelling [29.84946857859386]
  本稿では,財務文書に発生する関連する数字を対応するタグで自動的に注釈付けする問題について検討する。 本稿では,LoRAを用いたタスクに対するパラメータ効率のよい解を提案する。 提案するモデルであるFLAN-FinXCは、両方のデータセット上で新しい最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-05-03T16:41:36Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)
• Data-Centric Financial Large Language Models [27.464319154543173]
  大規模言語モデル(LLM)は自然言語のタスクを約束するが、金融のような複雑なドメインに直接適用した場合に苦労する。 我々は、LLMが金融業務をよりうまく扱えるようにするために、データ中心のアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-07T04:53:31Z)
• Language Models Enable Simple Systems for Generating Structured Views of Heterogeneous Data Lakes [54.13559879916708]
  EVAPORATEは大規模言語モデル(LLM)を利用したプロトタイプシステムである。 コード合成は安価だが、各文書をLSMで直接処理するよりもはるかに正確ではない。 直接抽出よりも優れた品質を実現する拡張コード実装EVAPORATE-CODE+を提案する。
  論文  参考訳（メタデータ） (2023-04-19T06:00:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。