論文の概要: FinTagging: An LLM-ready Benchmark for Extracting and Structuring Financial Information

• arxiv url: http://arxiv.org/abs/2505.20650v1
• Date: Tue, 27 May 2025 02:55:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.368418
• Title: FinTagging: An LLM-ready Benchmark for Extracting and Structuring Financial Information
• Title（参考訳）: FinTagging:金融情報の抽出と構造化のためのLLM対応ベンチマーク
• Authors: Yan Wang, Yang Ren, Lingfei Qian, Xueqing Peng, Keyi Wang, Yi Han, Dongji Feng, Xiao-Yang Liu, Jimin Huang, Qianqian Xie,
• Abstract要約: 大規模言語モデル(LLM)の構造化情報抽出とセマンティックアライメント機能を評価するために設計された最初のフルスコープテーブル対応ベンチマークであるFinTaggingを紹介する。 フラットなマルチクラス分類としてタグ付けを単純化し、物語テキストのみにフォーカスする以前のベンチマークとは異なり、FinTaggingはタグ付け問題を2つのサブタスクに分解する。 それは、事実を共同で抽出し、非構造化テキストと構造化テーブルの両方にわたる完全な10k以上の米国分類と整合させるモデルを必要とし、現実的できめ細かな評価を可能にする。
• 参考スコア（独自算出の注目度）: 18.75906880569719
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce FinTagging, the first full-scope, table-aware XBRL benchmark designed to evaluate the structured information extraction and semantic alignment capabilities of large language models (LLMs) in the context of XBRL-based financial reporting. Unlike prior benchmarks that oversimplify XBRL tagging as flat multi-class classification and focus solely on narrative text, FinTagging decomposes the XBRL tagging problem into two subtasks: FinNI for financial entity extraction and FinCL for taxonomy-driven concept alignment. It requires models to jointly extract facts and align them with the full 10k+ US-GAAP taxonomy across both unstructured text and structured tables, enabling realistic, fine-grained evaluation. We assess a diverse set of LLMs under zero-shot settings, systematically analyzing their performance on both subtasks and overall tagging accuracy. Our results reveal that, while LLMs demonstrate strong generalization in information extraction, they struggle with fine-grained concept alignment, particularly in disambiguating closely related taxonomy entries. These findings highlight the limitations of existing LLMs in fully automating XBRL tagging and underscore the need for improved semantic reasoning and schema-aware modeling to meet the demands of accurate financial disclosure. Code is available at our GitHub repository and data is at our Hugging Face repository.
• Abstract（参考訳）: 我々は、XBRLに基づく財務報告の文脈において、大規模言語モデル(LLM)の構造的情報抽出と意味的アライメント能力を評価するために設計された、最初のフルスコープのテーブル対応XBRLベンチマークであるFinTaggingを紹介する。 XBRLタグをフラットなマルチクラス分類として単純化し、物語テキストのみにフォーカスする以前のベンチマークとは異なり、FinTaggingはXBRLタグ問題を2つのサブタスクに分解する。 事実を共同で抽出し、非構造化テキストと構造化テーブルの両方にわたる完全な10k以上の米国-GAAP分類と整合させることで、現実的できめ細かな評価を可能にします。 我々は,ゼロショット設定下での多種多様なLLMの評価を行い,サブタスクと全体的なタグ付け精度の両方において,その性能を体系的に分析した。 以上の結果から, LLMは情報抽出において強い一般化を示す一方で, 微細な概念の整合性, 特に近縁な分類項目の曖昧化に苦慮していることが明らかとなった。 これらの知見は、XBRLタグの完全自動化における既存のLLMの限界を浮き彫りにし、正確な財務開示の要求を満たすために、意味論的推論とスキーマ対応モデリングの改善の必要性を浮き彫りにした。 コードはGitHubリポジトリで、データはHugging Faceリポジトリで利用可能です。

関連論文リスト

• Representation Learning of Limit Order Book: A Comprehensive Study and Benchmarking [3.94375691568608]
  限界秩序書(LOB)は市場ダイナミクスの詳細なビューを提供する。 既存のアプローチはしばしば、エンド・ツー・エンドの方法で特定の下流タスクによる表現学習を密に結合する。 我々は、実際の中国のAシェア市場データを標準化したベンチマークであるLOBenchを紹介し、キュレートされたデータセット、統一された前処理、一貫した評価指標、強力なベースラインを提供する。
  論文  参考訳（メタデータ） (2025-05-04T15:00:00Z)
• Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
  Instruct-LFはゴール指向の潜在因子発見システムである。 命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
  論文  参考訳（メタデータ） (2025-02-21T02:03:08Z)
• KG-CF: Knowledge Graph Completion with Context Filtering under the Guidance of Large Language Models [55.39134076436266]
  KG-CFはランキングベースの知識グラフ補完タスクに適したフレームワークである。 KG-CFは、LLMの推論能力を活用して、無関係なコンテキストをフィルタリングし、現実世界のデータセットで優れた結果を得る。
  論文  参考訳（メタデータ） (2025-01-06T01:52:15Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
  本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。 実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
  論文  参考訳（メタデータ） (2024-06-05T20:19:09Z)
• NIFTY Financial News Headlines Dataset [14.622656548420073]
  NIFTY Financial News Headlines データセットは,大規模言語モデル(LLM)を用いた金融市場予測の促進と進展を目的としている。 i) LLMの教師付き微調整(SFT)を目標とするNIFTY-LMと、(ii) NIFTY-RLと、(人からのフィードバックからの強化学習のような)アライメントメソッドに特化してフォーマットされたNIFTY-RLの2つの異なるモデルアプローチで構成されている。
  論文  参考訳（メタデータ） (2024-05-16T01:09:33Z)
• Parameter-Efficient Instruction Tuning of Large Language Models For Extreme Financial Numeral Labelling [29.84946857859386]
  本稿では,財務文書に発生する関連する数字を対応するタグで自動的に注釈付けする問題について検討する。 本稿では,LoRAを用いたタスクに対するパラメータ効率のよい解を提案する。 提案するモデルであるFLAN-FinXCは、両方のデータセット上で新しい最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-05-03T16:41:36Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)
• Data-Centric Financial Large Language Models [27.464319154543173]
  大規模言語モデル(LLM)は自然言語のタスクを約束するが、金融のような複雑なドメインに直接適用した場合に苦労する。 我々は、LLMが金融業務をよりうまく扱えるようにするために、データ中心のアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-07T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。