論文の概要: On the Comprehensibility of Multi-structured Financial Documents using LLMs and Pre-processing Tools

• arxiv url: http://arxiv.org/abs/2506.05182v1
• Date: Thu, 05 Jun 2025 15:52:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.801042
• Title: On the Comprehensibility of Multi-structured Financial Documents using LLMs and Pre-processing Tools
• Title（参考訳）: LLMと前処理ツールを用いた多構造化財務文書の総合性について
• Authors: Shivani Upadhyay, Messiah Ataey, Shariyar Murtuza, Yifan Nie, Jimmy Lin,
• Abstract要約: 本稿では,大規模言語モデル (LLMs) とマルチモーダル大規模言語モデル (MLLMs) の機能について考察する。 MLLM である GPT-4o は, 直接文書を送受信した場合, 複数構造化文書に対して 56% の精度が得られた。
• 参考スコア（独自算出の注目度）: 40.929957643962105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The proliferation of complex structured data in hybrid sources, such as PDF documents and web pages, presents unique challenges for current Large Language Models (LLMs) and Multi-modal Large Language Models (MLLMs) in providing accurate answers. Despite the recent advancements of MLLMs, they still often falter when interpreting intricately structured information, such as nested tables and multi-dimensional plots, leading to hallucinations and erroneous outputs. This paper explores the capabilities of LLMs and MLLMs in understanding and answering questions from complex data structures found in PDF documents by leveraging industrial and open-source tools as part of a pre-processing pipeline. Our findings indicate that GPT-4o, a popular MLLM, achieves an accuracy of 56% on multi-structured documents when fed documents directly, and that integrating pre-processing tools raises the accuracy of LLMs to 61.3% for GPT-4o and 76% for GPT-4, and with lower overall cost. The code is publicly available at https://github.com/OGCDS/FinancialQA.
• Abstract（参考訳）: PDF文書やWebページなどのハイブリッドソースにおける複雑な構造化データの拡散は、正確な回答を提供する上で、現在のLarge Language Models(LLM)とMulti-modal Large Language Models(MLLM)に固有の課題を提示している。 MLLMの最近の進歩にもかかわらず、ネストテーブルや多次元プロットのような複雑な構造化された情報を解釈する際には、しばしば混乱し、幻覚や誤出力につながる。 本稿では,産業用およびオープンソースツールを前処理パイプラインの一部として活用することにより,PDF文書にある複雑なデータ構造からの質問の理解と回答におけるLLMとMLLMの機能について検討する。 以上の結果から, MLLM である GPT-4o は, 直接的に文書を送受信した場合, 複数構造化文書に対して 56% の精度を達成し, 事前処理ツールの統合により GPT-4o では 61.3% , GPT-4 では 76% の精度が向上し, 全体的なコストが低下することがわかった。 コードはhttps://github.com/OGCDS/FinancialQA.comで公開されている。

関連論文リスト

• Extract Information from Hybrid Long Documents Leveraging LLMs: A Framework and Dataset [52.286323454512996]
  大規模言語モデル(LLM)は、テキストと表のデータを含むハイブリッドテキストを理解し解析することができる。 本研究では,LLMがHLD(Hybrid Long Document)を処理できるようにするための自動情報抽出フレームワーク(AIE)を提案し,HLDからの情報抽出の4つの重要な側面を分析する実験を行った。 HLDにおけるデータセット不足の問題に対処し、今後の作業を支援するために、金融レポート数値抽出(FINE)データセットを提案する。
  論文  参考訳（メタデータ） (2024-12-28T07:54:14Z)
• MiniCheck: Efficient Fact-Checking of LLMs on Grounding Documents [62.02920842630234]
  GPT-4レベルの性能を持つが400倍の低コストでファクトチェックモデルを構築する方法を示す。 GPT-4を用いて合成トレーニングデータを構築することで,現実的かつ困難な事実エラーの事例を生成する。 評価のために, ファクトチェックとグラウンドグラウンド化に関する最近の研究から得られたデータセットを, 新たなベンチマーク LLM-AggreFact に統一する。
  論文  参考訳（メタデータ） (2024-04-16T17:59:10Z)
• TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
  我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
  論文  参考訳（メタデータ） (2024-01-24T04:28:50Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• How to Bridge the Gap between Modalities: Survey on Multimodal Large Language Model [12.358079352117699]
  テキストや画像,音声などを含むマルチモーダルデータの処理にLLMを統合したマルチモーダル大規模言語モデル(MLLM)について検討する。 MLLMはマルチモーダルデータのセマンティックギャップに対処する上で、誤った出力につながる可能性がある。 効果的なモダリティアライメントの実装は、LLMが環境問題に対処し、アクセシビリティを高めるのに役立つ。
  論文  参考訳（メタデータ） (2023-11-10T09:51:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。