論文の概要: Enabling and Analyzing How to Efficiently Extract Information from Hybrid Long Documents with LLMs

• arxiv url: http://arxiv.org/abs/2305.16344v2
• Date: Thu, 7 Mar 2024 13:44:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 18:15:09.059791
• Title: Enabling and Analyzing How to Efficiently Extract Information from Hybrid Long Documents with LLMs
• Title（参考訳）: LLMを用いたハイブリッド長文書からの情報を効率的に抽出する方法の解明と解析
• Authors: Chongjian Yue, Xinrun Xu, Xiaojun Ma, Lun Du, Hengyu Liu, Zhiming Ding, Yanbing Jiang, Shi Han, Dongmei Zhang
• Abstract要約: 本研究は,財務報告から重要な情報を理解するために,大規模言語モデルの可能性を活用することに焦点を当てる。 財務報告から情報を理解し抽出するLLMの能力を高める自動財務情報抽出フレームワークを提案する。 本フレームワークは, GPT-3.5とGPT-4で有効に検証され, 平均精度は53.94%, 33.77%向上した。
• 参考スコア（独自算出の注目度）: 48.87627426640621
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) demonstrate exceptional performance in textual understanding and tabular reasoning tasks. However, their ability to comprehend and analyze hybrid text, containing textual and tabular data, remains underexplored. In this research, we specialize in harnessing the potential of LLMs to comprehend critical information from financial reports, which are hybrid long-documents. We propose an Automated Financial Information Extraction (AFIE) framework that enhances LLMs' ability to comprehend and extract information from financial reports. To evaluate AFIE, we develop a Financial Reports Numerical Extraction (FINE) dataset and conduct an extensive experimental analysis. Our framework is effectively validated on GPT-3.5 and GPT-4, yielding average accuracy increases of 53.94% and 33.77%, respectively, compared to a naive method. These results suggest that the AFIE framework offers accuracy for automated numerical extraction from complex, hybrid documents.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキスト理解や表の推論タスクにおいて、例外的なパフォーマンスを示す。 しかし、テキストデータと表データを含むハイブリッドテキストを理解・分析する能力は未調査のままである。 本研究では,LLMの可能性を生かして,ハイブリッドな長期文書である財務報告から重要な情報を理解することを専門とする。 金融報告から情報を理解し抽出するLLMの能力を高めるための自動財務情報抽出(AFIE)フレームワークを提案する。 afieを評価するために,financial reports numerical extraction (fine)データセットを開発し,広範な実験分析を行う。 このフレームワークはgpt-3.5とgpt-4で効果的に検証され、naive法と比較して53.94%と33.77%の平均精度が向上した。 これらの結果は,afieフレームワークが複雑なハイブリッド文書からの自動数値抽出の精度を提供することを示唆している。

関連論文リスト

• Evaluating Large Language Models on Financial Report Summarization: An Empirical Study [9.28042182186057]
  我々は3つの最先端大言語モデル(LLM)の比較研究を行っている。 我々の主な動機は、これらのモデルがどのように金融の中で活用できるかを探求することであり、正確さ、文脈的関連性、誤った情報や誤解を招く情報に対する堅牢性を要求する分野である。 本稿では,定量的メトリクス(精度,リコールなど)と質的分析(コンテキスト適合性,一貫性など)を統合し,各モデルの出力品質の全体像を提供する,革新的な評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-11T10:36:04Z)
• FinDVer: Explainable Claim Verification over Long and Hybrid-Content Financial Documents [30.402524394183857]
  FinDVerには2,400のエキスパートアノテート例があり、情報抽出、数値推論、知識集約推論という3つのサブセットに分けられている。 以上の結果から,現在の最高性能システムであるGPT-4oでさえ,まだ人間の専門家より遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-08T18:26:17Z)
• AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
  大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• TACT: Advancing Complex Aggregative Reasoning with Information Extraction Tools [51.576974932743596]
  大規模言語モデル(LLM)は、テキスト間の情報の集約を必要とするクエリではよく機能しないことが多い。 TACTには、1つ以上のテキストに散らばる縫合情報を要求する難しい命令が含まれている。 既存のテキストと関連するテーブルのデータセットを活用することで、このデータセットを構築します。 現代のLLMはいずれも,このデータセットでは性能が悪く,精度が38%以下であることが実証された。
  論文  参考訳（メタデータ） (2024-06-05T20:32:56Z)
• Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
  本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。 実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
  論文  参考訳（メタデータ） (2024-06-05T20:19:09Z)
• Large Language Models as Financial Data Annotators: A Study on Effectiveness and Efficiency [13.561104321425045]
  LLM(Large Language Models)は、一般的なドメインデータセット上のデータアノテーションタスクにおいて、顕著なパフォーマンスを示す。 金融文書中の関係を抽出するための効率的なデータアノテータとしてのLCMの可能性について検討する。 我々は,現在最先端のLLMが,非熟練のクラウドワーカーに十分な代替手段であることを実証した。
  論文  参考訳（メタデータ） (2024-03-26T23:32:52Z)
• FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
  FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。 FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
  論文  参考訳（メタデータ） (2024-02-20T02:16:16Z)
• Data-Centric Financial Large Language Models [27.464319154543173]
  大規模言語モデル(LLM)は自然言語のタスクを約束するが、金融のような複雑なドメインに直接適用した場合に苦労する。 我々は、LLMが金融業務をよりうまく扱えるようにするために、データ中心のアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-07T04:53:31Z)
• LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities and Future Opportunities [66.36633042421387]
  知識グラフ(KG)の構築と推論のための大規模言語モデル(LLM)の評価。 我々は,LLMと外部ソースを用いたマルチエージェントベースのアプローチであるAutoKGを提案し,KGの構築と推論を行う。
  論文  参考訳（メタデータ） (2023-05-22T15:56:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。