論文の概要: FinDVer: Explainable Claim Verification over Long and Hybrid-Content Financial Documents

• arxiv url: http://arxiv.org/abs/2411.05764v1
• Date: Fri, 08 Nov 2024 18:26:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:55:37.424371
• Title: FinDVer: Explainable Claim Verification over Long and Hybrid-Content Financial Documents
• Title（参考訳）: FinDVer: 長期およびハイブリッドな財務文書に関する説明可能なクレーム検証
• Authors: Yilun Zhao, Yitao Long, Yuru Jiang, Chengye Wang, Weiyuan Chen, Hongjun Liu, Yiming Zhang, Xiangru Tang, Chen Zhao, Arman Cohan,
• Abstract要約: FinDVerには2,400のエキスパートアノテート例があり、情報抽出、数値推論、知識集約推論という3つのサブセットに分けられている。 以上の結果から,現在の最高性能システムであるGPT-4oでさえ,まだ人間の専門家より遅れていることが明らかとなった。
• 参考スコア（独自算出の注目度）: 30.402524394183857
• License:
• Abstract: We introduce FinDVer, a comprehensive benchmark specifically designed to evaluate the explainable claim verification capabilities of LLMs in the context of understanding and analyzing long, hybrid-content financial documents. FinDVer contains 2,400 expert-annotated examples, divided into three subsets: information extraction, numerical reasoning, and knowledge-intensive reasoning, each addressing common scenarios encountered in real-world financial contexts. We assess a broad spectrum of LLMs under long-context and RAG settings. Our results show that even the current best-performing system, GPT-4o, still lags behind human experts. We further provide in-depth analysis on long-context and RAG setting, Chain-of-Thought reasoning, and model reasoning errors, offering insights to drive future advancements. We believe that FinDVer can serve as a valuable benchmark for evaluating LLMs in claim verification over complex, expert-domain documents.
• Abstract（参考訳）: 我々は,LLMの請求検証能力について,長期にわたるハイブリッド・コンテンツ・ファイナンシャル文書の理解と分析の文脈で評価するための総合的なベンチマークであるFinDVerを紹介した。 FinDVerには、情報抽出、数値推論、知識集約推論という3つのサブセットに分かれた2,400のエキスパートアノテート例が含まれている。 長いコンテキストとRAG設定下でのLLMの幅広いスペクトルを評価する。 以上の結果から,現在の最高性能システムであるGPT-4oでさえ,まだ人間の専門家より遅れていることが明らかとなった。 さらに、長期コンテキストとRAG設定、Chain-of-Thought推論、モデル推論エラーについて詳細な分析を行い、将来の進歩を促進するための洞察を提供する。 我々はFinDVerが、複雑な専門家ドメインの文書に対する請求検証において、LCMを評価する上で貴重なベンチマークとなると信じている。

関連論文リスト

• Leave No Document Behind: Benchmarking Long-Context LLMs with Extended Multi-Doc QA [71.04146366608904]
  長いコンテキストモデリング能力は広く注目を集めており、超コンテキストウィンドウを持つLarge Language Models (LLMs) の出現につながっている。 拡張多文書質問応答(QA)によって現実的なシナリオに整合する新しい長文ベンチマークであるLoongを提案する。 Loong氏は、Spotlight Locating, Comparison, Clustering, Chain of Reasoningという、コンテキスト長の4つのタスクを紹介している。
  論文  参考訳（メタデータ） (2024-06-25T09:42:56Z)
• Large Language Models as Financial Data Annotators: A Study on Effectiveness and Efficiency [13.561104321425045]
  LLM(Large Language Models)は、一般的なドメインデータセット上のデータアノテーションタスクにおいて、顕著なパフォーマンスを示す。 金融文書中の関係を抽出するための効率的なデータアノテータとしてのLCMの可能性について検討する。 我々は,現在最先端のLLMが,非熟練のクラウドワーカーに十分な代替手段であることを実証した。
  論文  参考訳（メタデータ） (2024-03-26T23:32:52Z)
• TofuEval: Evaluating Hallucinations of LLMs on Topic-Focused Dialogue Summarization [29.49641083851667]
  様々な大きさのLPMによって生成される話題中心の対話要約に関する新しい評価ベンチマークを提案する。 我々はこれらの要約の事実整合性に関する二項文レベルの人文アノテーションと、事実整合性のある文章の詳細な説明を提供する。
  論文  参考訳（メタデータ） (2024-02-20T18:58:49Z)
• FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
  FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。 FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
  論文  参考訳（メタデータ） (2024-02-20T02:16:16Z)
• FinDABench: Benchmarking Financial Data Analysis Ability of Large Language Models [26.99936434072108]
  textttFinDABenchは、大規模言語モデルの財務データ分析能力を評価するために設計されたベンチマークである。 textttFinDABenchは、LLM能力の詳細な分析のための指標を提供することを目的としている。
  論文  参考訳（メタデータ） (2024-01-01T15:26:23Z)
• DISC-FinLLM: A Chinese Financial Large Language Model based on Multiple Experts Fine-tuning [74.99318727786337]
  金融大規模言語モデル(LLM)を構築するための多言語エキスパートファインチューニングフレームワークを提案する。 DISC-FIN-SFTという金融インストラクションチューニングデータセットを構築し、4つのカテゴリ(コンサルト、NLPタスク、コンピューティング、検索強化ジェネレーション)のインストラクションサンプルを含む。 複数のベンチマークで評価した結果, 様々な財務シナリオにおいて, ベースラインモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-10-23T11:33:41Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)
• Enabling and Analyzing How to Efficiently Extract Information from Hybrid Long Documents with LLMs [48.87627426640621]
  本研究は,財務報告から重要な情報を理解するために,大規模言語モデルの可能性を活用することに焦点を当てる。 財務報告から情報を理解し抽出するLLMの能力を高める自動財務情報抽出フレームワークを提案する。 本フレームワークは, GPT-3.5とGPT-4で有効に検証され, 平均精度は53.94%, 33.77%向上した。
  論文  参考訳（メタデータ） (2023-05-24T10:35:58Z)
• FinQA: A Dataset of Numerical Reasoning over Financial Data [52.7249610894623]
  我々は、大量の財務文書の分析を自動化することを目的として、財務データに関する深い質問に答えることに重点を置いている。 我々は,金融専門家が作成した財務報告に対して質問回答のペアを用いた,新たな大規模データセットFinQAを提案する。 その結果、人気があり、大規模で、事前訓練されたモデルは、金融知識を得るための専門的な人間には程遠いことが示される。
  論文  参考訳（メタデータ） (2021-09-01T00:08:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。