論文の概要: DocFinQA: A Long-Context Financial Reasoning Dataset

• arxiv url: http://arxiv.org/abs/2401.06915v2
• Date: Thu, 29 Feb 2024 19:55:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 20:06:02.030548
• Title: DocFinQA: A Long-Context Financial Reasoning Dataset
• Title（参考訳）: DocFinQA: 長期の金融推論データセット
• Authors: Varshini Reddy, Rik Koncel-Kedziorski, Viet Dac Lai, Michael Krumdick, Charles Lovering, Chris Tanner
• Abstract要約: 長期の財務QAタスクを導入します。 平均文脈長をFinQAの700語未満からDocFinQAの123k語に拡張する。 検索に基づくQAパイプラインと長文言語モデルに関する広範な実験を行う。
• 参考スコア（独自算出の注目度）: 17.752081303855263
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: For large language models (LLMs) to be effective in the financial domain -- where each decision can have a significant impact -- it is necessary to investigate realistic tasks and data. Financial professionals often interact with documents that are hundreds of pages long, but most financial research datasets only deal with short excerpts from these documents. To address this, we introduce a long-document financial QA task. We augment 7,437 questions from the existing FinQA dataset with the full-document context, extending the average context length from under 700 words in FinQA to 123k words in DocFinQA. We conduct extensive experiments over retrieval-based QA pipelines and long-context language models. DocFinQA proves a significant challenge for even state-of-the-art systems. We also provide a case-study on the longest documents in DocFinQA and find that models particularly struggle on these documents. Addressing these challenges may have a wide reaching impact across applications where specificity and long-range contexts are critical, like gene sequences and legal document contract analysis.
• Abstract（参考訳）: 大きな言語モデル(llm)が財務ドメイン(各決定に大きな影響を与える可能性がある)で効果的になるためには、現実的なタスクやデータを調べる必要がある。 金融専門家はしばしば数百ページに及ぶ文書とやり取りするが、ほとんどの金融研究データセットはこれらの文書からの短い抜粋のみを扱う。 そのために、長期にわたる財務QAタスクを導入する。 我々は、FinQAの700ワード未満からDocFinQAの123kワードまで平均コンテキスト長を延ばし、既存のFinQAデータセットからの7,437の質問をフルドキュメントコンテキストで拡張する。 検索に基づくQAパイプラインと長文言語モデルに関する広範な実験を行う。 DocFinQAは最先端システムにおいても重要な課題である。 また、DocFinQAの最長文書のケーススタディも提供し、モデルがこれらの文書に特に苦労していることを確認する。 これらの課題に対処することは、遺伝子配列や法的文書契約分析など、特異性と長距離コンテキストが重要となるアプリケーション全体に幅広い影響を及ぼす可能性がある。

関連論文リスト

• SEC-QA: A Systematic Evaluation Corpus for Financial QA [12.279234447220155]
  既存のデータセットは、多くの場合、サイズ、コンテキスト、実用的なアプリケーションとの関連性によって制約される。 2つの重要な特徴を持つ継続的データセット生成フレームワークであるSEC-QAを提案する。 本稿では,複雑な情報検索と定量的推論パイプラインの実行能力を向上させるプログラム・オブ・思想に基づくQAシステムを提案する。
  論文  参考訳（メタデータ） (2024-06-20T15:12:41Z)
• DocGenome: An Open Large-scale Scientific Document Benchmark for Training and Testing Multi-modal Large Language Models [63.466265039007816]
  我々は、arXivオープンアクセスコミュニティの153の分野から500Kの科学文書を注釈付けして構築した構造化文書ベンチマークDocGenomeを提案する。 我々はDocGenomeの利点を実証するために広範な実験を行い、我々のベンチマークで大規模モデルの性能を客観的に評価した。
  論文  参考訳（メタデータ） (2024-06-17T15:13:52Z)
• Quest: Query-centric Data Synthesis Approach for Long-context Scaling of Large Language Model [22.07414287186125]
  Questはクエリ中心のデータメソッドで、セマンティックに関連があるが多様なドキュメントを集約する。 生成モデルを使用して、ドキュメント毎の潜在的なクエリを予測し、同様のクエリとキーワードでドキュメントをグループ化する。 実験では、Questの長文タスクにおける優れたパフォーマンスを示し、最大100万トークンのコンテキスト長で顕著な結果が得られる。
  論文  参考訳（メタデータ） (2024-05-30T08:50:55Z)
• LongFin: A Multimodal Document Understanding Model for Long Financial Domain Documents [4.924255992661131]
  最大4Kトークンをエンコード可能なマルチモーダル文書AIモデルであるLongFinを紹介する。 また、金融文書におけるいくつかの産業課題をカプセル化したLongFormsデータセットを提案する。
  論文  参考訳（メタデータ） (2024-01-26T18:23:45Z)
• PDFTriage: Question Answering over Long, Structured Documents [60.96667912964659]
  構造化文書をプレーンテキストとして表現することは、これらの文書をリッチな構造でユーザ精神モデルと矛盾する。 本稿では,構造や内容に基づいて,モデルがコンテキストを検索できるPDFTriageを提案する。 ベンチマークデータセットは,80以上の構造化文書に900以上の人間が生成した質問からなる。
  論文  参考訳（メタデータ） (2023-09-16T04:29:05Z)
• DAPR: A Benchmark on Document-Aware Passage Retrieval [57.45793782107218]
  我々は,このタスクemphDocument-Aware Passage Retrieval (DAPR)を提案する。 State-of-The-Art(SoTA)パスレトリバーのエラーを分析しながら、大きなエラー(53.5%)は文書コンテキストの欠如に起因する。 提案するベンチマークにより,検索システムの開発・比較を今後行うことができる。
  論文  参考訳（メタデータ） (2023-05-23T10:39:57Z)
• Towards Complex Document Understanding By Discrete Reasoning [77.91722463958743]
  VQA(Document Visual Question Answering)は、自然言語による質問に答えるために、視覚的に豊富なドキュメントを理解することを目的としている。 我々は3,067の文書ページと16,558の質問応答ペアからなる新しいドキュメントVQAデータセットTAT-DQAを紹介する。 我々は,テキスト,レイアウト,視覚画像など,多要素の情報を考慮に入れたMHSTという新しいモデルを開発し,異なるタイプの質問にインテリジェントに対処する。
  論文  参考訳（メタデータ） (2022-07-25T01:43:19Z)
• FETILDA: An Effective Framework For Fin-tuned Embeddings For Long Financial Text Documents [14.269860621624394]
  本稿では,長い文書をチャンクに分割し,事前学習したLMを用いてチャンクをベクトル表現に処理・集約するディープラーニングフレームワークを提案し,実装する。 我々は、米国銀行からの10-Kの公開開示レポートの収集と、米国企業が提出した別のレポートのデータセットについて、我々の枠組みを評価した。
  論文  参考訳（メタデータ） (2022-06-14T16:14:14Z)
• FinQA: A Dataset of Numerical Reasoning over Financial Data [52.7249610894623]
  我々は、大量の財務文書の分析を自動化することを目的として、財務データに関する深い質問に答えることに重点を置いている。 我々は,金融専門家が作成した財務報告に対して質問回答のペアを用いた,新たな大規模データセットFinQAを提案する。 その結果、人気があり、大規模で、事前訓練されたモデルは、金融知識を得るための専門的な人間には程遠いことが示される。
  論文  参考訳（メタデータ） (2021-09-01T00:08:14Z)
• Explaining Relationships Between Scientific Documents [55.23390424044378]
  本稿では,2つの学術文書間の関係を自然言語テキストを用いて記述する課題に対処する。 本稿では154K文書から622Kサンプルのデータセットを作成する。
  論文  参考訳（メタデータ） (2020-02-02T03:54:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。