論文の概要: FinDER: Financial Dataset for Question Answering and Evaluating Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2504.15800v2
• Date: Wed, 23 Apr 2025 07:49:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:52.784366
• Title: FinDER: Financial Dataset for Question Answering and Evaluating Retrieval-Augmented Generation
• Title（参考訳）: FinDER: 質問応答のための財務データと検索強化世代の評価
• Authors: Chanyeol Choi, Jihoon Kwon, Jaeseon Ha, Hojun Choi, Chaewoon Kim, Yongjae Lee, Jy-yong Sohn, Alejandro Lopez-Lira,
• Abstract要約: ファイナンスにおけるRetrieval-Augmented Generation(RAG)に適したエキスパート生成データセットであるFinDERを提案する。 FinDERは、ドメインの専門家による検索関連証拠の注釈付けに重点を置いており、5,703のクエリ・エビデンス・アンサー・トリプルを提供している。 大きなコーパスから関連する情報を取得するためにモデルに挑戦することで、FinDERはRAGシステムを評価するためのより現実的なベンチマークを提供する。
• 参考スコア（独自算出の注目度）: 63.55583665003167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the fast-paced financial domain, accurate and up-to-date information is critical to addressing ever-evolving market conditions. Retrieving this information correctly is essential in financial Question-Answering (QA), since many language models struggle with factual accuracy in this domain. We present FinDER, an expert-generated dataset tailored for Retrieval-Augmented Generation (RAG) in finance. Unlike existing QA datasets that provide predefined contexts and rely on relatively clear and straightforward queries, FinDER focuses on annotating search-relevant evidence by domain experts, offering 5,703 query-evidence-answer triplets derived from real-world financial inquiries. These queries frequently include abbreviations, acronyms, and concise expressions, capturing the brevity and ambiguity common in the realistic search behavior of professionals. By challenging models to retrieve relevant information from large corpora rather than relying on readily determined contexts, FinDER offers a more realistic benchmark for evaluating RAG systems. We further present a comprehensive evaluation of multiple state-of-the-art retrieval models and Large Language Models, showcasing challenges derived from a realistic benchmark to drive future research on truthful and precise RAG in the financial domain.
• Abstract（参考訳）: 急成長する金融分野において、正確かつ最新の情報は、進化を続ける市場の状況に対処するために不可欠である。 この情報を正しく取得することは、多くの言語モデルがこの領域の事実的正確性に苦しむため、財務質問応答(QA)において不可欠である。 ファイナンスにおけるRetrieval-Augmented Generation(RAG)に適したエキスパート生成データセットであるFinDERを提案する。 定義済みのコンテキストを提供し、比較的明確で簡単なクエリに依存する既存のQAデータセットとは異なり、FinDERはドメインの専門家による検索関連エビデンスアノテートに焦点を当て、現実世界の財務調査から派生した5,703のクエリエビデンス・アンサートリプを提供する。 これらのクエリには、しばしば略語、頭字語、簡潔な表現が含まれ、プロの現実的な検索行動に共通する簡潔さと曖昧さを捉えている。 簡単に決定できるコンテキストに頼るのではなく、大きなコーパスから関連する情報を検索するモデルに挑戦することで、FinDERはRAGシステムを評価するためのより現実的なベンチマークを提供する。 さらに,複数の最先端検索モデルと大規模言語モデルの包括的評価を行い,金融分野における真正かつ正確なRAGの研究を促進するために,現実的なベンチマークから得られた課題を示す。

関連論文リスト

• FinSage: A Multi-aspect RAG System for Financial Filings Question Answering [7.7513659534623605]
  FinSageはマルチモーダルな事前処理パイプラインで、多様なデータフォーマットを統一し、メタデータの要約を生成する。 実験の結果、FinSageは75人の専門家による質問に対して92.51%の印象的なリコールを達成した。 FinSageは、すでに1200人以上が利用しているオンラインミーティングにおいて、財務的な質問応答エージェントとして成功している。
  論文  参考訳（メタデータ） (2025-04-20T04:58:14Z)
• FinTSB: A Comprehensive and Practical Benchmark for Financial Time Series Forecasting [58.70072722290475]
  ファイナンシャル・タイム・シリーズ(FinTS)は、人間の脳を増強した意思決定の行動を記録する。 FinTSBは金融時系列予測のための総合的で実用的なベンチマークである。
  論文  参考訳（メタデータ） (2025-02-26T05:19:16Z)
• An Agent Framework for Real-Time Financial Information Searching with Large Language Models [8.260170301368758]
  FinSearchは、金融アプリケーションに特化した新しいエージェントベースの検索フレームワークである。 FinSearch は,(1) ユーザクエリをグラフ表現によって特定のデータソースにマップされた構造化サブクエリに分解する LLM ベースのマルチステップ検索プリプランナ,(2) ユーザクエリからの時間コンテキストに基づいて情報関連性を優先する時間重み付け機構,の4つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2024-12-14T07:26:39Z)
• SEC-QA: A Systematic Evaluation Corpus for Financial QA [12.279234447220155]
  既存のデータセットは、多くの場合、サイズ、コンテキスト、実用的なアプリケーションとの関連性によって制約される。 2つの重要な特徴を持つ継続的データセット生成フレームワークであるSEC-QAを提案する。 本稿では,複雑な情報検索と定量的推論パイプラインの実行能力を向上させるプログラム・オブ・思想に基づくQAシステムを提案する。
  論文  参考訳（メタデータ） (2024-06-20T15:12:41Z)
• AlphaFin: Benchmarking Financial Analysis with Retrieval-Augmented Stock-Chain Framework [48.3060010653088]
  我々はAlphaFinデータセットをリリースし、従来の研究データセット、リアルタイム財務データ、手書きのチェーン・オブ・プリート(CoT)データを組み合わせています。 次に、AlphaFinデータセットを使用して、金融分析タスクを効果的に処理するために、Stock-Chainと呼ばれる最先端の手法をベンチマークします。
  論文  参考訳（メタデータ） (2024-03-19T09:45:33Z)
• FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
  FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。 FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
  論文  参考訳（メタデータ） (2024-02-20T02:16:16Z)
• PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance [63.51545277822702]
  PIXIUは、命令データ付き微調整LLaMAに基づく最初の金融大規模言語モデル(LLM)を含む包括的なフレームワークである。 我々はLLaMAを細調整してFinMAを提案する。 我々は、FinMAと既存のLLMを詳細に分析し、重要な財政課題に対処する際の長所と短所を明らかにする。
  論文  参考訳（メタデータ） (2023-06-08T14:20:29Z)
• REFinD: Relation Extraction Financial Dataset [7.207699035400335]
  提案するREFinDは,$sim$29Kのインスタンスと8種類のエンティティペア間の22のリレーションを持つ,最初の大規模アノテートされた関係データセットである。 様々な最先端ディープラーニングモデルが,数値推論,関係性,方向性のあいまいさに悩まされていることを観察した。
  論文  参考訳（メタデータ） (2023-05-22T22:40:11Z)
• FinQA: A Dataset of Numerical Reasoning over Financial Data [52.7249610894623]
  我々は、大量の財務文書の分析を自動化することを目的として、財務データに関する深い質問に答えることに重点を置いている。 我々は,金融専門家が作成した財務報告に対して質問回答のペアを用いた,新たな大規模データセットFinQAを提案する。 その結果、人気があり、大規模で、事前訓練されたモデルは、金融知識を得るための専門的な人間には程遠いことが示される。
  論文  参考訳（メタデータ） (2021-09-01T00:08:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。