論文の概要: Query Generation Pipeline with Enhanced Answerability Assessment for Financial Information Retrieval

• arxiv url: http://arxiv.org/abs/2511.05000v1
• Date: Fri, 07 Nov 2025 06:06:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-10 21:00:44.687557
• Title: Query Generation Pipeline with Enhanced Answerability Assessment for Financial Information Retrieval
• Title（参考訳）: 財務情報検索のための解答可能性向上型クエリ生成パイプライン
• Authors: Hyunkyu Kim, Yeeun Yoo, Youngjun Kwak,
• Abstract要約: 既存のベンチマークでは、現実世界のバンキングシナリオの複雑なドメイン固有の情報要求をキャプチャできない。 LLMに基づくクエリ生成により、ドメイン固有のIRベンチマークを構築するための体系的手法を提案する。 実験の結果,既存の検索モデルはKoBankIRの複雑なマルチドキュメントクエリと競合することがわかった。
• 参考スコア（独自算出の注目度）: 1.6109077391631914
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As financial applications of large language models (LLMs) gain attention, accurate Information Retrieval (IR) remains crucial for reliable AI services. However, existing benchmarks fail to capture the complex and domain-specific information needs of real-world banking scenarios. Building domain-specific IR benchmarks is costly and constrained by legal restrictions on using real customer data. To address these challenges, we propose a systematic methodology for constructing domain-specific IR benchmarks through LLM-based query generation. As a concrete implementation of this methodology, our pipeline combines single and multi-document query generation with an enhanced and reasoning-augmented answerability assessment method, achieving stronger alignment with human judgments than prior approaches. Using this methodology, we construct KoBankIR, comprising 815 queries derived from 204 official banking documents. Our experiments show that existing retrieval models struggle with the complex multi-document queries in KoBankIR, demonstrating the value of our systematic approach for domain-specific benchmark construction and underscoring the need for improved retrieval techniques in financial domains.
• Abstract（参考訳）: 大規模言語モデル(LLM)の財務的応用が注目されるにつれて、信頼できるAIサービスには、正確な情報検索(IR)が不可欠である。 しかし、既存のベンチマークでは、現実世界のバンキングシナリオの複雑でドメイン固有の情報要求を捉えられません。 ドメイン固有のIRベンチマークの構築は、実際の顧客データの使用に関する法的制約によって費用がかかり制約される。 これらの課題に対処するため、LLMベースのクエリ生成により、ドメイン固有のIRベンチマークを構築するための体系的手法を提案する。 本手法の具体的実装として,本パイプラインでは,単文書クエリ生成と多文書クエリ生成と拡張的,推論的応答性評価を併用し,従来のアプローチよりも人的判断との整合性を向上する。 この手法を用いて,204の公式銀行文書から抽出した815のクエリからなるKoBankIRを構築した。 本実験は,既存の検索モデルがKoBankIRの複雑なマルチドキュメントクエリと競合することを示し,ドメイン固有のベンチマーク構築に対する体系的アプローチの価値を実証し,金融ドメインにおける検索技術の改善の必要性を裏付けるものである。

関連論文リスト

• Enhancing Financial RAG with Agentic AI and Multi-HyDE: A Novel Approach to Knowledge Retrieval and Hallucination Reduction [0.5814806132299305]
  我々は、金融レトリヴァル強化世代(RAG)のための枠組みを導入する。 RAGは、大規模で構造化された財務コーパスからの検索の有効性とカバレッジを高めるために、複数の無意味なクエリを生成する。 私たちのパイプラインはトークン効率と多段階の財務推論に最適化されています。
  論文  参考訳（メタデータ） (2025-09-19T19:24:30Z)
• Multi-Modal Requirements Data-based Acceptance Criteria Generation using LLMs [17.373348983049176]
  マルチモーダル要求データから受け入れ基準を生成する新しい手法であるRAGcceptance M2REを提案する。 提案手法は,手作業の労力を効果的に削減し,未払いの利害関係者の意図を捉え,貴重な基準を提供する。 本研究は,ソフトウェア検証プロセスの合理化と開発効率の向上におけるマルチモーダルRAG技術の可能性を明らかにする。
  論文  参考訳（メタデータ） (2025-08-09T08:35:40Z)
• FinAgentBench: A Benchmark Dataset for Agentic Retrieval in Financial Question Answering [57.18367828883773]
  FinAgentBenchは、ファイナンスにおける多段階推論によるエージェント検索を評価するためのベンチマークである。 このベンチマークは、S&P-500上場企業に関する26Kのエキスパートアノテート例から成っている。 我々は,最先端モデルの集合を評価し,対象の微調整がエージェント検索性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2025-08-07T22:15:22Z)
• FinDER: Financial Dataset for Question Answering and Evaluating Retrieval-Augmented Generation [65.04104723843264]
  ファイナンスにおけるRetrieval-Augmented Generation(RAG)に適したエキスパート生成データセットであるFinDERを提案する。 FinDERは、ドメインの専門家による検索関連証拠の注釈付けに重点を置いており、5,703のクエリ・エビデンス・アンサー・トリプルを提供している。 大きなコーパスから関連する情報を取得するためにモデルに挑戦することで、FinDERはRAGシステムを評価するためのより現実的なベンチマークを提供する。
  論文  参考訳（メタデータ） (2025-04-22T11:30:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。