論文の概要: Rethinking Retrieval: From Traditional Retrieval Augmented Generation to Agentic and Non-Vector Reasoning Systems in the Financial Domain for Large Language Models
- arxiv url: http://arxiv.org/abs/2511.18177v1
- Date: Sat, 22 Nov 2025 20:06:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-25 18:34:24.673237
- Title: Rethinking Retrieval: From Traditional Retrieval Augmented Generation to Agentic and Non-Vector Reasoning Systems in the Financial Domain for Large Language Models
- Title（参考訳）: Retrievalの再考: 大規模言語モデルのための金融領域における従来のRetrieval Augmented Generationからエージェントおよび非ベクトル推論システムへ
- Authors: Elias Lumer, Matt Melich, Olivia Zino, Elena Kim, Sara Dieter, Pradeep Honaganahalli Basavaraju, Vamse Kumar Subbiah, James A. Burke, Roberto Hernandez,
- Abstract要約: 本稿では,ベクトルベースエージェントRAGをハイブリッド検索とメタデータフィルタリングを用いて比較した最初の体系的評価を行う。
検索指標(MRR, Recall@5), LLM-as-a-judgeのペア比較, レイテンシ, 前処理コストを計測する。
以上の結果から,金融Q&Aシステムに先進的なRAG技術を適用することにより,検索精度,回答品質が向上し,生産における費用対効果のトレードオフが考慮されることが明らかとなった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advancements in Retrieval-Augmented Generation (RAG) have enabled Large Language Models to answer financial questions using external knowledge bases of U.S. SEC filings, earnings reports, and regulatory documents. However, existing work lacks systematic comparison of vector-based and non-vector RAG architectures for financial documents, and the empirical impact of advanced RAG techniques on retrieval accuracy, answer quality, latency, and cost remain unclear. We present the first systematic evaluation comparing vector-based agentic RAG using hybrid search and metadata filtering against hierarchical node-based systems that traverse document structure without embeddings. We evaluate two enhancement techniques applied to the vector-based architecture, i) cross-encoder reranking for retrieval precision, and ii) small-to-big chunk retrieval for context completeness. Across 1,200 SEC 10-K, 10-Q, and 8-K filings on a 150-question benchmark, we measure retrieval metrics (MRR, Recall@5), answer quality through LLM-as-a-judge pairwise comparisons, latency, and preprocessing costs. Vector-based agentic RAG achieves a 68% win rate over hierarchical node-based systems with comparable latency (5.2 compared to 5.98 seconds). Cross-encoder reranking achieves a 59% absolute improvement at optimal parameters (10, 5) for MRR@5. Small-to-big retrieval achieves a 65% win rate over baseline chunking with only 0.2 seconds additional latency. Our findings reveal that applying advanced RAG techniques to financial Q&A systems improves retrieval accuracy, answer quality, and has cost-performance tradeoffs to be considered in production.
- Abstract（参考訳）: Retrieval-Augmented Generation (RAG) の最近の進歩により、大規模言語モデルは、米国証券取引委員会(SEC)の申請書、決算報告、および規制文書の外部知識ベースを使用して、金銭的問題に答えることができるようになった。
しかし,既存の文書ではベクトルベースと非ベクトルRAGアーキテクチャの体系的比較が欠如しており,検索精度,応答品質,レイテンシ,コストに対する高度なRAG手法の実証的影響はいまだ不明である。
本稿では, 文書構造を組込せずに横断する階層型ノードベースシステムに対して, ハイブリッド検索とメタデータフィルタリングを用いて, ベクトルベースエージェントRAGを比較した最初の体系的評価を行う。
ベクトルベースアーキテクチャに適用した2つの拡張手法を評価する。
一 検索精度を優先するクロスエンコーダ
二 文脈完全性のための小さいから大きいチャンク検索
1200 SEC 10-K, 10-Q, 8-K の 150-question のベンチマークでは,検索指標 (MRR, Recall@5), LLM-as-a-judge のペア比較による回答品質,レイテンシ,前処理コストを計測した。
ベクトルベースのエージェントRAGは、レイテンシ(5.98秒に比べて5.2秒)の階層的なノードベースシステムよりも68%の勝利率を達成する。
クロスエンコーダは MRR@5 に対して最適パラメータ (10, 5) で 59% の絶対改善を達成している。
小さいから大きな検索では、ベースラインチャンクよりも65%の勝利率を実現し、0.2秒追加のレイテンシを実現している。
以上の結果から,金融Q&Aシステムに先進的なRAG技術を適用することにより,検索精度,回答品質が向上し,生産における費用対効果のトレードオフが考慮されることが明らかとなった。
関連論文リスト
- Scaling Retrieval Augmented Generation with RAG Fusion: Lessons from an Industry Deployment [0.0]
Retrieval-Augmented Generation (RAG) システムは一般にドキュメントリコールを改善するために検索融合技術を採用している。
本研究では,企業知識ベース上で運用される実運用型RAGパイプラインにおける検索融合を評価する。
検索融合は生のリコールを増大させるが、再ランク付けと切り離しにより、これらのゲインはほぼ中和される。
論文 参考訳（メタデータ） (2026-03-02T18:15:09Z) - Question Answering for Multi-Release Systems: A Case Study at Ciena [1.3252590516094356]
マルチリリースシステムからのドキュメントに対する質問に対する回答は、異なるリリースが明確に重なり合うドキュメントを持っているため、課題を引き起こします。
マルチリリースシステム文書における最先端質問応答技術の不正確さから,本論文ではQAMRを提案する。
QAMRは、従来の検索拡張生成(RAG)を強化し、異なるリリースのための非常に類似しているが異なるドキュメントに直面した精度を保証する。
論文 参考訳（メタデータ） (2026-01-05T18:44:26Z) - From HNSW to Information-Theoretic Binarization: Rethinking the Architecture of Scalable Vector Search [0.7804710977378487]
本稿では,支配的な"HNSW + float32 + cosine similarity"スタックのアーキテクチャ的制約を分析する。
最大情報二項化(MIB)に基づく代替情報理論アーキテクチャの導入と実証評価を行った。
その結果,完全精度のシステムに匹敵する検索品質を示すとともに,レイテンシを大幅に低減し,高い要求レートで一定のスループットを維持することができた。
論文 参考訳（メタデータ） (2025-12-16T23:24:37Z) - REFRAG: Rethinking RAG based Decoding [67.4862300145604]
REFRAGは効率的なデコードフレームワークで、RAGアプリケーションの遅延を圧縮し、感知し、拡張し、改善する。
本稿では,RAG,マルチターン会話,長期文書要約など,多種多様な長文タスクを対象としたREFRAGの厳密な検証を行う。
論文 参考訳（メタデータ） (2025-09-01T03:31:44Z) - Diagnosing and Addressing Pitfalls in KG-RAG Datasets: Toward More Reliable Benchmarking [63.84117489519164]
知識グラフ質問 回答システムは、複雑なマルチホップ推論を評価するために高品質なベンチマークに依存している。
広く使われているにもかかわらず、WebQSPやCWQのような一般的なデータセットは、重要な品質問題に悩まされている。
我々はこれらの落とし穴を体系的に解決するLLM-in-the-loopフレームワークであるKGQAGenを紹介する。
本研究は,KGQA評価を推し進めるスケーラブルなフレームワークとして,より厳密なベンチマーク構築とKGQAGenの位置づけを提唱する。
論文 参考訳（メタデータ） (2025-05-29T14:44:52Z) - Process vs. Outcome Reward: Which is Better for Agentic RAG Reinforcement Learning [45.10424242207931]
Retrieval-augmented Generation (RAG)は大規模言語モデル(LLM)のテキスト生成能力を向上する
RAG-ProGuideは,クエリ生成,エビデンス抽出,回答生成のためのプロセスレベルの報酬を提供する高品質なデータセットである。
プロセスレベルのポリシー最適化により、提案フレームワークはLLMに対して、検索を自律的に実行し、クエリを生成し、関連する証拠を抽出し、最終的な回答を生成する権限を与える。
論文 参考訳（メタデータ） (2025-05-20T08:21:00Z) - Self-Routing RAG: Binding Selective Retrieval with Knowledge Verbalization [95.85537087475882]
既存のアプローチは、大規模言語モデル(LLM)の固有の知識を過小評価している。
本稿では,選択検索と知識の言語化を結びつける新しいフレームワークであるSelf-Routing RAGを提案する。
SR-RAGは検索回数を29%削減し、性能は5.1%向上した。
論文 参考訳（メタデータ） (2025-04-01T17:59:30Z) - Fast or Better? Balancing Accuracy and Cost in Retrieval-Augmented Generation with Flexible User Control [52.405085773954596]
Retrieval-Augmented Generationは、大規模な言語モデル幻覚を緩和するための強力なアプローチとして登場した。
既存のRAGフレームワークは、しばしば無差別に検索を適用し、非効率な再検索につながる。
本稿では,精度・コストのトレードオフを動的に調整できる新しいユーザ制御可能なRAGフレームワークを提案する。
論文 参考訳（メタデータ） (2025-02-17T18:56:20Z) - MAIN-RAG: Multi-Agent Filtering Retrieval-Augmented Generation [34.66546005629471]
大規模言語モデル(LLM)は、様々な自然言語処理タスクに不可欠なツールであるが、時代遅れや誤った情報の生成に悩まされることが多い。
Retrieval-Augmented Generation (RAG)は、外部のリアルタイム情報検索をLLM応答に組み込むことでこの問題に対処する。
この問題に対処するため,マルチエージェントフィルタ検索検索生成(MAIN-RAG)を提案する。
MAIN-RAGはトレーニング不要なRAGフレームワークで、複数のLCMエージェントを利用して検索した文書のフィルタリングとスコア付けを行う。
論文 参考訳（メタデータ） (2024-12-31T08:07:26Z) - Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。
我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
論文 参考訳（メタデータ） (2024-12-16T19:11:55Z) - METIS: Fast Quality-Aware RAG Systems with Configuration Adaptation [8.56831524622908]
本稿では,クエリを協調的にスケジュールし,各クエリのキーRAG構成を適応させる最初のRAGシステムであるMETISを提案する。
我々は、最先端のRAG最適化方式と比較して、METISは、生成品質を犠牲にすることなく、生成遅延を1.64-2.54times$に削減することを示した。
論文 参考訳（メタデータ） (2024-12-13T20:39:30Z) - Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。
提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。
PubHealthの従来のRAGシステムと比較して、レイテンシを50.83%削減しながら、最大12.97%の精度向上を実現している。
論文 参考訳（メタデータ） (2024-07-11T06:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。