論文の概要: Rethinking Retrieval: From Traditional Retrieval Augmented Generation to Agentic and Non-Vector Reasoning Systems in the Financial Domain for Large Language Models
- arxiv url: http://arxiv.org/abs/2511.18177v1
- Date: Sat, 22 Nov 2025 20:06:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-25 18:34:24.673237
- Title: Rethinking Retrieval: From Traditional Retrieval Augmented Generation to Agentic and Non-Vector Reasoning Systems in the Financial Domain for Large Language Models
- Title(参考訳): Retrievalの再考: 大規模言語モデルのための金融領域における従来のRetrieval Augmented Generationからエージェントおよび非ベクトル推論システムへ
- Abstract要約: 本稿では,ベクトルベースエージェントRAGをハイブリッド検索とメタデータフィルタリングを用いて比較した最初の体系的評価を行う。
検索指標(MRR, Recall@5), LLM-as-a-judgeのペア比較, レイテンシ, 前処理コストを計測する。
以上の結果から,金融Q&Aシステムに先進的なRAG技術を適用することにより,検索精度,回答品質が向上し,生産における費用対効果のトレードオフが考慮されることが明らかとなった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advancements in Retrieval-Augmented Generation (RAG) have enabled Large Language Models to answer financial questions using external knowledge bases of U.S. SEC filings, earnings reports, and regulatory documents. However, existing work lacks systematic comparison of vector-based and non-vector RAG architectures for financial documents, and the empirical impact of advanced RAG techniques on retrieval accuracy, answer quality, latency, and cost remain unclear. We present the first systematic evaluation comparing vector-based agentic RAG using hybrid search and metadata filtering against hierarchical node-based systems that traverse document structure without embeddings. We evaluate two enhancement techniques applied to the vector-based architecture, i) cross-encoder reranking for retrieval precision, and ii) small-to-big chunk retrieval for context completeness. Across 1,200 SEC 10-K, 10-Q, and 8-K filings on a 150-question benchmark, we measure retrieval metrics (MRR, Recall@5), answer quality through LLM-as-a-judge pairwise comparisons, latency, and preprocessing costs. Vector-based agentic RAG achieves a 68% win rate over hierarchical node-based systems with comparable latency (5.2 compared to 5.98 seconds). Cross-encoder reranking achieves a 59% absolute improvement at optimal parameters (10, 5) for MRR@5. Small-to-big retrieval achieves a 65% win rate over baseline chunking with only 0.2 seconds additional latency. Our findings reveal that applying advanced RAG techniques to financial Q&A systems improves retrieval accuracy, answer quality, and has cost-performance tradeoffs to be considered in production.
- Abstract(参考訳): Retrieval-Augmented Generation (RAG) の最近の進歩により、大規模言語モデルは、米国証券取引委員会(SEC)の申請書、決算報告、および規制文書の外部知識ベースを使用して、金銭的問題に答えることができるようになった。
しかし,既存の文書ではベクトルベースと非ベクトルRAGアーキテクチャの体系的比較が欠如しており,検索精度,応答品質,レイテンシ,コストに対する高度なRAG手法の実証的影響はいまだ不明である。
本稿では, 文書構造を組込せずに横断する階層型ノードベースシステムに対して, ハイブリッド検索とメタデータフィルタリングを用いて, ベクトルベースエージェントRAGを比較した最初の体系的評価を行う。
ベクトルベースアーキテクチャに適用した2つの拡張手法を評価する。
一 検索精度を優先するクロスエンコーダ
二 文脈完全性のための小さいから大きいチャンク検索
1200 SEC 10-K, 10-Q, 8-K の 150-question のベンチマークでは,検索指標 (MRR, Recall@5), LLM-as-a-judge のペア比較による回答品質,レイテンシ,前処理コストを計測した。
ベクトルベースのエージェントRAGは、レイテンシ(5.98秒に比べて5.2秒)の階層的なノードベースシステムよりも68%の勝利率を達成する。
クロスエンコーダは MRR@5 に対して最適パラメータ (10, 5) で 59% の絶対改善を達成している。
小さいから大きな検索では、ベースラインチャンクよりも65%の勝利率を実現し、0.2秒追加のレイテンシを実現している。
以上の結果から,金融Q&Aシステムに先進的なRAG技術を適用することにより,検索精度,回答品質が向上し,生産における費用対効果のトレードオフが考慮されることが明らかとなった。
関連論文リスト
- A Comprehensive Empirical Evaluation of Vector Database Systems for Approximate Nearest Neighbor Search: Performance, Quality, and Resource Trade-offs [0.0]
FAISS, Qdrant, Milvus, Weaviate, Chroma, pgvector, LanceDBの7つのベクトルデータベースシステムを評価した。
提案手法は,従来のコンピュータビジョン記述子からトランスフォーマーベースのテキスト埋め込みに至るまで,6つの多様なデータセットにまたがる。
我々は,実践者のためのシステム選択ガイドラインを導き,ベンチマークフレームワークをオープンソースソフトウェアとしてリリースする。
論文 参考訳(メタデータ) (2026-08-13T04:41:43Z) - Graph-Augmented Retrieval for Cross-Entity Financial Sentiment Analysis: A Comparative Study [0.0]
本稿では,クロスエンタリティ財務感情分析のための標準ベクトルのみのベースラインに対して,新しい2ホップグラフ-RAGアーキテクチャを提案する。
本システムでは,主要技術株を対象とするニュース記事255件から,59件のエクイティエンティティの感情重み付き知識グラフを構築し,INFLUENCESエッジ上での強度フィルタリンググラフによる高密度検索を強化した。
論文 参考訳(メタデータ) (2026-05-19T18:55:15Z) - MM-Doc-R1: Training Agents for Long Document Visual Question Answering through Multi-turn Reinforcement Learning [74.07254720088926]
長文の視覚的質問応答に対処するために,エージェント型視覚認識ワークフローを利用する新しいフレームワークMM-Doc-R1を紹介する。
GRPOのような既存のマルチターン強化学習(RL)アルゴリズムにおけるベースライン推定バイアスに対処する、類似性に基づくポリシー最適化(SPO)を提案する。
MMLongbench-Docベンチマークの実験では、MM-Doc-R1が以前のベースラインを10.4%上回る結果となった。
論文 参考訳(メタデータ) (2026-04-15T07:39:08Z) - Adaptive Query Routing: A Tier-Based Framework for Hybrid Retrieval Across Financial, Legal, and Medical Documents [0.0]
Retrieval-Augmented Generation (RAG) は、大規模言語モデルのアウトプットを外部知識で基礎付けるための標準パラダイムとなっている。
本稿では,3つの検索アーキテクチャ – ベクトルRAG,ツリー推論,およびAHR (Adaptive Hybrid Retrieval) を,財務法ドメイン全体にわたって評価することにより,その業務を拡大する。
論文 参考訳(メタデータ) (2026-04-14T10:48:13Z) - Benchmarking Multi-Agent LLM Architectures for Financial Document Processing: A Comparative Study of Orchestration Patterns, Cost-Accuracy Tradeoffs and Production Scaling Strategies [0.0]
財務文書から構造化情報を抽出するための4つのマルチエージェントオーケストレーションアーキテクチャを比較した。
反射的アーキテクチャは、最高フィールドレベルF1(0.943)を達成するが、シーケンシャルベースラインのコストは2.3倍である。
本稿では, セマンティックキャッシング, モデルルーティング, 適応再試行戦略に関するアブレーション研究を行い, ハイブリッド構成により, 反射型アーキテクチャの精度の89%を1.15倍のコストで回収できることを実証した。
論文 参考訳(メタデータ) (2026-03-24T00:02:47Z) - Test-Time Strategies for More Efficient and Accurate Agentic RAG [58.44913384057518]
Retrieval-Augmented Generation (RAG) システムは複雑なマルチホップ問題に直面している。
このような手法は、以前に処理された情報の反復的な検索を含む非効率性を導入することができる。
本稿では,これらの問題を軽減するために,サーチ-R1パイプラインに対するテスト時間修正について検討する。
論文 参考訳(メタデータ) (2026-03-12T19:18:59Z) - Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage [89.58253972744531]
Retrieval-augmented Generation (RAG) システムは、文書検索と生成モデルを組み合わせて、レポート生成のような複雑な情報を求める課題に対処する。
我々は,上流の検索指標が,最終生成応答の情報カバレッジの信頼性の高い早期指標として機能するかどうかを検討する。
本研究は,トピックとシステムレベルの両方で生成した応答におけるカバレッジベース検索指標とナゲットカバレッジとの間に強い相関関係を示した。
論文 参考訳(メタデータ) (2026-03-09T18:20:20Z) - Scaling Retrieval Augmented Generation with RAG Fusion: Lessons from an Industry Deployment [0.0]
Retrieval-Augmented Generation (RAG) システムは一般にドキュメントリコールを改善するために検索融合技術を採用している。
本研究では,企業知識ベース上で運用される実運用型RAGパイプラインにおける検索融合を評価する。
検索融合は生のリコールを増大させるが、再ランク付けと切り離しにより、これらのゲインはほぼ中和される。
論文 参考訳(メタデータ) (2026-03-02T18:15:09Z) - Question Answering for Multi-Release Systems: A Case Study at Ciena [1.3252590516094356]
マルチリリースシステムからのドキュメントに対する質問に対する回答は、異なるリリースが明確に重なり合うドキュメントを持っているため、課題を引き起こします。
マルチリリースシステム文書における最先端質問応答技術の不正確さから,本論文ではQAMRを提案する。
QAMRは、従来の検索拡張生成(RAG)を強化し、異なるリリースのための非常に類似しているが異なるドキュメントに直面した精度を保証する。
論文 参考訳(メタデータ) (2026-01-05T18:44:26Z) - From HNSW to Information-Theoretic Binarization: Rethinking the Architecture of Scalable Vector Search [0.7804710977378487]
本稿では,支配的な"HNSW + float32 + cosine similarity"スタックのアーキテクチャ的制約を分析する。
最大情報二項化(MIB)に基づく代替情報理論アーキテクチャの導入と実証評価を行った。
その結果,完全精度のシステムに匹敵する検索品質を示すとともに,レイテンシを大幅に低減し,高い要求レートで一定のスループットを維持することができた。
論文 参考訳(メタデータ) (2025-12-16T23:24:37Z) - REFRAG: Rethinking RAG based Decoding [67.4862300145604]
REFRAGは効率的なデコードフレームワークで、RAGアプリケーションの遅延を圧縮し、感知し、拡張し、改善する。
本稿では,RAG,マルチターン会話,長期文書要約など,多種多様な長文タスクを対象としたREFRAGの厳密な検証を行う。
論文 参考訳(メタデータ) (2025-09-01T03:31:44Z) - Diagnosing and Addressing Pitfalls in KG-RAG Datasets: Toward More Reliable Benchmarking [63.84117489519164]
知識グラフ質問 回答システムは、複雑なマルチホップ推論を評価するために高品質なベンチマークに依存している。
広く使われているにもかかわらず、WebQSPやCWQのような一般的なデータセットは、重要な品質問題に悩まされている。
我々はこれらの落とし穴を体系的に解決するLLM-in-the-loopフレームワークであるKGQAGenを紹介する。
本研究は,KGQA評価を推し進めるスケーラブルなフレームワークとして,より厳密なベンチマーク構築とKGQAGenの位置づけを提唱する。
論文 参考訳(メタデータ) (2025-05-29T14:44:52Z) - Process vs. Outcome Reward: Which is Better for Agentic RAG Reinforcement Learning [45.10424242207931]
Retrieval-augmented Generation (RAG)は大規模言語モデル(LLM)のテキスト生成能力を向上する
RAG-ProGuideは,クエリ生成,エビデンス抽出,回答生成のためのプロセスレベルの報酬を提供する高品質なデータセットである。
プロセスレベルのポリシー最適化により、提案フレームワークはLLMに対して、検索を自律的に実行し、クエリを生成し、関連する証拠を抽出し、最終的な回答を生成する権限を与える。
論文 参考訳(メタデータ) (2025-05-20T08:21:00Z) - Self-Routing RAG: Binding Selective Retrieval with Knowledge Verbalization [95.85537087475882]
既存のアプローチは、大規模言語モデル(LLM)の固有の知識を過小評価している。
本稿では,選択検索と知識の言語化を結びつける新しいフレームワークであるSelf-Routing RAGを提案する。
SR-RAGは検索回数を29%削減し、性能は5.1%向上した。
論文 参考訳(メタデータ) (2025-04-01T17:59:30Z) - Fast or Better? Balancing Accuracy and Cost in Retrieval-Augmented Generation with Flexible User Control [52.405085773954596]
Retrieval-Augmented Generationは、大規模な言語モデル幻覚を緩和するための強力なアプローチとして登場した。
既存のRAGフレームワークは、しばしば無差別に検索を適用し、非効率な再検索につながる。
本稿では,精度・コストのトレードオフを動的に調整できる新しいユーザ制御可能なRAGフレームワークを提案する。
論文 参考訳(メタデータ) (2025-02-17T18:56:20Z) - MAIN-RAG: Multi-Agent Filtering Retrieval-Augmented Generation [34.66546005629471]
大規模言語モデル(LLM)は、様々な自然言語処理タスクに不可欠なツールであるが、時代遅れや誤った情報の生成に悩まされることが多い。
Retrieval-Augmented Generation (RAG)は、外部のリアルタイム情報検索をLLM応答に組み込むことでこの問題に対処する。
この問題に対処するため,マルチエージェントフィルタ検索検索生成(MAIN-RAG)を提案する。
MAIN-RAGはトレーニング不要なRAGフレームワークで、複数のLCMエージェントを利用して検索した文書のフィルタリングとスコア付けを行う。
論文 参考訳(メタデータ) (2024-12-31T08:07:26Z) - Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。
我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
論文 参考訳(メタデータ) (2024-12-16T19:11:55Z) - METIS: Fast Quality-Aware RAG Systems with Configuration Adaptation [8.56831524622908]
本稿では,クエリを協調的にスケジュールし,各クエリのキーRAG構成を適応させる最初のRAGシステムであるMETISを提案する。
我々は、最先端のRAG最適化方式と比較して、METISは、生成品質を犠牲にすることなく、生成遅延を1.64-2.54times$に削減することを示した。
論文 参考訳(メタデータ) (2024-12-13T20:39:30Z) - Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。
提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。
PubHealthの従来のRAGシステムと比較して、レイテンシを50.83%削減しながら、最大12.97%の精度向上を実現している。
論文 参考訳(メタデータ) (2024-07-11T06:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。