論文の概要: SMARTFinRAG: Interactive Modularized Financial RAG Benchmark
- arxiv url: http://arxiv.org/abs/2504.18024v1
- Date: Fri, 25 Apr 2025 02:29:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:53.613429
- Title: SMARTFinRAG: Interactive Modularized Financial RAG Benchmark
- Title（参考訳）: SMARTFinRAG:インタラクティブなモジュール化金融RAGベンチマーク
- Authors: Yiwei Zha,
- Abstract要約: 金融セクターは、言語モデル技術を急速に採用しているが、この領域で専門的なRAGシステムを評価することは依然として困難である。
本稿では、SMARTFinRAGについて、1)実行時に動的にコンポーネントを交換できる完全にモジュール化されたアーキテクチャ、2)新たに摂取した財務文書からドメイン固有のQAペアを生成する文書中心評価パラダイム、3)調査実装の分割を記述した直感的なインターフェース、の3つの重要なギャップに対処する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Financial sectors are rapidly adopting language model technologies, yet evaluating specialized RAG systems in this domain remains challenging. This paper introduces SMARTFinRAG, addressing three critical gaps in financial RAG assessment: (1) a fully modular architecture where components can be dynamically interchanged during runtime; (2) a document-centric evaluation paradigm generating domain-specific QA pairs from newly ingested financial documents; and (3) an intuitive interface bridging research-implementation divides. Our evaluation quantifies both retrieval efficacy and response quality, revealing significant performance variations across configurations. The platform's open-source architecture supports transparent, reproducible research while addressing practical deployment challenges faced by financial institutions implementing RAG systems.
- Abstract（参考訳）: 金融セクターは、言語モデル技術を急速に採用しているが、この領域で専門的なRAGシステムを評価することは依然として困難である。
本稿では、SMARTFinRAGについて、1)実行時に動的にコンポーネントを交換できる完全にモジュール化されたアーキテクチャ、2)新たに摂取した財務文書からドメイン固有のQAペアを生成する文書中心評価パラダイム、3)調査実装の分割を記述した直感的なインターフェース、の3つの重要なギャップに対処する。
本評価では, 検索効率と応答品質の両面を定量化し, 構成に有意な性能変化が認められた。
プラットフォームのオープンソースアーキテクチャは、透過的で再現可能な研究をサポートし、RAGシステムを実装する金融機関が直面している実践的な展開課題に対処する。
関連論文リスト
- FinDER: Financial Dataset for Question Answering and Evaluating Retrieval-Augmented Generation [63.55583665003167]
ファイナンスにおけるRetrieval-Augmented Generation(RAG)に適したエキスパート生成データセットであるFinDERを提案する。
FinDERは、ドメインの専門家による検索関連証拠の注釈付けに重点を置いており、5,703のクエリ・エビデンス・アンサー・トリプルを提供している。
大きなコーパスから関連する情報を取得するためにモデルに挑戦することで、FinDERはRAGシステムを評価するためのより現実的なベンチマークを提供する。
論文 参考訳（メタデータ） (2025-04-22T11:30:13Z) - DianJin-R1: Evaluating and Enhancing Financial Reasoning in Large Language Models [13.567516575993546]
金融分野における大規模言語モデル(LLM)の推論強化フレームワークであるDianJin-R1を提案する。
我々のアプローチの中心は、CFLUE、FinQA、および独自コンプライアンスコーパス(中国コンプライアンスチェック、CCC)から構築された高品質なデータセットであるDianJin-R1-Dataである。
我々のモデルであるDianJin-R1-7BとDianJin-R1-32Bは、Qwen2.5-7B-InstructとQwen2.5-32B-Instructから、推論ステップと最終回答の両方を生成する構造化形式を用いて微調整される。
論文 参考訳（メタデータ） (2025-04-22T09:01:04Z) - FinSage: A Multi-aspect RAG System for Financial Filings Question Answering [7.7513659534623605]
FinSageはマルチモーダルな事前処理パイプラインで、多様なデータフォーマットを統一し、メタデータの要約を生成する。
実験の結果、FinSageは75人の専門家による質問に対して92.51%の印象的なリコールを達成した。
FinSageは、すでに1200人以上が利用しているオンラインミーティングにおいて、財務的な質問応答エージェントとして成功している。
論文 参考訳（メタデータ） (2025-04-20T04:58:14Z) - A Survey on (M)LLM-Based GUI Agents [62.57899977018417]
グラフィカルユーザインタフェース (GUI) エージェントは、人間とコンピュータのインタラクションにおいて、トランスフォーメーションパラダイムとして登場した。
大規模言語モデルとマルチモーダル学習の最近の進歩は、デスクトップ、モバイル、Webプラットフォーム全体でGUI自動化に革命をもたらした。
本調査では, 正確な要素位置決定, 効果的な知識検索, 長期計画, 安全に配慮した実行制御など, 重要な技術的課題を明らかにする。
論文 参考訳（メタデータ） (2025-03-27T17:58:31Z) - A Survey on Post-training of Large Language Models [185.51013463503946]
大規模言語モデル(LLM)は、自然言語処理を根本的に変革し、会話システムから科学的探索まで、さまざまな領域で欠かせないものにしている。
これらの課題は、制限された推論能力、倫理的不確実性、最適なドメイン固有のパフォーマンスといった欠点に対処するために、先進的な訓練後言語モデル(PoLM)を必要とする。
本稿では,5つのコアパラダイムにまたがるPoLMの進化を体系的に追跡する,最初の包括的調査について述べる。
論文 参考訳（メタデータ） (2025-03-08T05:41:42Z) - FinTSB: A Comprehensive and Practical Benchmark for Financial Time Series Forecasting [58.70072722290475]
ファイナンシャル・タイム・シリーズ(FinTS)は、人間の脳を増強した意思決定の行動を記録する。
FinTSBは金融時系列予測のための総合的で実用的なベンチマークである。
論文 参考訳（メタデータ） (2025-02-26T05:19:16Z) - FinMTEB: Finance Massive Text Embedding Benchmark [18.990655668481075]
金融分野向けに設計されたMTEBに特化して開発されたFinMTEB(FinMTEB)について紹介する。
FinMTEBは、7つのタスクにまたがる64の金融ドメイン固有の埋め込みデータセットで構成されている。
1)汎用ベンチマークのパフォーマンスは,金融ドメインタスクとの相関が限定されていること,(2)ドメイン適応モデルの方が汎用タスクより一貫して優れていること,(3)意外なことに,単純なBag-of-Wordsアプローチは,金融セマンティックテクスチャ類似タスクにおける高度に密着した埋め込みよりも優れていること,の3つの重要な結果を示す。
論文 参考訳（メタデータ） (2025-02-16T04:23:52Z) - Multi-Reranker: Maximizing performance of retrieval-augmented generation in the FinanceRAG challenge [5.279257531335345]
本稿では,ACM-ICAIF '24 FinanceRAGコンペティションのための,高性能で財務特化度の高いRetrieval-Augmented Generation(RAG)システムの開発について述べる。
我々は,検索前段階におけるクエリ拡張とコーパスの洗練に関するアブレーション研究を通じて,性能を最適化した。
特に,生成フェーズの長いコンテキストサイズを管理するための効率的な手法を導入し,性能を犠牲にすることなく応答品質を大幅に改善した。
論文 参考訳（メタデータ） (2024-11-23T09:56:21Z) - Enhancing the Efficiency and Accuracy of Underlying Asset Reviews in Structured Finance: The Application of Multi-agent Framework [3.022596401099308]
AIは、ローンアプリケーションと銀行のステートメント間の情報の検証を効果的に自動化できることを示します。
この研究は、手動エラーを最小限に抑え、デューディリジェンスを合理化するAIの可能性を強調し、財務文書分析とリスク管理におけるAIの幅広い応用を示唆している。
論文 参考訳（メタデータ） (2024-05-07T13:09:49Z) - FinBen: A Holistic Financial Benchmark for Large Language Models [75.09474986283394]
FinBenは、24の財務タスクにまたがる36のデータセットを含む、最初の大規模なオープンソース評価ベンチマークである。
FinBenは、幅広いタスクとデータセット、ストックトレーディングの最初の評価、新しいエージェントと検索可能な生成(RAG)の評価、およびテキスト要約、質問応答、株式トレーディングのための3つの新しいオープンソース評価データセットを提供する。
論文 参考訳（メタデータ） (2024-02-20T02:16:16Z) - FinQA: A Dataset of Numerical Reasoning over Financial Data [52.7249610894623]
我々は、大量の財務文書の分析を自動化することを目的として、財務データに関する深い質問に答えることに重点を置いている。
我々は,金融専門家が作成した財務報告に対して質問回答のペアを用いた,新たな大規模データセットFinQAを提案する。
その結果、人気があり、大規模で、事前訓練されたモデルは、金融知識を得るための専門的な人間には程遠いことが示される。
論文 参考訳（メタデータ） (2021-09-01T00:08:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。