論文の概要: FinRiskAtlas: Decision-Aligned Evaluation of Large Language Models for Financial Risk Review
- arxiv url: http://arxiv.org/abs/2608.25325v1
- Date: Wed, 26 Aug 2026 03:13:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.54646
- Title: FinRiskAtlas: Decision-Aligned Evaluation of Large Language Models for Financial Risk Review
- Title（参考訳）: FinRiskAtlas:金融リスクレビューのための大規模言語モデルの意思決定型評価
- Abstract要約: 2つの相補的な次元に沿って財務LLMを評価する中国語のベンチマークであるFinRiskAtlasを紹介する。
このフレームワークは、104の特定されていないプロの軌跡から680のプレアクション状態のオフライン再生を通じて拡張する。
FinRisk-Askは、Askブランチをより頻繁に入力することは、要求ターゲティングやエンドツーエンドのエビデンス獲得を改善するとは限らないことを示している。
- 参考スコア（独自算出の注目度）: 25.300288794507377
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deploying large language models for professional financial review requires more than measuring general financial competence: models must perform the specific review operation required by a workflow and determine whether available evidence is sufficient for a defensible decision. Existing financial benchmarks cover knowledge, reasoning, compliance, and professional tasks, but their evaluation units are often organized around datasets or task formulations rather than the decisions that deployed systems support. We introduce FinRiskAtlas, a Chinese-language benchmark that evaluates financial LLMs along two complementary dimensions: operation execution under fixed evidence states and evidence-state control under evolving review conditions. The static benchmark contains 9,742 instances across 53 task families, including 42 Domain Knowledge families and eleven downstream review operations defined by explicit evaluation contracts. FinRisk-Ask extends this framework through offline replay of 680 pre-action states from 104 de-identified professional trajectories, withholding future evidence during inference and using it only to construct expert-verified evidence targets. Across 33 model configurations, operation-level evaluation yields non-redundant rankings (mean pairwise Spearman correlation 0.42 across downstream operations), and knowledge-based shortlisting can incur up to 18.01 points of regret on individual operations. FinRisk-Ask further shows that entering the Ask branch more frequently does not necessarily improve request targeting or end-to-end evidence acquisition. These results show that broad financial capability scores do not fully capture where models are reliable in professional workflows, motivating evaluation units aligned with the decisions and evidence states that deployed systems must support.
- Abstract（参考訳）: プロフェッショナルな財務調査のために大きな言語モデルをデプロイするには、一般的な財務能力を測定する以上のことが必要です。
既存の金融ベンチマークでは、知識、推論、コンプライアンス、専門的なタスクがカバーされているが、その評価ユニットは、デプロイされたシステムをサポートする決定よりも、データセットやタスクの定式化を中心に構成されることが多い。
我々はFinRiskAtlasを紹介した。FinRiskAtlasは2つの相補的な次元(固定されたエビデンス状態下での運用実行と、進化するレビュー条件下でのエビデンス状態制御)に沿って金融LLMを評価する中国語のベンチマークである。
静的ベンチマークには、53のタスクファミリーにわたる9,742のインスタンスが含まれており、その中には42のドメイン知識ファミリーと、明示的な評価契約によって定義された11のダウンストリームレビュー操作が含まれている。
FinRisk-Askはこのフレームワークを、104の特定されていないプロの軌道から680の事前行動状態のオフライン再生を通じて拡張し、推論中に将来の証拠を保持し、専門家が検証した証拠ターゲットを構築するためにのみ使用する。
33のモデル構成で、操作レベルの評価では、非冗長なランキング(平均ペアワイドのスピアマン相関0.12)が得られ、知識ベースのショートリストは個々の操作で最大18.01ポイントの後悔を招きかねない。
FinRisk-Askはさらに、Askブランチをより頻繁に入力することは、要求ターゲティングやエンドツーエンドのエビデンス獲得を必ずしも改善しないことを示している。
これらの結果は、プロのワークフローにおいてモデルが信頼できる場所を十分に把握していないことを示し、評価ユニットを判断とエビデンスに合わせる動機付け、デプロイされたシステムがサポートしなければならないことを示す。
関連論文リスト
- BigFinanceBench: A Workflow-Grounded Benchmark for Financial-Research Agents [5.690389797295356]
BigFinanceBenchは、オープンエンドの粗悪な財務調査タスクの928項目のベンチマークである。
導出を独立にチェック可能なステップに分解する。
アナリストワークフロー全体にわたって、部分クレジット評価と障害のローカライズをサポートする。
論文 参考訳（メタデータ） (2026-06-02T16:12:34Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - FINESSE-Bench: A Hierarchical Benchmark Suite for Financial Domain Knowledge and Technical Analysis in Large Language Models [0.33504916505452914]
FINESSE-Benchは、大規模言語モデルにおける金融能力の階層的評価のための3,993の質問を含む8つの特別なベンチマークスイートである。
複数質問、数値回答、短いオープンエンド応答を含む統一評価プロトコルについて述べる。
論文 参考訳（メタデータ） (2026-05-14T23:53:51Z) - Herculean: An Agentic Benchmark for Financial Intelligence [114.33879935277217]
代表的な4つのスキルセットにまたがるエージェント金融インテリジェンスのための最初の熟練したベンチマークであるHerculeanを紹介します。
フェデラーエージェント全体では、TradingやMarket Insightsではエージェントが比較的うまく機能するが、HedgingやAuditingではかなり苦労している。
全体としては、財務的推論を信頼性のあるワークフロー実行に変換する上で、現在のエージェントに重要なギャップがあることを示している。
論文 参考訳（メタデータ） (2026-05-14T04:30:49Z) - SAHM: A Benchmark for Arabic Financial and Shari'ah-Compliant Reasoning [59.20983102634086]
アラビア財務NLPとシャリヤ対応推論のための文書グラウンドベンチマークと命令チューニングデータセットであるSAHMを紹介する。
SAHMには、AAOIFI標準QA、fatwaベースのQA/MCQ、会計とビジネス試験、財務感情分析、抽出要約、イベント起因推論の7つのタスクにまたがる14,380のエキスパート認定インスタンスが含まれている。
アラビア語の流布は、証拠を根拠とした金銭的推論に確実に変換されない。
論文 参考訳（メタデータ） (2026-04-21T05:24:08Z) - Fact4ac at the Financial Misinformation Detection Challenge Task: Reference-Free Financial Misinformation Detection via Fine-Tuning and Few-Shot Prompting of Large Language Models [4.8239913268889]
本稿では,「参照自由な財務誤情報検出」タスクの獲得手法について述べる。
本稿では,最先端の大規模言語モデルの推論能力を活かした包括的フレームワークを提案する。
提案方式は優れた有効性を示し,両公式リーダーボードのランキング1位を確保できた。
論文 参考訳（メタデータ） (2026-04-16T05:38:58Z) - Evaluating LLMs in Finance Requires Explicit Bias Consideration [88.38155218924999]
ファイナンス固有のバイアスは、パフォーマンスを低下させ、バックテストを汚染し、報告された結果をデプロイメントのクレームに役に立たないものにする。
一つのバイアスが28%以上の研究で議論されることはない。
本稿では,バイアス診断と将来のシステム設計のための最小限の要件を満たす構造的妥当性フレームワークと評価チェックリストを提案する。
論文 参考訳（メタデータ） (2026-02-15T17:02:01Z) - PRBench: Large-Scale Expert Rubrics for Evaluating High-Stakes Professional Reasoning [18.32501228579171]
Professional Reasoning Bench (PRBench) は、ファイナンス・アンド・ローにおける現実的な問題の現実的で、オープンで、困難なベンチマークである。
私たちは1,100人の専門家によるタスクと19,356人の専門家による基準をオープンソース化しました。
論文 参考訳（メタデータ） (2025-11-14T18:55:12Z) - Evaluating Large Language Models for Financial Reasoning: A CFA-Based Benchmark Study [1.6770212301915661]
本研究は,CFAのレベルI-IIIにおける公式モック試験から得られた1,560件のマルチチョイス質問を用いて,最先端LCMの総合評価を行った最初の事例である。
主設計上の優先事項として,マルチモーダル・計算能力,推論・特殊化・高精度化,軽量な効率最適化といったモデルを比較した。
論文 参考訳（メタデータ） (2025-08-29T06:13:21Z) - FinAgentBench: A Benchmark Dataset for Agentic Retrieval in Financial Question Answering [57.18367828883773]
FinAgentBenchは、ファイナンスにおける多段階推論によるエージェント検索を評価するためのベンチマークである。
このベンチマークは、S&P-500上場企業に関する26Kのエキスパートアノテート例から成っている。
我々は,最先端モデルの集合を評価し,対象の微調整がエージェント検索性能を大幅に向上することを示す。
論文 参考訳（メタデータ） (2025-08-07T22:15:22Z) - FinDER: Financial Dataset for Question Answering and Evaluating Retrieval-Augmented Generation [65.04104723843264]
ファイナンスにおけるRetrieval-Augmented Generation(RAG)に適したエキスパート生成データセットであるFinDERを提案する。
FinDERは、ドメインの専門家による検索関連証拠の注釈付けに重点を置いており、5,703のクエリ・エビデンス・アンサー・トリプルを提供している。
大きなコーパスから関連する情報を取得するためにモデルに挑戦することで、FinDERはRAGシステムを評価するためのより現実的なベンチマークを提供する。
論文 参考訳（メタデータ） (2025-04-22T11:30:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。