論文の概要: Benchmarks Are Not Validation: A System-Level View of Financial LLM Applications
- arxiv url: http://arxiv.org/abs/2607.28840v1
- Date: Thu, 30 Jul 2026 21:07:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.482665
- Title: Benchmarks Are Not Validation: A System-Level View of Financial LLM Applications
- Title（参考訳）: ベンチマークは検証されていない:金融LLMアプリケーションのシステムレベルビュー
- Abstract要約: 大規模な言語モデルは、検索、プロプライエタリなデータ、ツールの使用、オーケストレーションロジック、監視、人間のエスカレーションを組み合わせた金融アプリケーションにますます多くデプロイされている。
ベンチマークスコア、タスクの正確性、あるいは質的なレビューは、準備が整った証拠として扱われる。
我々は、ベンチマーク性能のみに基づいて、金融LLMシステムを本番環境向けに承認するべきではないという立場を取る。
データ、モデル設計、検索と生成のパフォーマンス、エージェントの振る舞い、ガバナンス、実装などです。
- 参考スコア（独自算出の注目度）: 0.16311150636417257
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models are increasingly deployed in financial applications that combine retrieval, proprietary data, tool use, orchestration logic, monitoring, and human escalation. Yet evaluation often remains model-centric: benchmark scores, task accuracy, or one-off qualitative reviews are treated as evidence of readiness. In financial settings, this is insufficient. We take the position that financial LLM systems should not be approved for production based on benchmark performance alone. They require system-level validation evidence across the application stack: data, model design, retrieval and generation performance, agent behavior, governance, and implementation. Drawing on industry experience validating GenAI applications in financial institutions, we outline a multi-layer validation view and explain why hybrid evaluation is necessary. We discuss where LLM-as-a-judge methods are useful and why they require controls such as multiple judges, rubrics, agreement, and auditability checks. We also highlight failure modes poorly captured by static benchmarks, including retrieval failures, unfaithful generation, tool misuse, escalation errors, and operational instability. Our position is that financial LLM validation should be an ongoing system discipline rather than a one-time model scoring exercise. Validation should produce decision-ready evidence, not only scores. We conclude with a research agenda for system-aware benchmarks, agent trace validation, judge alignment protocols, and lifecycle validation standards.
- Abstract（参考訳）: 大規模な言語モデルは、検索、プロプライエタリなデータ、ツールの使用、オーケストレーションロジック、監視、人間のエスカレーションを組み合わせた金融アプリケーションにますます多くデプロイされている。
ベンチマークスコア、タスクの正確性、質的なレビューは、準備の証拠として扱われる。
財政面では、これは不十分です。
我々は、ベンチマーク性能のみに基づいて、金融LLMシステムを本番環境向けに承認するべきではないという立場を取る。
データ、モデル設計、検索と生成のパフォーマンス、エージェントの振る舞い、ガバナンス、実装などです。
金融機関におけるGenAI応用を検証する業界経験を参考に、多層検証の視点を概説し、なぜハイブリッド評価が必要なのかを説明する。
本稿では, LLM-as-a-judge 法が有効であるか, 複数判断, ルーリック, 合意, 監査可能性チェックなどの制御を必要とする理由について論じる。
また、検索の失敗、不信な生成、ツールの誤用、エスカレーションエラー、運用上の不安定性など、静的なベンチマークによって捉えられない障害モードも強調します。
我々の立場では、LLM検証は1回のモデルスコアリングエクササイズではなく、現在進行中のシステム規律であるべきです。
検証は、スコアだけでなく、決定可能な証拠を生成するべきです。
本稿では,システム対応ベンチマーク,エージェントトレース検証,判断アライメントプロトコル,ライフサイクル検証標準に関する研究課題をまとめる。
関連論文リスト
- TAPO: Tool-Aware Policy Optimization via Credit Transfer for Multimodal Search Agents [54.08846865906602]
ツール強化マルチモーダルサーチエージェントにおいて,クレジットミス割り当てをGRPOの系統的障害モードとして特徴付ける。
本稿では,情報取得ツールのパラメータ決定性を利用したツール・アウェア・ポリシー・オプティマイズ(TAPO)を提案する。
論文 参考訳（メタデータ） (2026-06-04T07:15:43Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - Time Series Augmented Generation for Financial Applications [0.10499611180329804]
本稿では,金融時系列分析のためのエージェントの推論を厳格に評価するための新しい評価手法とベンチマークを提案する。
本手法を我々のフレームワークであるTime Series Augmented Generationを用いた大規模実証研究に適用する。
その結果,幻覚を最小限に抑えることで,ほぼ完璧な道具使用精度を達成できることが示唆された。
論文 参考訳（メタデータ） (2026-04-21T16:20:59Z) - How Far Are We? Systematic Evaluation of LLMs vs. Human Experts in Mathematical Contest in Modeling [43.64673843846063]
大規模言語モデル(LLM)は推論ベンチマークにおいて高いパフォーマンスを達成しているが、エンドツーエンドを必要とする現実世界の問題を解決する能力は未だ不明である。
本稿では、専門家が検証した基準を用いて、モデリング段階間でのLCM性能を評価する問題指向の段階評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-06T15:58:47Z) - AgentFixer: From Failure Detection to Fix Recommendations in LLM Agentic Systems [7.429835301272413]
フレームワークには15の障害検出ツールと2つの根本原因分析モジュールが含まれている。
軽量なルールベースのチェックとLDM-as-a-judgeアセスメントを統合し、構造化インシデント検出、分類、修復をサポートする。
我々は、このフレームワークをIBM CUGAに適用し、AppWorldとWebArenaベンチマークのパフォーマンスを評価した。
論文 参考訳（メタデータ） (2026-02-18T14:55:35Z) - Evaluating LLMs in Finance Requires Explicit Bias Consideration [88.38155218924999]
ファイナンス固有のバイアスは、パフォーマンスを低下させ、バックテストを汚染し、報告された結果をデプロイメントのクレームに役に立たないものにする。
一つのバイアスが28%以上の研究で議論されることはない。
本稿では,バイアス診断と将来のシステム設計のための最小限の要件を満たす構造的妥当性フレームワークと評価チェックリストを提案する。
論文 参考訳（メタデータ） (2026-02-15T17:02:01Z) - Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking [64.97768177044355]
大規模言語モデル(LLM)は、現実のファクトチェックシステムにますます多くデプロイされている。
FactArenaは、完全に自動化されたアリーナスタイルの評価フレームワークである。
本研究では,静的クレーム検証精度とエンドツーエンドのファクトチェック能力の相違点を明らかにした。
論文 参考訳（メタデータ） (2026-01-06T02:51:56Z) - Automating Financial Statement Audits with Large Language Models [8.568971444669868]
ファイナンシャルステートメント監査を自動化するために,大規模言語モデル(LLM)を活用している。
本研究は、実世界の財務表と合成トランザクションデータを組み合わせた、キュレートされたデータセットを用いたベンチマークを提案する。
我々のテストでは、現在最先端のLLMが、過去のトランザクションデータを与えられたときの財務諸表の誤りを識別することに成功した。
論文 参考訳（メタデータ） (2025-06-14T17:07:06Z) - Validating LLM-as-a-Judge Systems under Rating Indeterminacy [65.137380612741]
評価の不確定性の下でLLM-as-a-judgeシステムを検証するための枠組みを提案する。
本研究では, 強制選択評価指示に応答する際の評価の不確定性を人間とLLMがどう解決するかの相違が, 偏見の検証に大きく寄与することを示した。
論文 参考訳（メタデータ） (2025-03-07T22:09:47Z) - Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。
実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
論文 参考訳（メタデータ） (2024-06-05T20:19:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。