論文の概要: E2A-Bench: Benchmarking Evidence-to-Action Reliability in Financial Chart Reasoning

• arxiv url: http://arxiv.org/abs/2609.14302v1
• Date: Sun, 13 Sep 2026 05:50:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.786598
• Title: E2A-Bench: Benchmarking Evidence-to-Action Reliability in Financial Chart Reasoning
• Title（参考訳）: E2A-Bench:ファイナンシャル・チャート・レアソンリングにおけるエビデンス・ツー・アクションの信頼性のベンチマーク
• Abstract要約: E2A-Benchは323のHS300構成成分から構築された財務チャート推論のベンチマークである。 E2A-Benchは、根拠、推論-アクションの整合性、エビデンス-自信の校正、方向性のカバレッジを評価する。 一つの幻覚スコアに頼らず、完全なエビデンス・ツー・アクション・チェーンを財務的なVLM評価で追跡すべきである。
• 参考スコア（独自算出の注目度）: 3.81869701471217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Can financial vision-language models (VLMs) turn chart evidence into reliable action recommendations? Existing hallucination evaluations are mostly claim-centric; they assess whether generated statements are supported, but not whether evidence remains traceable through rationale, confidence, and final action. We introduce E2A-Bench, a 969-query benchmark for financial chart reasoning, constructed from 323 HS300 constituents under three input modalities with deterministic OHLCV-derived evidence anchors. E2A-Bench evaluates grounding, reasoning-action consistency, evidence-confidence calibration, and directional coverage through UCR, RCI, ECI, and NDR, where NDR measures coverage-aware evidence-to-action reliability rather than realized trading performance. Evaluating 20 VLMs reveals three failures hidden by scalar hallucination scores: the lowest-UCR model ranks near the bottom by NDR due to only 6.4% directional coverage; oracle-aided verification reduces unsupported claims but can collapse coverage; and financial fine-tuning amplifies the BUY:SELL ratio by factors of 4.21 to 4.68 across strict base-fine-tuned pairs. These results show that financial VLM evaluation should trace the full evidence-to-action chain rather than rely on a single hallucination score. Code and data: https://github.com/wanng-ide/E2A-Bench
• Abstract（参考訳）: 金融ビジョン言語モデル(VLM)は、チャート証拠を信頼できるアクションレコメンデーションに変えることができるか? 既存の幻覚評価は、主にクレーム中心であり、生成された声明が支持されているかどうかを評価するが、証拠が合理性、自信、最終的な行動を通じて追跡可能であるかどうかを判断する。 我々は3つの入力モダリティの下で323のHS300成分と決定論的OHLCV由来のエビデンスアンカーから構築した,金融チャート推論のための969クエリベンチマークであるE2A-Benchを紹介する。 E2A-ベンチは、UCR、RCI、ECI、NDRによる根拠、推論-行動の整合性、エビデンス-自信の校正、方向性のカバレッジを評価し、NDRは取引性能を実現するのではなく、エビデンス-行動の信頼性を測定する。 20個のVLMを評価すると、スカラー幻覚スコアによって隠された3つの失敗が明らかになる: わずか6.4%の方向カバレッジのため、NDRによって最下位のUCRモデルが底辺にランク付けされる; オラクル支援による検証は、クレームを無視するが、カバーが崩壊する可能性がある; 財務微調整により、厳密なベースファインペア間で4.21から4.68の因子によるBUY:SELL比が増幅される。 これらの結果から,1つの幻覚スコアに頼らずに,VLMの財務評価は完全なエビデンス・ツー・アクション・チェーンを辿るべきであることが示唆された。 コードとデータ:https://github.com/wanng-ide/E2A-Bench

関連論文リスト

• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• TrustDABench: Benchmarking Reliability and Robustness of LLMs for Structured Data Analysis [42.62413276719373]
  信頼できる結果は、ユーザ質問から関連するデータエビデンスへの有効なパスによってサポートされるべきである。 この要件は2つの診断質問を生成する: LLMがそのような経路が存在しない場合、答えを拒否するか、明確化を求めることができるか、同じ証拠が異なる表形式で表現された場合、正しい分析を維持できるかである。 信頼性と堅牢性としてこれらの質問を運用するベンチマークであるTrustDABenchを紹介します。
  論文  参考訳（メタデータ） (2026-08-25T07:09:01Z)
• From Causal Plausibility to Causal Reliability: Evaluating LLMs as Calibrated Direct Causal-Edge Classifiers [15.44881677475537]
  大規模言語モデル(LLM)は、構造因果発見のための事前因果的知識を提供するために、ますます使われてきている。 我々は,6つのベンチマーク因果グラフ,5つのプロンプト戦略,4つの信頼源にまたがる12の命令調整されたオープンウェイトモデルを評価する。 以上の結果から,LSMは軟因果関係の直接的証拠であるよりも,外部から検証された軟因果関係の源であると考えられることが示唆された。
  論文  参考訳（メタデータ） (2026-08-24T15:55:47Z)
• Trust but Verify: Introducing DAVinCI -- A Framework for Dual Attribution and Verification in Claim Inference for Language Models [53.279391576560755]
  大規模言語モデル(LLM)は、広範囲のNLPタスクにおいて顕著な流速と汎用性を示してきたが、実際的な不正確さと制限が伴う傾向にある。 これは、信頼と妥当性が最優先される医療、法律、科学コミュニケーションといった、高リスク領域に重大なリスクをもたらす。 LLM出力の事実的信頼性と解釈可能性を高めるために設計されたDAVinCI - Dual Attribution and Verificationフレームワークを紹介する。
  論文  参考訳（メタデータ） (2026-04-23T01:37:50Z)
• FinReflectKG -- HalluBench: GraphRAG Hallucination Benchmark for Financial Question Answering Systems [0.0]
  現在の知識グラフ(KG)によるQAシステムは幻覚を検出するための体系的なメカニズムを欠いている。 SEC10-K申請に対するKG強化財務QAにおける幻覚検出手法を評価するためのベンチマークであるFinBench-QA-Hallucinationを紹介する。 本研究は、現在のKG強化システムにおける脆弱性を浮き彫りにし、信頼性の高い金融情報システムを構築するための洞察を提供する。
  論文  参考訳（メタデータ） (2026-03-11T04:37:53Z)
• Evaluating LLMs in Finance Requires Explicit Bias Consideration [88.38155218924999]
  ファイナンス固有のバイアスは、パフォーマンスを低下させ、バックテストを汚染し、報告された結果をデプロイメントのクレームに役に立たないものにする。 一つのバイアスが28%以上の研究で議論されることはない。 本稿では,バイアス診断と将来のシステム設計のための最小限の要件を満たす構造的妥当性フレームワークと評価チェックリストを提案する。
  論文  参考訳（メタデータ） (2026-02-15T17:02:01Z)
• All That Glisters Is Not Gold: A Benchmark for Reference-Free Counterfactual Financial Misinformation Detection [67.89888669159899]
  RFC Benchは、現実的なニュースの下で財務的な誤情報に関する大規模な言語モデルを評価するためのベンチマークである。 このベンチマークでは、2つの補完的なタスクが定義されている。
  論文  参考訳（メタデータ） (2026-01-07T18:18:28Z)
• Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
  Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。 LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
  論文  参考訳（メタデータ） (2025-11-15T02:50:23Z)
• FinVet: A Collaborative Framework of RAG and External Fact-Checking Agents for Financial Misinformation Detection [0.0]
  FinVetは2つのRetrieval-Augmented Generationパイプラインと外部ファクトチェックを統合する新しいフレームワークである。 証拠に裏付けられた評決、情報源の属性、信頼度スコア、証拠が不十分な場合に明確な不確実性フラグを提供する。
  論文  参考訳（メタデータ） (2025-10-13T17:31:49Z)
• Reasoning Models Are More Easily Gaslighted Than You Think [85.84943447589511]
  我々はOpenAIのo4-mini、Claude-3.7-Sonnet、Gemini-2.5-Flashの3つの最先端推論モデルを評価する。 ガス灯消火プロンプトによる精度低下が認められた。 GaslightingBench-Rは、推論モデルの認識可能性を評価するために設計された新しい診断ベンチマークである。
  論文  参考訳（メタデータ） (2025-06-11T12:52:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。