論文の概要: Recognition Is Not Grounding: Benchmarking Multilingual Financial Evidence Extraction

• arxiv url: http://arxiv.org/abs/2610.19432v1
• Date: Wed, 14 Oct 2026 02:26:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.900039
• Title: Recognition Is Not Grounding: Benchmarking Multilingual Financial Evidence Extraction
• Title（参考訳）: 認識は根拠ではない:多言語財務証拠の抽出のベンチマーク
• Abstract要約: 言語モデルが言語を越えて概念を認識し、対応する数値的証拠を同じ文脈から徹底的に回収できるかどうかは不明である。 マルチリンガル財務報告におけるこの認識とグラウンドのギャップを調査するためのベンチマークであるMultiFINGROUNDを紹介する。 このベンチマークは、ファイナンシャルな事実識別、概念認識、徹底的な事実選択、および候補ラベルのない概念識別を評価する。
• 参考スコア（独自算出の注目度）: 10.894044550524724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Comparing financial disclosures across languages requires identifying shared accounting concepts and recovering all numerical facts that express them. Existing benchmarks evaluate aspects of these capabilities, but provide limited insight into whether both succeed on the same multilingual evidence. In particular, it remains unclear whether language models can recognize these concepts across languages and exhaustively recover their corresponding numerical evidence from the same contexts. We introduce MULTIFINGROUND, a benchmark designed to investigate this recognition-grounding gap in multilingual financial reports. Constructed from FY2025 disclosures of 90 issuers in English, French, and Greek, MULTIFINGROUND aligns independently authored reports through a shared accounting taxonomy and provides traceable fact-level annotations. The benchmark evaluates financial fact identification, concept recognition, exhaustive fact selection, and concept discrimination without candidate labels. Across 15 evaluated models, eight API and open-weight reference models achieve 97.3-99.4\% concept recognition accuracy, yet miss at least one target fact in 26.6-41.9\% of correctly recognized groups. Further analyses reveal substantial variation in concept discrimination and limited gains from the evaluated finance-specialized models. Our findings demonstrate that strong concept recognition can coexist with incomplete evidence recovery, highlighting the importance of evaluating semantic recognition and evidence completeness together.
• Abstract（参考訳）: 言語間での財務開示を比較するには、共通の会計概念を特定し、それらを表現するすべての数値的な事実を復元する必要がある。 既存のベンチマークはこれらの能力の側面を評価するが、両方が同じ多言語的証拠で成功するかどうかについての限られた洞察を与える。 特に、言語モデルがこれらの概念を言語全体で認識し、対応する数値的証拠を同じ文脈から徹底的に回収できるかどうかは不明である。 マルチリンガル財務報告におけるこの認識とグラウンドのギャップを調査するためのベンチマークであるMultiFINGROUNDを紹介する。 英語、フランス語、ギリシャ語で90の発行者に関するFY2025の開示から構築されたMultiFINGROUNDは、共有会計分類を通じて独立に認証された報告を調整し、トレース可能な事実レベルのアノテーションを提供する。 このベンチマークは、ファイナンシャルな事実識別、概念認識、徹底的な事実選択、および候補ラベルのない概念識別を評価する。 15以上の評価モデル、8つのAPI、オープンウェイト参照モデルが97.3-99.4\%の概念認識の精度を達成したが、26.6-41.9\%の正しく認識されたグループの少なくとも1つの目標事実を見逃している。 さらに, 評価された財務特化モデルから, 概念識別と限定利得の有意な変動を明らかにした。 以上の結果から,強い概念認識は不完全な証拠回復と共存し,意味認識と証拠完全性を評価することの重要性を強調した。

関連論文リスト

• FinGREAT: Evaluating LLMs on Financial Graph-guided Retrieval And Typing [1.4717403705761436]
  オープンウェイトLSMが予め定義された二重エントリー会計関係に対応する証拠を抽出・分類できるかどうかを検討する。 SEC 10-K Item 7の申請件数1300件にまたがる5つのオープンウェイト・ファミリーから,26年間の中規模モデルを評価した。 その結果,抽出量,エッジ分布,モデル間合意の相違が明らかとなった。
  論文  参考訳（メタデータ） (2026-10-13T21:57:50Z)
• Almieyar-Oryx-BloomBench: A Bilingual Multimodal Benchmark for Cognitively Informed Evaluation of Vision-Language Models [4.827220845523129]
  BloomBenchは、視覚言語モデルのための、認知的に人間的、バイリンガルな(英語-アラビア語)マルチモーダルベンチマークである。 我々は,その認知的プロファイルを診断するために最先端のVLMを研究した。 本研究は、アラビア語と英語における重要なパフォーマンスギャップを浮き彫りにして、現在の言語間多モーダル推論における限界を明らかにするものである。
  論文  参考訳（メタデータ） (2026-06-04T00:21:22Z)
• On the Entity-Level Alignment in Crosslingual Consistency [62.33186691736433]
  SubSubとSubInjは、主題の英語翻訳を言語間のプロンプトに統合し、実際のリコール精度と一貫性を大きく向上させた。 これらの介入はモデルの内部ピボット言語処理を通じて概念空間における実体表現のアライメントを強化する。
  論文  参考訳（メタデータ） (2025-10-11T16:26:50Z)
• Investigating Intersectional Bias in Large Language Models using Confidence Disparities in Coreference Resolution [5.061421107401101]
  大規模言語モデル(LLM)は目覚ましいパフォーマンスを達成し、採用や受け入れといったリソース制約のあるコンテキストで意思決定支援ツールとして広く採用されている。 しかし、AIシステムは社会的バイアスを反映し、さらに悪化させることができるという科学的コンセンサスがあり、批判的な社会的文脈で使用される場合、アイデンティティに基づく害についての懸念が高まる。 本研究では,複数の識別軸が交差する際,異なる不利パターンを生じることを認識して,一軸の公平性評価を拡張し,交差バイアスを検証した。
  論文  参考訳（メタデータ） (2025-08-09T22:24:40Z)
• FinTagging: Benchmarking LLMs for Extracting and Structuring Financial Information [47.37027539828975]
  FinTaggingは構造認識とフルスコープのための最初の包括的なベンチマークである。 タグ付け 数値識別用FinNIは、数値エンティティとそのタイプを抽出する。 財務報告 概念リンクのためのFinCLは、抽出された各実体を米国の完全な分類学における対応する概念にマッピングする。
  論文  参考訳（メタデータ） (2025-05-27T02:55:53Z)
• FarFetched: Entity-centric Reasoning and Claim Validation for the Greek Language based on Textually Represented Environments [0.3874856507026475]
  複数のオンラインニュースソースから得られた集合的証拠に基づいて,自動クレーム検証の必要性に対処する。 イベント、アクション、ステートメント間の遅延接続を明らかにするエンティティ中心の推論フレームワークを導入します。 提案手法は,低リソース言語に対する自動クレーム検証のギャップを埋めようとしている。
  論文  参考訳（メタデータ） (2024-07-13T13:30:20Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。