論文の概要: IndiaFinBench: An Evaluation Benchmark for Large Language Model Performance on Indian Financial Regulatory Text

• arxiv url: http://arxiv.org/abs/2604.19298v1
• Date: Tue, 21 Apr 2026 10:04:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.714859
• Title: IndiaFinBench: An Evaluation Benchmark for Large Language Model Performance on Indian Financial Regulatory Text
• Title（参考訳）: IndiaFinBench:インドの金融規制文書による大規模言語モデルのパフォーマンス評価ベンチマーク
• Authors: Rajveer Singh Pall,
• Abstract要約: IndiaFinBenchは、インドの金融規制文書上での大規模言語モデル(LLM)のパフォーマンスを評価するための、初めての公開評価ベンチマークである。 IndiaFinBenchは、インド証券取引委員会(SEC)とインド準備銀行(Reserve Bank of India)が入手した192件の文書から得られた406件の専門家による質問回答のペアと、このギャップに対処している。 ゼロショット条件下では、70.4%(Gemma 4 E4B)から89.7%(Gemini 2.5 Flash)の精度で12モデルを評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce IndiaFinBench, to our knowledge the first publicly available evaluation benchmark for assessing large language model (LLM) performance on Indian financial regulatory text. Existing financial NLP benchmarks draw exclusively from Western financial corpora (SEC filings, US earnings reports, and English-language financial news), leaving a significant gap in coverage of non-Western regulatory frameworks. IndiaFinBench addresses this gap with 406 expert-annotated question-answer pairs drawn from 192 documents sourced from the Securities and Exchange Board of India (SEBI) and the Reserve Bank of India (RBI), spanning four task types: regulatory interpretation (174 items), numerical reasoning (92 items), contradiction detection (62 items), and temporal reasoning (78 items). Annotation quality is validated through a model-based secondary pass (kappa=0.918 on contradiction detection) and a 60-item human inter-annotator agreement evaluation (kappa=0.611; 76.7% overall agreement). We evaluate twelve models under zero-shot conditions, with accuracy ranging from 70.4% (Gemma 4 E4B) to 89.7% (Gemini 2.5 Flash). All models substantially outperform a non-specialist human baseline of 60.0%. Numerical reasoning is the most discriminative task, with a 35.9 percentage-point spread across models. Bootstrap significance testing (10,000 resamples) reveals three statistically distinct performance tiers. The dataset, evaluation code, and all model outputs are available at https://github.com/rajveerpall/IndiaFinBench
• Abstract（参考訳）: IndiaFinBenchは、インド金融規制文書上での大規模言語モデル(LLM)の性能を評価するための、初めての公開評価ベンチマークである。 既存の金融NLPベンチマークは、西側の金融コーパス(SECの申請書、米国決算報告、英語の金融ニュース)からのみ引き出されており、非西側の規制フレームワークのカバレッジに大きなギャップを残している。 インド証券取引委員会(SEBI)とインド準備銀行(RBI)が発行する192件の文書から抽出された406件の専門家による質問-回答対で、IndiaFinBenchはこのギャップに対処している。 アノテーションの品質はモデルベース二次パス(kappa=0.918の矛盾検出)と60itemの人間間アノテータ合意(kappa=0.611; 76.7%)によって検証される。 ゼロショット条件下では,70.4%(Gemma 4 E4B)から89.7%(Gemini 2.5 Flash)の精度で12モデルを評価した。 全てのモデルは、非特殊主義者の人間のベースラインを60.0%上回っている。 数値推論は最も差別的なタスクであり、35.9パーセントのパーセンテージポイントがモデル全体に分散している。 ブートストラップの重要度テスト(10,000リサンプル)では、3つの統計的に異なるパフォーマンスレベルが明らかになった。 データセット、評価コード、およびすべてのモデル出力はhttps://github.com/rajveerpall/IndiaFinBenchで入手できる。

関連論文リスト

• Fact4ac at the Financial Misinformation Detection Challenge Task: Reference-Free Financial Misinformation Detection via Fine-Tuning and Few-Shot Prompting of Large Language Models [4.8239913268889]
  本稿では,「参照自由な財務誤情報検出」タスクの獲得手法について述べる。 本稿では,最先端の大規模言語モデルの推論能力を活かした包括的フレームワークを提案する。 提案方式は優れた有効性を示し,両公式リーダーボードのランキング1位を確保できた。
  論文  参考訳（メタデータ） (2026-04-16T05:38:58Z)
• A Multi-Model Approach to English-Bangla Sentiment Classification of Government Mobile Banking App Reviews [0.0]
  この調査は、バングラデシュの4つの銀行アプリについて、英語とバングラ語で5,652件のGoogle Playレビューを分析した。 従来のモデルは最高精度(0.815)、リニアSVMは最高重み付きF1スコア(0.804)を作成した。 DeBERTa-v3は、4つのアプリのレビューのアスペクトレベルでの感情分析に使用された。
  論文  参考訳（メタデータ） (2026-03-17T21:43:51Z)
• All That Glisters Is Not Gold: A Benchmark for Reference-Free Counterfactual Financial Misinformation Detection [67.89888669159899]
  RFC Benchは、現実的なニュースの下で財務的な誤情報に関する大規模な言語モデルを評価するためのベンチマークである。 このベンチマークでは、2つの補完的なタスクが定義されている。
  論文  参考訳（メタデータ） (2026-01-07T18:18:28Z)
• LLM Output Drift: Cross-Provider Validation & Mitigation for Financial Workflows [0.5798758080057375]
  非決定論的出力(アウトプットドリフト)は監査性と信頼を損なう。 規制された金融業務に関する5つのモデルアーキテクチャ間のドリフトを定量化する。 この発見は、より大きなモデルがプロダクションデプロイメントに普遍的に優れているという従来の仮定に挑戦する。
  論文  参考訳（メタデータ） (2025-11-10T19:54:00Z)
• Fine-Tuning Vision-Language Models for Markdown Conversion of Financial Tables in Malaysian Audited Financial Reports [0.0]
  本稿ではQwen2.5-VL-7Bに基づく微調整視覚言語モデル(VLM)を提案する。 提案手法には,拡大した2,152枚の画像テキストペアをキュレートしたデータセットと,LoRAを用いた教師付き微調整戦略が含まれる。 基準に基づく評価では92.20%の精度と96.53%のTEDSスコアが得られた。
  論文  参考訳（メタデータ） (2025-08-04T04:54:00Z)
• BizFinBench: A Business-Driven Real-World Financial Benchmark for Evaluating LLMs [7.9458352414205295]
  大規模な言語モデルは一般的なタスクでは優れていますが、ロジック重大で精度の高い、財務、法律、医療といった重要な領域での信頼性の評価は依然として難しいままです。 BizFinBenchは、実世界の金融アプリケーションにおけるLSMの評価に特化して設計された最初のベンチマークである。 BizFinBenchは中国語で6,781の注釈付きクエリで構成されており、数値計算、推論、情報抽出、予測認識、知識に基づく質問応答の5つの次元にまたがっている。
  論文  参考訳（メタデータ） (2025-05-26T03:23:02Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)
• FinTSB: A Comprehensive and Practical Benchmark for Financial Time Series Forecasting [58.70072722290475]
  ファイナンシャル・タイム・シリーズ(FinTS)は、人間の脳を増強した意思決定の行動を記録する。 FinTSBは金融時系列予測のための総合的で実用的なベンチマークである。
  論文  参考訳（メタデータ） (2025-02-26T05:19:16Z)
• Holistic Evaluation of Language Models [183.94891340168175]
  言語モデル(LM)は、ほとんどすべての主要言語技術の基盤となっているが、その能力、制限、リスクはよく理解されていない。 本稿では,言語モデルの透明性を向上させるために,言語モデルの完全性評価(HELM)を提案する。
  論文  参考訳（メタデータ） (2022-11-16T18:51:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。