論文の概要: JFinBench: A Continuously Refreshable Japanese Financial Benchmark from the Latest Certification Exams
- arxiv url: http://arxiv.org/abs/2611.18130v1
- Date: Fri, 13 Nov 2026 12:59:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.345651
- Title: JFinBench: A Continuously Refreshable Japanese Financial Benchmark from the Latest Certification Exams
- Title(参考訳): JFinBench: 最新の認定試験から継続的更新可能な日本の金融ベンチマーク
- Abstract要約: JFinBenchは、会計、税、金融計画、銀行に関する6つの定期的な認定試験のうち、2026年版から321の例からなる日本の金融ベンチマークである。
我々は,プログラムエージェントが試験固有の変換コードとレビューページを記述し,人間がすべてのサンプルを検証し,修正をエージェントにフィードバックする,ループ内エージェントパイプラインを開発する。
我々は最近の12個のLCMを評価し、Claude Fable 5 と GPT-6 Astra が全体の93%を超えているのに対し、最高のオープンウェイトモデル Kimi K3.1 Pro は Claude Fable 5 を12ポイント追った。
- 参考スコア(独自算出の注目度): 3.4629787099042493
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly applied to finance, creating a need for benchmarks that evaluate their capabilities across financial systems with different regulations and practices. However, existing financial benchmarks provide limited coverage of country-specific financial systems, and they are difficult to keep up to date as released questions leak into training data. We introduce JFinBench, a Japanese financial benchmark comprising 321 examples from the 2026 editions of six regularly administered certification exams covering accounting, tax, financial planning, and banking. To construct it, we develop a human-in-the-loop agentic pipeline in which a coding agent writes exam-specific conversion code and a review page, while a human verifies every example and feeds corrections back to the agent. This pipeline adapts to heterogeneous exam formats and reduces the effort of incorporating new exam editions, enabling periodic refreshes that mitigate data contamination. Evaluating 12 recent LLMs, we find that Claude Fable 5 and GPT-6 Astra exceed 93% overall, while even the best open-weight model, Kimi K3.1 Pro, trails Claude Fable 5 by 12 percentage points. When models can additionally use a terminal and web access, they retrieve the knowledge they lack and every model improves. The gap narrows but about 4 points remain, and the ranking of models stays largely the same, suggesting that knowledge held in the model itself remains valuable even with tools. We release the dataset, the evaluation code, and the construction pipeline.
- Abstract(参考訳): 大規模言語モデル(LLM)は金融にますます適用され、異なる規制とプラクティスを持つ金融システム全体の能力を評価するベンチマークの必要性が生じる。
しかし、既存の金融ベンチマークでは、国別金融システムのカバー範囲が限られており、公表された質問がトレーニングデータに漏れているため、最新の状態を維持することは困難である。
JFinBenchは、会計、税、金融計画、銀行に関する6つの定期的な認定試験のうち、2026年版から321の例からなる日本の金融ベンチマークである。
そこで我々は,プログラムエージェントが試験固有の変換コードとレビューページを記述し,人間がすべてのサンプルを検証し,修正をエージェントにフィードバックする,ループ内エージェントパイプラインを構築した。
このパイプラインは不均一な試験形式に適応し、新たな試験版の導入の労力を削減し、データの汚染を軽減する定期的なリフレッシュを可能にする。
最近の12個のLCMを評価すると、Claude Fable 5 と GPT-6 Astra は全体の93%を超え、最も優れたオープンウェイトモデルである Kimi K3.1 Pro でさえ Claude Fable 5 を12パーセント追尾している。
モデルが端末とWebアクセスを利用できる場合、彼らは不足している知識を取得し、すべてのモデルが改善される。
ギャップは狭まるが、およそ4ポイントであり、モデルのランキングはほぼ変わらず、モデル自体に持つ知識がツールでも価値のあるままであることを示唆している。
データセット、評価コード、建設パイプラインをリリースします。
関連論文リスト
- LLMs Don't Know What They Know: Benchmarking Temporal Self-Knowledge for Financial Backtesting [63.39394792152896]
FinDendroは、1999年から2026年までの米国の事実に関する2,226のベンチマークである。
持続性と支配的な結果の制御は、確率の精度を0.27近く維持する。
モデルのトレーニングウィンドウ内のバックテストは、自己レポートや命令、あるいは記載されたカットオフによって、リークフリーの認定を受けることはできない。
論文 参考訳(メタデータ) (2026-11-04T17:24:02Z) - GIFT-Eval-CTX: A Benchmark For Contextual Forecasting Model Evaluation [54.762166226411956]
GIFT-Eval-CTXは数値軌道予測のベンチマークである。
GIFT-Eval-CTXには、20データセットにわたる10,000のインスタンスが含まれている。
構造的効果により、GPT-5.6ゾルでは40.7%、クロードオプス4.8では29.6%の集合相対性MASEが減少する。
論文 参考訳(メタデータ) (2026-10-13T06:21:50Z) - FinFIRST: Benchmarking Search Agents for Financial Information Retrieval, Sourcing and Traceability [19.25372336137726]
FinFIRSTは、答えを共同で評価し、原子の破片を通して証拠を裏付ける最初の金融ベンチマークである。
現実の金融シナリオの集合パターンから構築された、難易度スペクトルにまたがる123の専門家によるタスクで構成されている。
FinFIRSTは、最終回答の正しさを第一の目的として保ちつつ、支援研究プロセスを測定し、検証し、診断可能にする。
論文 参考訳(メタデータ) (2026-09-21T17:28:08Z) - FormalTCS: Benchmarking End-to-End Frontier Formal Theoretical Computer Science Research of Large Language Models [53.68149869349268]
大規模言語モデル(LLM)は、自動理論計算機科学(TCS)研究の可能性を増大させている。
我々は、最前線のエンドツーエンドのTCS研究でLSMを評価するための専門家検証ベンチマークである ourbenchmarkを紹介した。
論文 参考訳(メタデータ) (2026-08-20T15:13:41Z) - Can Open-Weight Models Compete on Financial Text Comprehension? [0.0]
中国のAI研究所のオープンウェイトな言語モデルは、ここ数カ月でプロプライエタリなフロンティアモデルと比較してベンチマークに上がった。
しかし、実際の金融業務に対する信頼性はほとんど証明されていない。
本誌はFinancial Touchstoneのベンチマークをアップデートした。
論文 参考訳(メタデータ) (2026-08-09T10:51:52Z) - Evaluating LLMs in Finance Requires Explicit Bias Consideration [88.38155218924999]
ファイナンス固有のバイアスは、パフォーマンスを低下させ、バックテストを汚染し、報告された結果をデプロイメントのクレームに役に立たないものにする。
一つのバイアスが28%以上の研究で議論されることはない。
本稿では,バイアス診断と将来のシステム設計のための最小限の要件を満たす構造的妥当性フレームワークと評価チェックリストを提案する。
論文 参考訳(メタデータ) (2026-02-15T17:02:01Z) - FinRetrieval: A Benchmark for Financial Data Retrieval by AI Agents [3.5621895565039203]
FinRetrievalは、ファイナンシャル検索に関する500の質問と、根拠となる真実の回答のベンチマークである。
Claude Opusは構造化データAPIで90.8%の精度を達成しているが、Web検索だけでは19.8%に過ぎない。
論文 参考訳(メタデータ) (2026-01-02T17:51:37Z) - BizFinBench: A Business-Driven Real-World Financial Benchmark for Evaluating LLMs [7.9458352414205295]
大規模な言語モデルは一般的なタスクでは優れていますが、ロジック重大で精度の高い、財務、法律、医療といった重要な領域での信頼性の評価は依然として難しいままです。
BizFinBenchは、実世界の金融アプリケーションにおけるLSMの評価に特化して設計された最初のベンチマークである。
BizFinBenchは中国語で6,781の注釈付きクエリで構成されており、数値計算、推論、情報抽出、予測認識、知識に基づく質問応答の5つの次元にまたがっている。
論文 参考訳(メタデータ) (2025-05-26T03:23:02Z) - FinTSB: A Comprehensive and Practical Benchmark for Financial Time Series Forecasting [58.70072722290475]
ファイナンシャル・タイム・シリーズ(FinTS)は、人間の脳を増強した意思決定の行動を記録する。
FinTSBは金融時系列予測のための総合的で実用的なベンチマークである。
論文 参考訳(メタデータ) (2025-02-26T05:19:16Z) - KodeXv0.1: A Family of State-of-the-Art Financial Large Language Models [41.94295877935867]
KodeXv0.1は、金融質問応答においてGPT-4を抜いた大規模な言語モデルのファミリーである。
我々は、決算報告や事業報告など、多くの公開財務文書を処理します。
論文 参考訳(メタデータ) (2024-09-13T16:43:08Z) - CFinBench: A Comprehensive Chinese Financial Benchmark for Large Language Models [61.324062412648075]
CFinBenchは、中国の文脈下での大規模言語モデル(LLM)の財務知識を評価するための評価ベンチマークである。
この質問は、43の第二級カテゴリーにまたがる99,100の質問で構成されており、3つの質問タイプがある: シングルチョイス、マルチチョイス、そして判断である。
結果は、GPT4といくつかの中国指向モデルがベンチマークをリードし、平均精度は60.16%であることを示している。
論文 参考訳(メタデータ) (2024-07-02T14:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。