論文の概要: Overview of FinMMEval 2026 Task 1: Multilingual Financial Multiple-Choice Question Answering
- arxiv url: http://arxiv.org/abs/2607.19856v1
- Date: Wed, 22 Jul 2026 07:43:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-23 18:51:38.018517
- Title: Overview of FinMMEval 2026 Task 1: Multilingual Financial Multiple-Choice Question Answering
- Title（参考訳）: FinMMEval 2026 Task 1: Multilingual Financial Multiple-Choice Question Answering
- Abstract要約: FinMMEval 2026 Task 1は、英語、中国語、アラビア語、ヒンディー語で、多言語による財務多目的質問の回答を評価する。
最終テストセットには800の質問と言語毎の200の質問が含まれており、各言語は正確さで独立してランク付けされている。
トップアキュラティはヒンディー語で92.0%から英語とアラビア語で97.5%までで、同じトップチームは4つの言語でトップに近づいた。
- 参考スコア（独自算出の注目度）: 59.67537254067838
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: FinMMEval 2026 Task 1 evaluates multilingual financial multiple-choice question answering in English, Chinese, Arabic, and Hindi. The task tests whether systems can select the correct answer to finance questions involving domain terminology, numerical interpretation, and conceptual financial reasoning across languages and scripts. The final-test set contains 800 questions, with 200 questions per language; gold answers were withheld during submission, and each language was ranked independently by accuracy. The final leaderboards contain 13 English, 11 Chinese, 11 Arabic, and 10 Hindi ranked submissions. Top accuracies range from 92.0% in Hindi to 97.5% in English and Arabic, with the same leading teams appearing near the top across all four languages. The documented systems used retrieval augmentation, direct answer-option scoring, language-specific prompting, selective self-consistency, confidence checks, and LLM-based review stages.
- Abstract（参考訳）: FinMMEval 2026 Task 1は、英語、中国語、アラビア語、ヒンディー語での多言語財務多票質問の回答を評価する。
タスクは、ドメイン用語、数値解釈、言語やスクリプト間の概念的金銭的推論を含む金融問題に対して、システムが正しい答えを選択できるかどうかをテストする。
最終テストセットには800の質問と言語毎の200の質問が含まれており、各言語は正確さで独立してランク付けされている。
最終リーダーボードには13の英語、11の中国語、11のアラビア語、10のヒンディー語がランクインしている。
トップアキュラティはヒンディー語で92.0%から英語とアラビア語で97.5%までで、同じトップチームは4つの言語でトップに近づいた。
文書化されたシステムは、検索強化、直接回答選択スコア、言語固有のプロンプト、選択的な自己整合性、信頼チェック、LCMベースのレビューステージを使用していた。
関連論文リスト
- XHotpotQA: A Benchmark for Cross-Lingual Knowledge Composition in Multi-Hop Question Answering [4.102826164335728]
XHotpotQA(XHotpotQA)は、言語間知識合成のベンチマークである。
監査されたリソースには15,661のトレーニングと7,405のバリデーションインスタンスが含まれている。
完全な質問-証拠のミスマッチは、部分的なアライメントよりも10.25から15.79低いUnicode対応の回答F1と関連付けられている。
論文 参考訳（メタデータ） (2026-08-23T15:05:04Z) - Overview of FinMMEval 2026 Task 2: Multilingual Financial Short-Answer Question Answering [59.6753725406784]
FinMMEval 2026 Task 2は、多言語的証拠に対して答える短時間の財務問題を評価する。
最終テストセットには256項目が含まれており、易度と熟練度を均等に分けている。
最強のシステムは密集しており、上位4つはROUGE-1 F1の1ポイント未満で分離されている。
論文 参考訳（メタデータ） (2026-07-22T07:54:17Z) - SemEval-2026 Task 7: Everyday Knowledge Across Diverse Languages and Cultures [93.36078244548077]
タスクデータは、手動で構築したBLEnDベンチマーク(Myung et al. 2024)の拡張バージョンで構成され、30以上の言語培養ペアをカバーする。
このタスクは厳密に評価のために設計されているため、参加者はトレーニング、微調整、数発の学習、その他のモデル修正のためにデータを使用することは許されなかった。
その結果を報告し、最も優れたシステムと最も広く採用されているアプローチについて分析する。
論文 参考訳（メタデータ） (2026-05-04T13:49:44Z) - The CLEF-2026 FinMMEval Lab: Multilingual and Multimodal Evaluation of Financial AI Systems [54.12165004393043]
FinMMEval 2026は、財務的理解、推論、意思決定にまたがる3つの相互接続タスクを提供する。
このラボは、堅牢で透明でグローバルに包括的な金融AIシステムの開発を促進することを目的としている。
論文 参考訳（メタデータ） (2026-02-11T14:14:06Z) - Self-Improving Multilingual Long Reasoning via Translation-Reasoning Integrated Training [50.177839592528294]
長い推論モデルは多言語設定でしばしば苦労する。
翻訳学習を多言語推論に統合する自己改善フレームワークであるTRIT(Translation-Reasoning Integrated Training)を提案する。
論文 参考訳（メタデータ） (2026-02-05T17:55:09Z) - Multilingual Conversational AI for Financial Assistance: Bridging Language Barriers in Indian FinTech [0.429809467472829]
我々は、Hinglishのようなコード混在言語をサポートする金融支援ユースケースのための多言語対話型AIシステムを提案する。
本システムでは,言語分類,機能管理,多言語応答生成を備えたマルチエージェントアーキテクチャを採用している。
この研究は、新興市場向けデジタル金融サービスの言語ギャップを埋めることに貢献している。
論文 参考訳（メタデータ） (2025-12-01T09:23:13Z) - ParamBench: A Graduate-Level Benchmark for Evaluating LLM Understanding on Indic Subjects [4.2155105586549535]
我々は,ヒンディー語で17K以上の質問からなるParamBenchについて,21の多様な被験者の質問紙から回答を得た。
これらの質問は、主に歴史、音楽、楽器、ヨガ、プッシュ、文学、哲学、法律などに関する全国レベルの入学試験から導かれる。
このベンチマークで16以上のオープンソースLLMの性能を評価し,Gemma3-27Bが56.4%の精度で最高であることを確認した。
論文 参考訳（メタデータ） (2025-08-22T07:59:37Z) - MIA 2022 Shared Task: Evaluating Cross-lingual Open-Retrieval Question
Answering for 16 Diverse Languages [54.002969723086075]
16言語に類型的に多様である言語における言語横断的オープン-検索型問合せシステムの評価を行った。
反復的にマイニングされた多様な負の例を利用する最良のシステムは32.2 F1となり、ベースラインを4.5ポイント上回る。
第2のベストシステムは文書検索にエンティティを意識した文脈表現を使用し、タミル(20.8 F1)の大幅な改善を実現している。
論文 参考訳（メタデータ） (2022-07-02T06:54:10Z) - The SIGMORPHON 2022 Shared Task on Morpheme Segmentation [39.44280269663147]
SIGMORPHON 2022は、形態素分割システムのタスクを共有し、単語を一連の形態素に分解する。
最も優れたシステムは、最先端の3つのサブワードトークン法(BPE、ULM、Morfessor2)を30.71%の絶対値で上回った。
エラー解析を容易にし,今後の研究をサポートするため,システム予測,評価スクリプト,ゴールド標準データセットをすべてリリースした。
論文 参考訳（メタデータ） (2022-06-15T15:57:22Z) - MKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain
Question Answering [6.452012363895865]
このデータセットは、質問応答を評価するために、現在最も広い範囲の言語を提供する。
生成的および抽出的質問応答のための様々な最先端手法とベースラインをベンチマークする。
結果は、このデータセットが英語でも、特に低リソース言語では挑戦的であることを示している。
論文 参考訳（メタデータ） (2020-07-30T03:33:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。