論文の概要: Overview of FinMMEval 2026 Task 2: Multilingual Financial Short-Answer Question Answering

• arxiv url: http://arxiv.org/abs/2607.19867v1
• Date: Wed, 22 Jul 2026 07:54:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:38.021673
• Title: Overview of FinMMEval 2026 Task 2: Multilingual Financial Short-Answer Question Answering
• Title（参考訳）: FinMMEval 2026 Task 2: Multilingual Financial Short-Answer Answering
• Abstract要約: FinMMEval 2026 Task 2は、多言語的証拠に対して答える短時間の財務問題を評価する。 最終テストセットには256項目が含まれており、易度と熟練度を均等に分けている。 最強のシステムは密集しており、上位4つはROUGE-1 F1の1ポイント未満で分離されている。
• 参考スコア（独自算出の注目度）: 59.6753725406784
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: FinMMEval 2026 Task 2 evaluates short-answer financial question answering over multilingual evidence. Each final-test item pairs an English question with financial statements and news in English, Chinese, Japanese, Spanish, and Greek. Participating systems submit one concise answer per item in JSONL format. The final-test set contains 256 items, split evenly between easy and expert tiers; each tier contains four question templates instantiated over 32 company-report groups. Gold answers were withheld during submission, and systems were ranked by macro-averaged item-level ROUGE-1 F1 against organizer-held reference answers. The final leaderboard includes 12 ranked submissions. The strongest systems are closely clustered, with the top four separated by less than one percentage point in ROUGE-1 F1. The submitted system papers document retrieval-augmented generation, cross-lingual evidence handling, structured prompting, answer compression, and validation strategies.
• Abstract（参考訳）: FinMMEval 2026 Task 2は、多言語的証拠に対して答える短時間の財務問題を評価する。 各最終試験項目は、英語、中国語、日本語、スペイン語、ギリシャ語で財務諸表とニュースとをペアリングする。 参加システムは、JSONLフォーマットでアイテムごとに1つの簡潔な回答を送信します。 最終テストセットには256項目が含まれており、簡単層と専門家層を均等に分けている。 金の回答は提出時に得られず、システムはオーガナイザが保持する参照回答に対して、マクロ平均アイテムレベルROUGE-1 F1でランク付けされた。 最終審査員は12名。 最強のシステムは密集しており、上位4つはROUGE-1 F1の1ポイント未満で分離されている。 提案システムでは,検索強化生成,言語間エビデンス処理,構造化プロンプト,解答圧縮,検証戦略を文書化する。

関連論文リスト

• IGT @ FinMMEval 2026 Task 2: Question-Type Prompting with Targeted Extraction for Multilingual Financial QA [0.0]
  PolyFiQA Task 2は、英語のSEC(証券取引委員会)の申請書と多言語ニュース記事に対する多言語対応タスクである。 中心的な見解として, 344 の展開課題は, 根本的に異なるアプローチを必要とする 2 つのファミリーに分けられる。 データセット分析により、合成タイプごとに19の接地真実参照回答のうち17-18が、正確な証拠ラベルのプレフィックスを共有していることが明らかになった。 最終システムは、ROUGE-1の開発を約0.395で達成し、RAGベースラインに対する60%の相対的な改善を実現した。
  論文  参考訳（メタデータ） (2026-09-08T02:23:31Z)
• Overview of FinMMEval 2026 Task 1: Multilingual Financial Multiple-Choice Question Answering [59.67537254067838]
  FinMMEval 2026 Task 1は、英語、中国語、アラビア語、ヒンディー語で、多言語による財務多目的質問の回答を評価する。 最終テストセットには800の質問と言語毎の200の質問が含まれており、各言語は正確さで独立してランク付けされている。 トップアキュラティはヒンディー語で92.0%から英語とアラビア語で97.5%までで、同じトップチームは4つの言語でトップに近づいた。
  論文  参考訳（メタデータ） (2026-07-22T07:43:44Z)
• Overview of the EReL@MIR 2025 Multimodal Document Retrieval Challenge (Track 1) [4.198923768732269]
  MIR Challengeは、Web Conference 2025と共同で、最初のEReL@MIRワークショップで開催された。 参加者には、2つの補完的な体制を扱うエンフィングル検索システムの構築を依頼した。 本報告では,課題設計,データセット,評価プロトコルについて述べる。
  論文  参考訳（メタデータ） (2026-06-02T21:39:32Z)
• SemEval-2026 Task 7: Everyday Knowledge Across Diverse Languages and Cultures [93.36078244548077]
  タスクデータは、手動で構築したBLEnDベンチマーク(Myung et al. 2024)の拡張バージョンで構成され、30以上の言語培養ペアをカバーする。 このタスクは厳密に評価のために設計されているため、参加者はトレーニング、微調整、数発の学習、その他のモデル修正のためにデータを使用することは許されなかった。 その結果を報告し、最も優れたシステムと最も広く採用されているアプローチについて分析する。
  論文  参考訳（メタデータ） (2026-05-04T13:49:44Z)
• The CLEF-2026 FinMMEval Lab: Multilingual and Multimodal Evaluation of Financial AI Systems [54.12165004393043]
  FinMMEval 2026は、財務的理解、推論、意思決定にまたがる3つの相互接続タスクを提供する。 このラボは、堅牢で透明でグローバルに包括的な金融AIシステムの開発を促進することを目的としている。
  論文  参考訳（メタデータ） (2026-02-11T14:14:06Z)
• MultiFinBen: Benchmarking Large Language Models for Multilingual and Multimodal Financial Application [118.63802040274999]
  MultiFinBen は、現実的な財務状況下で LLM を評価するための、最初のエキスパートアノテーション付き多言語(5言語)およびマルチモーダルベンチマークである。 財務理由付けテストは、書類やニュースと統合された言語間のエビデンスと、スキャンされた文書から構造化されたテキストを抽出する財務OCRである。 21個のLLMを評価したところ、GPT-4oのようなフロンティアのマルチモーダルモデルでさえ、視力とオーディオが強く、多言語設定では急激に低下するが、全体の46.01%しか達成していないことが示されている。
  論文  参考訳（メタデータ） (2025-06-16T22:01:49Z)
• FAMMA: A Benchmark for Financial Domain Multilingual Multimodal Question Answering [18.821122274064116]
  FAMMA(Underlinefininlineancial underlinemultilingual underlinemultimodal question underlineanswering, QA)のオープンソースベンチマークを紹介する。 本ベンチマークは,高度な財務知識を必要とする複雑な推論問題に対して,大規模言語モデル(LLM)の能力を評価することを目的とする。
  論文  参考訳（メタデータ） (2024-10-06T15:41:26Z)
• MIA 2022 Shared Task: Evaluating Cross-lingual Open-Retrieval Question Answering for 16 Diverse Languages [54.002969723086075]
  16言語に類型的に多様である言語における言語横断的オープン-検索型問合せシステムの評価を行った。 反復的にマイニングされた多様な負の例を利用する最良のシステムは32.2 F1となり、ベースラインを4.5ポイント上回る。 第2のベストシステムは文書検索にエンティティを意識した文脈表現を使用し、タミル(20.8 F1)の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2022-07-02T06:54:10Z)
• The SIGMORPHON 2022 Shared Task on Morpheme Segmentation [39.44280269663147]
  SIGMORPHON 2022は、形態素分割システムのタスクを共有し、単語を一連の形態素に分解する。 最も優れたシステムは、最先端の3つのサブワードトークン法(BPE、ULM、Morfessor2)を30.71%の絶対値で上回った。 エラー解析を容易にし,今後の研究をサポートするため,システム予測,評価スクリプト,ゴールド標準データセットをすべてリリースした。
  論文  参考訳（メタデータ） (2022-06-15T15:57:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。