論文の概要: IGT @ FinMMEval 2026 Task 2: Question-Type Prompting with Targeted Extraction for Multilingual Financial QA
- arxiv url: http://arxiv.org/abs/2609.08139v1
- Date: Tue, 08 Sep 2026 02:23:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.553544
- Title: IGT @ FinMMEval 2026 Task 2: Question-Type Prompting with Targeted Extraction for Multilingual Financial QA
- Title(参考訳): IGT @ FinMMEval 2026 Task 2: Multilingual Financial QAのためのターゲット抽出型質問型プロンプト
- Abstract要約: PolyFiQA Task 2は、英語のSEC(証券取引委員会)の申請書と多言語ニュース記事に対する多言語対応タスクである。
中心的な見解として, 344 の展開課題は, 根本的に異なるアプローチを必要とする 2 つのファミリーに分けられる。
データセット分析により、合成タイプごとに19の接地真実参照回答のうち17-18が、正確な証拠ラベルのプレフィックスを共有していることが明らかになった。
最終システムは、ROUGE-1の開発を約0.395で達成し、RAGベースラインに対する60%の相対的な改善を実現した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present the IGT system for PolyFiQA Task 2 of the FinMMEval Lab at CLEF 2026, a multilingual financial question answering task over English SEC filings and multilingual news articles (English, Chinese, Japanese, Spanish, Greek) for four companies. Our central observation is that the 344 development questions divide into two families requiring fundamentally different approaches: structured numeric types (R&D ratio, cash flow, capital expenditure) are best answered by direct keyword extraction on filing text, while synthesis types (investment strategy, capital allocation, top-three revenue focuses) require rule-based multilingual news passage selection. A dataset analysis reveals that 17-18 of 19 ground-truth reference answers per synthesis type share an exact evidence label prefix, whose unigram tokens contribute directly to ROUGE-1 overlap. The final system achieves development ROUGE-1 approximately 0.395, a 60% relative improvement over a generic RAG baseline (approximately 0.247), and ranks 3rd of 12 teams on the official test set with ROUGE-1 = 0.3071, Precision = 0.2821, and Recall = 0.4044.
- Abstract(参考訳): CLEF 2026において,FinMMEval LabのPolyFiQAタスク2のIGTシステムについて述べる。
構造化数値型 (R&D比, キャッシュフロー, 資本支出) は, 文章の直接的キーワード抽出によって解答されるのが最適であり, 合成型 (投資戦略, 資本配分, トップ3収益焦点) は規則に基づく多言語ニュース通路の選択を必要とする。
データセット分析により、合成タイプごとに19の接地的基準答えのうち17-18が正確なエビデンスラベルプレフィックスを共有しており、そのユニグラムトークンはROUGE-1の重なりに直接寄与していることが明らかになった。
最終システムは、ROUGE-1 の約0.395、RAGベースラインの60%(約0.247)の相対的な改善を達成し、ROUGE-1 = 0.3071、精度 = 0.2821、リコール = 0.4044で公式テストセットの12チーム中3位にランクインした。
関連論文リスト
- Enhancing Financial Question Answering: A Novel Benchmark Dataset of Banks' financial statements [6.625637186756314]
金融質問応答のための新しいベンチマークデータセットであるFinRAG-QAを紹介する。
FinRAG-QAは、平均198kワードのドキュメントを横断的に検索する。
コンテキストチャンク濃縮と検索最適化埋め込みモデルを組み合わせると、NDCG@10は0.322から0.710に上昇する。
論文 参考訳(メタデータ) (2026-09-03T10:52:56Z) - Language-Routed RAG and Direct Option Scoring for Multilingual Financial QA: DS@GT at FinMMEval [0.0]
CFA、EFPA、CPAなどの金融認証試験は、ドメイン推論の構造化を要求する。
我々はLangGraph上に検索拡張パイプラインを構築し、クエリ言語を検出し、意味論的に関連する例を検索する。
効果的な多言語財務推論には、言語対応検索、モデルルーティング、故意の採点戦略選択が必要であることを示す。
論文 参考訳(メタデータ) (2026-07-24T18:31:11Z) - Overview of FinMMEval 2026 Task 2: Multilingual Financial Short-Answer Question Answering [59.6753725406784]
FinMMEval 2026 Task 2は、多言語的証拠に対して答える短時間の財務問題を評価する。
最終テストセットには256項目が含まれており、易度と熟練度を均等に分けている。
最強のシステムは密集しており、上位4つはROUGE-1 F1の1ポイント未満で分離されている。
論文 参考訳(メタデータ) (2026-07-22T07:54:17Z) - Causal Connections: Leveraging Multilingual Fine-Tuning for Financial QA@FinCausal 2026 [1.8723525304649937]
本稿では,HSA_CORALがFinCausal 2026に提出したFinCausal 2026の共通課題について述べる。
i)エンコーダのみのトークンタグ付けを多言語BERTで、(ii)エンコーダのみのトークンタグ生成を多言語BARTで、(iii)デコーダのみのLLM(Llama 3.1とGPTの変種)を即時改善、数発のデモ、教師付き微調整で比較した。
設定、プロンプト、数ショットの例は競争力のあるパフォーマンスをもたらし、教師付き微調整は最大の利益をもたらす。
論文 参考訳(メタデータ) (2026-06-25T18:17:04Z) - WSDM Cup 2026 Multilingual Retrieval: A Low-Cost Multi-Stage Retrieval Pipeline [0.6445605125467574]
本稿では,WSDMカップ2026の多言語検索のための低コスト検索システムを提案する。
英語のクェリは、中国語、ペルシア語、ロシア語の約1000万件のニュース記事から関連文書を検索するために使用される。
論文 参考訳(メタデータ) (2026-02-19T01:28:18Z) - The CLEF-2026 FinMMEval Lab: Multilingual and Multimodal Evaluation of Financial AI Systems [54.12165004393043]
FinMMEval 2026は、財務的理解、推論、意思決定にまたがる3つの相互接続タスクを提供する。
このラボは、堅牢で透明でグローバルに包括的な金融AIシステムの開発を促進することを目的としている。
論文 参考訳(メタデータ) (2026-02-11T14:14:06Z) - Towards Global Retrieval Augmented Generation: A Benchmark for Corpus-Level Reasoning [50.27838512822097]
我々は,グローバルRAG機能を評価するために設計された最初のベンチマークであるGlobalQAを紹介する。
我々は,チャンクレベルの検索によって構造的コヒーレンスを保存するマルチツール協調フレームワークであるGlobalRAGを提案する。
Qwen2.5-14Bモデルでは、GlobalRAGは最強のベースラインである1.51 F1と比較して6.63 F1を達成した。
論文 参考訳(メタデータ) (2025-10-30T07:29:14Z) - SLRTP2025 Sign Language Production Challenge: Methodology, Results, and Future Work [87.9341538630949]
第1回手話生産チャレンジはCVPR 2025で第3回SLRTPワークショップの一環として開催された。
コンペティションの目的は、音声言語文からスケルトンポーズのシーケンスに変換するアーキテクチャを評価することである。
本稿では,挑戦設計と入賞方法について述べる。
論文 参考訳(メタデータ) (2025-08-09T11:57:33Z) - MultiFinBen: Benchmarking Large Language Models for Multilingual and Multimodal Financial Application [118.63802040274999]
MultiFinBen は、現実的な財務状況下で LLM を評価するための、最初のエキスパートアノテーション付き多言語(5言語)およびマルチモーダルベンチマークである。
財務理由付けテストは、書類やニュースと統合された言語間のエビデンスと、スキャンされた文書から構造化されたテキストを抽出する財務OCRである。
21個のLLMを評価したところ、GPT-4oのようなフロンティアのマルチモーダルモデルでさえ、視力とオーディオが強く、多言語設定では急激に低下するが、全体の46.01%しか達成していないことが示されている。
論文 参考訳(メタデータ) (2025-06-16T22:01:49Z) - MIA 2022 Shared Task: Evaluating Cross-lingual Open-Retrieval Question
Answering for 16 Diverse Languages [54.002969723086075]
16言語に類型的に多様である言語における言語横断的オープン-検索型問合せシステムの評価を行った。
反復的にマイニングされた多様な負の例を利用する最良のシステムは32.2 F1となり、ベースラインを4.5ポイント上回る。
第2のベストシステムは文書検索にエンティティを意識した文脈表現を使用し、タミル(20.8 F1)の大幅な改善を実現している。
論文 参考訳(メタデータ) (2022-07-02T06:54:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。