論文の概要: ChiMDQA: Towards Comprehensive Chinese Document QA with Fine-grained Evaluation
- arxiv url: http://arxiv.org/abs/2511.03656v1
- Date: Wed, 05 Nov 2025 17:13:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-06 18:19:32.503629
- Title: ChiMDQA: Towards Comprehensive Chinese Document QA with Fine-grained Evaluation
- Title（参考訳）: ChiMDQA: きめ細かい評価による総合的な中国語文書QAを目指して
- Authors: Jing Gao, Shutiao Luo, Yumeng Liu, Yuanming Li, Hongji Zeng,
- Abstract要約: ChiMDQAは、6つの異なる分野から長い形式の文書を包含している。
このデータセットは、多様性と高品質の両方を保証し、文書理解、知識抽出、インテリジェントQAシステムなど、さまざまなNLPタスクに適用できる。
- 参考スコア（独自算出の注目度）: 12.784082281917003
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: With the rapid advancement of natural language processing (NLP) technologies, the demand for high-quality Chinese document question-answering datasets is steadily growing. To address this issue, we present the Chinese Multi-Document Question Answering Dataset(ChiMDQA), specifically designed for downstream business scenarios across prevalent domains including academic, education, finance, law, medical treatment, and news. ChiMDQA encompasses long-form documents from six distinct fields, consisting of 6,068 rigorously curated, high-quality question-answer (QA) pairs further classified into ten fine-grained categories. Through meticulous document screening and a systematic question-design methodology, the dataset guarantees both diversity and high quality, rendering it applicable to various NLP tasks such as document comprehension, knowledge extraction, and intelligent QA systems. Additionally, this paper offers a comprehensive overview of the dataset's design objectives, construction methodologies, and fine-grained evaluation system, supplying a substantial foundation for future research and practical applications in Chinese QA. The code and data are available at: https://anonymous.4open.science/r/Foxit-CHiMDQA/.
- Abstract（参考訳）: 自然言語処理(NLP)技術の急速な進歩により、高品質な中国語文書問合せデータセットの需要は着実に伸びている。
この問題に対処するため,中国多文書質問回答データセット(ChiMDQA)について紹介する。
ChiMDQAは、6つの異なる分野から長文の文書を包含し、6,068の厳密なキュレートされた高品質な質問応答(QA)ペアをさらに10の細かいカテゴリに分類する。
厳密な文書スクリーニングと体系的な質問設計手法により、データセットは多様性と高品質の両方を保証し、文書理解、知識抽出、インテリジェントQAシステムといった様々なNLPタスクに適用できる。
さらに,本論文では,提案データセットの設計目標,構築手法,きめ細かい評価システムについて概観し,今後の中国QAにおける研究および実践的応用のための重要な基盤を提供する。
コードとデータは、https://anonymous.4open.science/r/Foxit-CHiMDQA/で入手できる。
関連論文リスト
- AdaDocVQA: Adaptive Framework for Long Document Visual Question Answering in Low-Resource Settings [8.22650587342049]
Document Visual Question Answering (Document VQA)は、低リソース環境で長いドキュメントを処理する場合、重大な課題に直面します。
本稿では、3つのコアイノベーションを通じてこれらの課題に対処する統一適応フレームワークであるAdaDocVQAについて述べる。
日本語文書VQAベンチマークの実験では,Yes/No質問に対して83.04%の精度で大幅な改善が示された。
論文 参考訳（メタデータ） (2025-08-19T08:12:45Z) - MMESGBench: Pioneering Multimodal Understanding and Complex Reasoning Benchmark for ESG Tasks [56.350173737493215]
環境・社会・ガバナンス(ESG)報告は、持続可能性の実践の評価、規制コンプライアンスの確保、財務透明性の促進に不可欠である。
MMESGBenchは、マルチモーダル理解と複雑な推論を、構造的に多種多様なマルチソースESG文書間で評価するための、最初のベンチマークデータセットである。
MMESGBenchは、45のESG文書から得られた933の検証済みQAペアで構成され、7つの異なるドキュメントタイプと3つの主要なESGソースカテゴリにまたがる。
論文 参考訳（メタデータ） (2025-07-25T03:58:07Z) - PeerQA: A Scientific Question Answering Dataset from Peer Reviews [51.95579001315713]
実世界の科学的、文書レベルの質問回答データセットであるPeerQAを提示する。
データセットには208の学術論文から579のQAペアが含まれており、MLとNLPが多数を占めている。
収集したデータセットを詳細に分析し、3つのタスクのベースラインシステムを確立する実験を行う。
論文 参考訳（メタデータ） (2025-02-19T12:24:46Z) - SciDQA: A Deep Reading Comprehension Dataset over Scientific Papers [20.273439120429025]
SciDQAは、科学論文の深い理解のためにLSMに挑戦する、理解を読むための新しいデータセットである。
他の科学的QAデータセットとは異なり、SciDQAはドメインの専門家によるピアレビューや論文の著者による回答から質問を出している。
SciDQAの質問は、図、表、方程式、付属品、補足材料にまたがる推論を必要とする。
論文 参考訳（メタデータ） (2024-11-08T05:28:22Z) - Benchmarking Large Language Models for Conversational Question Answering in Multi-instructional Documents [61.41316121093604]
対話型質問応答(CQA)の文脈における大規模言語モデル(LLM)を評価するための新しいベンチマークであるInsCoQAを提案する。
InsCoQAは、百科事典スタイルの教育内容から派生したもので、複数の文書から手続き的ガイダンスを抽出し、解釈し、正確に要約する能力のモデルを評価する。
また,LLM支援型評価器であるInsEvalを提案する。
論文 参考訳（メタデータ） (2024-10-01T09:10:00Z) - Towards Robust Evaluation: A Comprehensive Taxonomy of Datasets and Metrics for Open Domain Question Answering in the Era of Large Language Models [0.0]
自然言語処理におけるオープンドメイン質問回答(ODQA)は,大規模知識コーパスを用いて,事実質問に回答するシステムを構築する。
高品質なデータセットは、現実的なシナリオでモデルをトレーニングするために使用されます。
標準化されたメトリクスは、異なるODQAシステム間の比較を容易にする。
論文 参考訳（メタデータ） (2024-06-19T05:43:02Z) - HiQA: A Hierarchical Contextual Augmentation RAG for Multi-Documents QA [13.000411428297813]
コンテンツにカスケードメタデータと複数ルート検索機構を統合した,高度な多文書質問応答(MDQA)フレームワークであるHiQAを提案する。
また、MDQAの評価と研究を行うMasQAというベンチマークもリリースしました。
論文 参考訳（メタデータ） (2024-02-01T02:24:15Z) - Towards Complex Document Understanding By Discrete Reasoning [77.91722463958743]
VQA(Document Visual Question Answering)は、自然言語による質問に答えるために、視覚的に豊富なドキュメントを理解することを目的としている。
我々は3,067の文書ページと16,558の質問応答ペアからなる新しいドキュメントVQAデータセットTAT-DQAを紹介する。
我々は,テキスト,レイアウト,視覚画像など,多要素の情報を考慮に入れたMHSTという新しいモデルを開発し,異なるタイプの質問にインテリジェントに対処する。
論文 参考訳（メタデータ） (2022-07-25T01:43:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。