論文の概要: MULTITAT: Benchmarking Multilingual Table-and-Text Question Answering

• arxiv url: http://arxiv.org/abs/2502.17253v1
• Date: Mon, 24 Feb 2025 15:34:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:55:08.645113
• Title: MULTITAT: Benchmarking Multilingual Table-and-Text Question Answering
• Title（参考訳）: MultiTAT: マルチランガル・テーブル・アンド・テキスト質問回答のベンチマーク
• Authors: Xuanliang Zhang, Dingzirui Wang, Keyan Xu, Qingfu Zhu, Wanxiang Che,
• Abstract要約: 既存のTATQAデータセットは英語に限られている。 彼らは多言語TAT-QAの課題を見落としている。 表やテキストが英語以外の言語に頻繁に現れる現実世界のシナリオを反映していない。
• 参考スコア（独自算出の注目度）: 44.89146464166763
• License:
• Abstract: Question answering on the hybrid context of tables and text (TATQA) is a critical task, with broad applications in data-intensive domains. However, existing TATQA datasets are limited to English, leading to several drawbacks: (i) They overlook the challenges of multilingual TAT-QA and cannot assess model performance in the multilingual setting. (ii) They do not reflect real-world scenarios where tables and texts frequently appear in non-English languages. To address the limitations, we propose the first multilingual TATQA dataset (MULTITAT). Specifically, we sample data from 3 mainstream TATQA datasets and translate it into 10 diverse languages. To align the model TATQA capabilities in English with other languages, we develop a baseline, Ours. Experimental results reveal that the performance on non-English data in MULTITAT drops by an average of 19.4% compared to English, proving the necessity of MULTITAT. We further analyze the reasons for this performance gap. Furthermore, Ours outperforms other baselines by an average of 3.3, demonstrating its effectiveness.
• Abstract（参考訳）: テーブルとテキスト(TATQA)のハイブリッドコンテキストに対する質問応答は重要な課題であり、データ集約ドメインに広く適用されている。 しかし、既存のTATQAデータセットは英語に限られており、いくつかの欠点がある。 (i)多言語TAT-QAの課題を見落とし、多言語環境でのモデル性能を評価することができない。 (ii) 表やテキストが英語以外の言語に頻繁に現れる現実世界のシナリオを反映しない。 この制限に対処するため,最初の多言語TATQAデータセット(MULTITAT)を提案する。 具体的には、3つの主流TATQAデータセットからデータをサンプリングし、10の多言語に翻訳する。 英語のTATQA能力を他の言語と整合させるため,ベースラインであるOursを開発した。 実験結果から、MultiTATの非英語データの性能は英語と比較して平均19.4%低下し、MultiTATの必要性が証明された。 このパフォーマンスギャップの理由をさらに分析します。 さらに、Oursは他のベースラインを平均3.3で上回り、その効果を示す。

関連論文リスト

• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  大きな言語モデル(LLM)は、翻訳、コード生成、推論といったタスクにまたがる様々な多言語機能を示す。 以前の評価では、その範囲を基本自然言語処理(NLP)や、独立した機能固有のタスクに制限することが多かった。 我々は、これらのベンチマークの有用性に関する以前の研究の監視に対処するため、大規模ベンチマークから利用可能な、合理的なベンチマークを選択するパイプラインを提案する。 本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• Cross-lingual Transfer for Automatic Question Generation by Learning Interrogative Structures in Target Languages [6.635572580071933]
  本稿では,モノリンガル,並列,ラベル付きデータを対象言語で必要とせずに動作可能な,単純かつ効率的なXLT-QG法を提案する。 提案手法は,GPT-3.5-turboに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2024-10-04T07:29:35Z)
• Datasets for Multilingual Answer Sentence Selection [59.28492975191415]
  ヨーロッパ5言語(フランス語、ドイツ語、イタリア語、ポルトガル語、スペイン語)でAS2のための新しい高品質データセットを導入する。 その結果、我々のデータセットは、堅牢で強力な多言語AS2モデルを作成する上で重要なものであることが示唆された。
  論文  参考訳（メタデータ） (2024-06-14T16:50:29Z)
• CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark [68.21939124278065]
  言語と文化の豊富なセットをカバーするために設計された、文化的に多言語なビジュアル質問回答ベンチマーク。 CVQAには文化的に駆動されたイメージと、4大陸30カ国の質問が含まれ、31の言語と13のスクリプトをカバーし、合計10万の質問を提供する。 CVQA上で複数のマルチモーダル大言語モデル (MLLM) をベンチマークし、現在の最先端モデルではデータセットが困難であることを示す。
  論文  参考訳（メタデータ） (2024-06-10T01:59:00Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• Delving Deeper into Cross-lingual Visual Question Answering [115.16614806717341]
  標準学習装置に簡単な修正を加えることで、モノリンガル英語のパフォーマンスへの移行ギャップを大幅に減らすことができることを示す。 多言語マルチモーダル変換器の多言語間VQAを多言語間VQAで解析する。
  論文  参考訳（メタデータ） (2022-02-15T18:22:18Z)
• Synthetic Data Augmentation for Zero-Shot Cross-Lingual Question Answering [8.558954185502012]
  付加的な注釈データを必要とすることなく,言語間質問応答性能を向上させる手法を提案する。 MLQA, XQuAD, SQuAD-it, PIAF (fr) の4つの多言語データセットに関する最新情報について報告する。
  論文  参考訳（メタデータ） (2020-10-23T20:09:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。