論文の概要: BEnQA: A Question Answering and Reasoning Benchmark for Bengali and English
- arxiv url: http://arxiv.org/abs/2403.10900v1
- Date: Sat, 16 Mar 2024 11:27:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 21:06:03.179782
- Title: BEnQA: A Question Answering and Reasoning Benchmark for Bengali and English
- Title（参考訳）: BEnQA:ベンガル語と英語のための質問回答と推論ベンチマーク
- Authors: Sheikh Shafayat, H M Quamran Hasan, Minhajur Rahman Chowdhury Mahim, Rifki Afina Putri, James Thorne, Alice Oh,
- Abstract要約: バングラデシュの中・高校生を対象に,ベンガル語と英語の同時試験質問からなるデータセットBEnQAを紹介した。
我々のデータセットは, 事実, 応用, 推論に基づく質問など, さまざまなタイプの質問を科学の複数の被験者にカバーする約5Kの質問で構成されている。
並列データセットを用いて複数のLarge Language Model (LLM) をベンチマークし、ベンガル語と英語のモデルの顕著な性能格差を観察する。
- 参考スコア（独自算出の注目度）: 18.217122567176585
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this study, we introduce BEnQA, a dataset comprising parallel Bengali and English exam questions for middle and high school levels in Bangladesh. Our dataset consists of approximately 5K questions covering several subjects in science with different types of questions, including factual, application, and reasoning-based questions. We benchmark several Large Language Models (LLMs) with our parallel dataset and observe a notable performance disparity between the models in Bengali and English. We also investigate some prompting methods, and find that Chain-of-Thought prompting is beneficial mostly on reasoning questions, but not so much on factual ones. We also find that appending English translation helps to answer questions in Bengali. Our findings point to promising future research directions for improving the performance of LLMs in Bengali and more generally in low-resource languages.
- Abstract（参考訳）: 本研究では,バングラデシュの中・高校生を対象に,ベンガル語と英語の同時試験質問からなるデータセットであるBEnQAを紹介する。
我々のデータセットは, 事実, 応用, 推論に基づく質問など, さまざまなタイプの質問を科学の複数の被験者にカバーする約5Kの質問で構成されている。
並列データセットを用いて複数のLarge Language Model (LLM) をベンチマークし、ベンガル語と英語のモデルの顕著な性能格差を観察する。
また、いくつかのプロンプト手法についても検討し、チェーン・オブ・ソート(Chain-of-Thought)のプロンプトは、主に推論の問題に役立ちますが、現実の問題にはあまり役立ちません。
また、英語の付加翻訳はベンガル語で質問に答えるのに役立ちます。
本研究は,ベンガル語およびより一般的に低リソース言語におけるLLMの性能向上に向けた今後の研究の方向性を示唆するものである。
関連論文リスト
- BanglaQuAD: A Bengali Open-domain Question Answering Dataset [6.228978072962629]
ベンガル語は地球上で7番目に話される言語であるが、自然言語処理(NLP)の分野では低リソース言語と考えられている。
本稿では,ベンガル語ウィキペディアの記事から構築した30,808組の質問応答ペアを母語話者によって構成したベンガル語質問応答データセットであるBanglaQuADを紹介する。
論文 参考訳（メタデータ） (2024-10-14T07:39:59Z) - How to Engage Your Readers? Generating Guiding Questions to Promote Active Reading [60.19226384241482]
教科書や科学論文から10Kのインテキスト質問のデータセットであるGuidingQを紹介した。
言語モデルを用いてこのような質問を生成するための様々なアプローチを探索する。
我々は、そのような質問が読解に与える影響を理解するために、人間の研究を行う。
論文 参考訳（メタデータ） (2024-07-19T13:42:56Z) - Too Late to Train, Too Early To Use? A Study on Necessity and Viability of Low-Resource Bengali LLMs [2.309018557701645]
低リソース言語専用の英語指向の大規模言語モデルの必要性について検討する。
オープンウェイトおよびクローズドソースLLMの性能を、微調整エンコーダデコーダモデルと比較する。
LLMは一般的に推論タスクに優れるが,Bengaliスクリプト生成を必要とするタスクのパフォーマンスは不整合である。
論文 参考訳（メタデータ） (2024-06-29T11:50:16Z) - CaLMQA: Exploring culturally specific long-form question answering across 23 languages [58.18984409715615]
CaLMQAは、23の言語にまたがる1.5Kの文化的に特定の質問のコレクションであり、51の文化的に翻訳された質問は、英語から22の言語に翻訳されている。
コミュニティのWebフォーラムから自然に発生する質問を収集し、ネイティブスピーカーを雇い、FijianやKirndiといった未調査言語をカバーする質問を書いています。
私たちのデータセットには、文化的トピック(伝統、法律、ニュースなど)とネイティブスピーカーの言語使用を反映した、多種多様な複雑な質問が含まれています。
論文 参考訳（メタデータ） (2024-06-25T17:45:26Z) - Can a Multichoice Dataset be Repurposed for Extractive Question Answering? [52.28197971066953]
我々は,Multiple-choice Question answering (MCQA)のために設計されたBandarkar et al.(Bandarkar et al., 2023)を再利用した。
本稿では,英語と現代標準アラビア語(MSA)のためのガイドラインと並列EQAデータセットを提案する。
私たちの目標は、ベレベレにおける120以上の言語変異に対して、他者が私たちのアプローチを適応できるようにすることです。
論文 参考訳（メタデータ） (2024-04-26T11:46:05Z) - Which questions should I answer? Salience Prediction of Inquisitive Questions [118.097974193544]
非常に健全な質問は、同じ記事で経験的に答えられる可能性が高いことを示す。
質問に対する回答が,ニュースの要約品質の指標であることを示すことで,我々の知見をさらに検証する。
論文 参考訳（メタデータ） (2024-04-16T21:33:05Z) - Loose LIPS Sink Ships: Asking Questions in Battleship with Language-Informed Program Sampling [80.64715784334936]
ボードゲーム「バトルシップ」に基づく古典的根拠付き質問応答課題におけるトレードオフについて検討する。
我々のモデルは,大規模言語モデル(LLM)を用いて自然言語の質問を生成し,それらを記号型プログラムに変換し,期待される情報取得を評価する。
驚くほど控えめなリソース予算で、このシンプルなモンテカルロ最適化戦略は、人間のパフォーマンスを反映する有意義な質問をもたらす。
論文 参考訳（メタデータ） (2024-02-29T18:58:15Z) - Question Translation Training for Better Multilingual Reasoning [108.10066378240879]
大規模言語モデルは推論タスクにおいて魅力的なパフォーマンスを示すが、英語以外の言語ではより悪いパフォーマンスを示す傾向がある。
典型的な解決策は、命令データを興味のあるすべての言語に翻訳し、結果の多言語データをトレーニングすることである。
本稿では,X- English parallel question dataを微調整することで,推論する質問を英語に翻訳するモデルを訓練する。
論文 参考訳（メタデータ） (2024-01-15T16:39:10Z) - BenCoref: A Multi-Domain Dataset of Nominal Phrases and Pronominal
Reference Annotations [0.0]
我々は、4つの異なるドメインから収集されたBengaliテキストのコア参照アノテーションを含む新しいデータセットBenCorefを紹介した。
この比較的小さなデータセットには、48,569トークン内に502の参照クラスタを形成する5200の参照アノテーションが含まれている。
論文 参考訳（メタデータ） (2023-04-07T15:08:46Z) - ELQA: A Corpus of Metalinguistic Questions and Answers about English [24.006858451437534]
2つのオンラインフォーラムから集められた70k以上の質問は、文法、意味、流布、語源など幅広いトピックをカバーしている。
ほとんどのNLPデータセットとは異なり、このコーパスはメタ言語であり、言語に関する言語で構成されています。
論文 参考訳（メタデータ） (2022-05-01T04:29:50Z) - Not Low-Resource Anymore: Aligner Ensembling, Batch Filtering, and New
Datasets for Bengali-English Machine Translation [6.2418269277908065]
ベンガル語は世界で7番目に広く話されている言語であるにもかかわらず、資源不足のため機械翻訳文学にはあまり注目されていない。
我々はBengali用にカスタマイズされた文セグメンタを構築し、低リソース環境における並列コーパス生成のための2つの新しい手法を提案する。
セグメンタと2つの手法を組み合わせることで、275万文対からなる高品質なベンガル英語並列コーパスをコンパイルする。
論文 参考訳（メタデータ） (2020-09-20T06:06:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。