論文の概要: OpenStaxQA: A multilingual dataset based on open-source college textbooks

• arxiv url: http://arxiv.org/abs/2510.06239v1
• Date: Fri, 03 Oct 2025 06:16:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.04638
• Title: OpenStaxQA: A multilingual dataset based on open-source college textbooks
• Title（参考訳）: OpenStaxQA: オープンソースの大学教科書に基づく多言語データセット
• Authors: Pranav Gupta,
• Abstract要約: 本稿では,英語,スペイン語,ポーランド語の43のオープンソース大学教科書をベースとした,大学レベルの教育応用に特化した評価ベンチマークOpenStaxQAを提案する。 我々は、量子化低ランクアダプタ(QLoRa)を用いて、このデータセットに約70億のパラメータを持つ大規模言語モデルを精査し、評価する。
• 参考スコア（独自算出の注目度）: 3.0234554719993856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present OpenStaxQA, an evaluation benchmark specific to college-level educational applications based on 43 open-source college textbooks in English, Spanish, and Polish, available under a permissive Creative Commons license. We finetune and evaluate large language models (LLMs) with approximately 7 billion parameters on this dataset using quantized low rank adapters (QLoRa). Additionally we also perform a zero-shot evaluation on the AI2 reasoning challenge dev dataset in order to check if OpenStaxQA can lead to an improved performance on other tasks. We also discuss broader impacts relevant to datasets such as OpenStaxQA.
• Abstract（参考訳）: 我々は、英語、スペイン語、ポーランド語で43のオープンソース大学教科書に基づいて、大学レベルの教育応用に特化した評価ベンチマークであるOpenStaxQAを、寛容なクリエイティブ・コモンズライセンスの下で提供する。 我々は、このデータセットに約70億のパラメータを持つ大規模言語モデル(LLM)を、量子化低ランクアダプタ(QLoRa)を用いて微調整し評価する。 さらに、OpenStaxQAが他のタスクのパフォーマンス改善につながるかどうかを確認するために、AI2推論チャレンジ開発データセットのゼロショット評価も行います。 また、OpenStaxQAのようなデータセットに関連する広範な影響についても論じる。

関連論文リスト

• INDIC QA BENCHMARK: A Multilingual Benchmark to Evaluate Question Answering capability of LLMs for Indic Languages [25.402797722575805]
  インデックスQAベンチマーク(Indic QA Benchmark)は、インドの主要言語11言語を対象にした、文脈に基づく質問応答のためのデータセットである。 評価の結果,学習データに強い英語バイアスがあるため,低資源言語では弱い性能を示した。 また、入力を英語に翻訳して処理し、その結果をソース言語に変換して出力するTranslate Testパラダイムについても検討した。
  論文  参考訳（メタデータ） (2024-07-18T13:57:16Z)
• Datasets for Multilingual Answer Sentence Selection [59.28492975191415]
  ヨーロッパ5言語(フランス語、ドイツ語、イタリア語、ポルトガル語、スペイン語)でAS2のための新しい高品質データセットを導入する。 その結果、我々のデータセットは、堅牢で強力な多言語AS2モデルを作成する上で重要なものであることが示唆された。
  論文  参考訳（メタデータ） (2024-06-14T16:50:29Z)
• UQA: Corpus for Urdu Question Answering [3.979019316355144]
  本稿では,ウルドゥー語における質問応答とテキスト理解のための新しいデータセットであるUQAを紹介する。 UQAは、大規模な英語QAデータセットであるSQuAD2.0(Stanford Question Answering dataset)を翻訳することによって生成される。 本稿では,Google TranslatorとSeamless M4Tの2つの候補の中から,最適な翻訳モデルを選択し,評価するプロセスについて述べる。
  論文  参考訳（メタデータ） (2024-05-02T16:44:31Z)
• From Multiple-Choice to Extractive QA: A Case Study for English and Arabic [51.13706104333848]
  既存の多言語データセットを新しいNLPタスクに再利用する可能性について検討する。 本稿では,英語および現代標準アラビア語に対するアノテーションガイドラインと並列EQAデータセットを提案する。 我々は、残りの120のBELEBELE言語変種に対して、他の人が我々のアプローチを適用するのを助けることを目指しており、その多くがリソース不足と見なされている。
  論文  参考訳（メタデータ） (2024-04-26T11:46:05Z)
• Building Efficient and Effective OpenQA Systems for Low-Resource Languages [17.64851283209797]
  低コストで効率的な OpenQA システムを低リソース環境向けに開発できることを示す。 主な要素は、機械翻訳されたラベル付きデータセットと関連する非構造化知識ソースを用いた、弱い監視である。 我々は,SQuAD2.0の機械翻訳であるSQuAD-TRを提案する。
  論文  参考訳（メタデータ） (2024-01-07T22:11:36Z)
• Cross-Lingual Question Answering over Knowledge Base as Reading Comprehension [61.079852289005025]
  知識ベース(xKBQA)に対する言語間質問応答は、提供された知識ベースとは異なる言語での質問に答えることを目的としている。 xKBQAが直面する大きな課題の1つは、データアノテーションのコストが高いことである。 読解パラダイムにおけるxKBQAの新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-02-26T05:52:52Z)
• MIA 2022 Shared Task: Evaluating Cross-lingual Open-Retrieval Question Answering for 16 Diverse Languages [54.002969723086075]
  16言語に類型的に多様である言語における言語横断的オープン-検索型問合せシステムの評価を行った。 反復的にマイニングされた多様な負の例を利用する最良のシステムは32.2 F1となり、ベースラインを4.5ポイント上回る。 第2のベストシステムは文書検索にエンティティを意識した文脈表現を使用し、タミル(20.8 F1)の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2022-07-02T06:54:10Z)
• Retrieving and Reading: A Comprehensive Survey on Open-domain Question Answering [62.88322725956294]
  OpenQAの最近の研究動向を概観し、特にニューラルMSC技術を導入したシステムに注目した。 Retriever-Reader' と呼ばれる最新の OpenQA アーキテクチャを導入し、このアーキテクチャに従うさまざまなシステムを分析します。 次に、OpenQAシステムの開発における主要な課題について議論し、一般的に使用されるベンチマークの分析を提供する。
  論文  参考訳（メタデータ） (2021-01-04T04:47:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。