論文の概要: A Collection of Question Answering Datasets for Norwegian

• arxiv url: http://arxiv.org/abs/2501.11128v1
• Date: Sun, 19 Jan 2025 17:42:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:25:51.536451
• Title: A Collection of Question Answering Datasets for Norwegian
• Title（参考訳）: ノルウェーにおける質問回答データセットの収集
• Authors: Vladislav Mikhailov, Petter Mæhlum, Victoria Ovedie Chruickshank Langø, Erik Velldal, Lilja Øvrelid,
• Abstract要約: このデータは、世界知識、常識推論、真理性、ノルウェーに関する知識など、幅広いスキルと知識ドメインをカバーしている。 私たちのデータセットは10万以上の質問応答ペアで構成されており、ネイティブスピーカーによって作成されています。 ほとんどのLMは、ニノルスクよりもボクマールの方が優れており、常識的推論にほとんど苦労しており、しばしば疑問に対する答えを生み出すことに不合理である。
• 参考スコア（独自算出の注目度）: 6.149436325733799
• License:
• Abstract: This paper introduces a new suite of question answering datasets for Norwegian; NorOpenBookQA, NorCommonSenseQA, NorTruthfulQA, and NRK-Quiz-QA. The data covers a wide range of skills and knowledge domains, including world knowledge, commonsense reasoning, truthfulness, and knowledge about Norway. Covering both of the written standards of Norwegian - Bokm{\aa}l and Nynorsk - our datasets comprise over 10k question-answer pairs, created by native speakers. We detail our dataset creation approach and present the results of evaluating 11 language models (LMs) in zero- and few-shot regimes. Most LMs perform better in Bokm{\aa}l than Nynorsk, struggle most with commonsense reasoning, and are often untruthful in generating answers to questions. All our datasets and annotation materials are publicly available.
• Abstract（参考訳）: 本稿では,ノルウェーの質問応答データセットであるNorOpenBookQA,NorCommonSenseQA,NorTruthfulQA,NRK-Quiz-QAを紹介する。 このデータは、世界知識、常識推論、真理性、ノルウェーに関する知識など、幅広いスキルと知識ドメインをカバーしている。 ノルウェーのBokm{\aa}lとNynorskの2つの標準をカバーしています。 データセット作成手法を詳述し、ゼロショットと少数ショットで11の言語モデル(LM)を評価する結果を示す。 ほとんどのLMは、ニノルスクよりもBokm{\aa}lの方が優れており、常識的推論にほとんど苦労しており、しばしば質問に対する答えを生成するのに不合理である。 データセットとアノテーションの資料はすべて公開されています。

関連論文リスト

• Benchmarking Abstractive Summarisation: A Dataset of Human-authored Summaries of Norwegian News Articles [8.083472758337559]
  ノルウェーのニュース記事の高品質な人間によるサマリーのデータセットを紹介する。 このデータセットは、生成言語モデルの抽象的な要約能力のベンチマークを目的としている。
  論文  参考訳（メタデータ） (2025-01-13T22:08:29Z)
• Small Languages, Big Models: A Study of Continual Training on Languages of Norway [11.548845014405984]
  大きな言語モデルのトレーニングには大量のデータが必要です。 本稿では,下流の性能を大幅に向上させる新しい3段階連続訓練手法を提案する。 ノルウェーのBokmral、Nynorsk、Northern S'amiに14億のパラメータを持つ新しい生成言語モデル(NorMistral-11B)をリリースする。
  論文  参考訳（メタデータ） (2024-12-09T13:34:23Z)
• From Multiple-Choice to Extractive QA: A Case Study for English and Arabic [51.13706104333848]
  既存の多言語データセットを新しいNLPタスクに再利用する可能性について検討する。 本稿では,英語および現代標準アラビア語に対するアノテーションガイドラインと並列EQAデータセットを提案する。 我々は、残りの120のBELEBELE言語変種に対して、他の人が我々のアプローチを適用するのを助けることを目指しており、その多くがリソース不足と見なされている。
  論文  参考訳（メタデータ） (2024-04-26T11:46:05Z)
• NLEBench+NorGLM: A Comprehensive Empirical Analysis and Benchmark Dataset for Generative Language Models in Norwegian [4.062031248854444]
  ノルウェーの人口はわずか500万人で、NLPのタスクで最も印象的なブレークスルーの中では、表現力に乏しい。 このギャップを埋めるために、既存のノルウェーデータセットをコンパイルし、4つのノルウェーオープン言語モデルを事前訓練しました。 GPT-3.5はノルウェーの文脈を理解する能力に限界があることがわかった。
  論文  参考訳（メタデータ） (2023-12-03T08:09:45Z)
• Boosting Norwegian Automatic Speech Recognition [0.0]
  本稿では,ノルウェーの2つの公用語であるボクマール語とニノルスク語に対する自動音声認識(ASR)モデルについて述べる。 複数のノルウェー語音声データセットにおける様々な大きさのモデルと事前学習アプローチの性能を比較した。 我々は,ノルウェー議会音声コーパス (NPSC) の言語誤り率 (WER) を17.10%から7.60%に改善し,ボクマールでは5.81%,ニノルスクでは11.54%とした。
  論文  参考訳（メタデータ） (2023-07-04T12:05:15Z)
• NorQuAD: Norwegian Question Answering Dataset [0.03281128493853064]
  データセットは、手動で作成した4,752組の質問応答ペアで構成されている。 本稿では,複数の言語モデルとノルウェーの単言語モデルを比較し,その性能を比較した。 データセットは無償で提供される。
  論文  参考訳（メタデータ） (2023-05-03T08:17:07Z)
• Cross-Lingual Question Answering over Knowledge Base as Reading Comprehension [61.079852289005025]
  知識ベース(xKBQA)に対する言語間質問応答は、提供された知識ベースとは異なる言語での質問に答えることを目的としている。 xKBQAが直面する大きな課題の1つは、データアノテーションのコストが高いことである。 読解パラダイムにおけるxKBQAの新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-02-26T05:52:52Z)
• NusaCrowd: Open Source Initiative for Indonesian NLP Resources [104.5381571820792]
  NusaCrowdは、インドネシア語の既存のリソースを収集し、統一する共同イニシアチブである。 我々の研究は、広く話されているにもかかわらず表現されていない言語に対する自然言語処理(NLP)の研究を進めようとしている。
  論文  参考訳（メタデータ） (2022-12-19T17:28:22Z)
• Towards Complex Document Understanding By Discrete Reasoning [77.91722463958743]
  VQA(Document Visual Question Answering)は、自然言語による質問に答えるために、視覚的に豊富なドキュメントを理解することを目的としている。 我々は3,067の文書ページと16,558の質問応答ペアからなる新しいドキュメントVQAデータセットTAT-DQAを紹介する。 我々は,テキスト,レイアウト,視覚画像など,多要素の情報を考慮に入れたMHSTという新しいモデルを開発し,異なるタイプの質問にインテリジェントに対処する。
  論文  参考訳（メタデータ） (2022-07-25T01:43:19Z)
• NorDiaChange: Diachronic Semantic Change Dataset for Norwegian [63.65426535861836]
  NorDiaChangeはノルウェーにおける最初のダイアクロニックなセマンティックチェンジデータセットである。 ノルウェーの約80の名詞が、時間とともに格付けされた意味変化で注釈付けされている。
  論文  参考訳（メタデータ） (2022-01-13T18:27:33Z)
• IIRC: A Dataset of Incomplete Information Reading Comprehension Questions [53.3193258414806]
  我々は、英語Wikipediaの段落に13K以上の質問があるIIRCというデータセットを提示する。 質問は、リンクされた文書にアクセスできなかった群衆労働者によって書かれた。 我々は、このデータセットのベースラインモデルを構築するために、様々な読解データセットに関する最近のモデリング作業に従う。
  論文  参考訳（メタデータ） (2020-11-13T20:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。