論文の概要: mCSQA: Multilingual Commonsense Reasoning Dataset with Unified Creation Strategy by Language Models and Humans

• arxiv url: http://arxiv.org/abs/2406.04215v1
• Date: Thu, 6 Jun 2024 16:14:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 14:10:28.837922
• Title: mCSQA: Multilingual Commonsense Reasoning Dataset with Unified Creation Strategy by Language Models and Humans
• Title（参考訳）: mCSQA:言語モデルと人間による統一創造戦略を用いた多言語コモンセンス推論データセット
• Authors: Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe,
• Abstract要約: 言語固有の知識と常識のためにデータセットをキュレートすることは困難である。 現在の多言語データセットの多くは翻訳によって作成されており、そのような言語固有の側面を評価できない。 CSQAの構築プロセスに基づくマルチ言語コモンセンスQA(mCSQA)を提案する。
• 参考スコア（独自算出の注目度）: 27.84922167294656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is very challenging to curate a dataset for language-specific knowledge and common sense in order to evaluate natural language understanding capabilities of language models. Due to the limitation in the availability of annotators, most current multilingual datasets are created through translation, which cannot evaluate such language-specific aspects. Therefore, we propose Multilingual CommonsenseQA (mCSQA) based on the construction process of CSQA but leveraging language models for a more efficient construction, e.g., by asking LM to generate questions/answers, refine answers and verify QAs followed by reduced human efforts for verification. Constructed dataset is a benchmark for cross-lingual language-transfer capabilities of multilingual LMs, and experimental results showed high language-transfer capabilities for questions that LMs could easily solve, but lower transfer capabilities for questions requiring deep knowledge or commonsense. This highlights the necessity of language-specific datasets for evaluation and training. Finally, our method demonstrated that multilingual LMs could create QA including language-specific knowledge, significantly reducing the dataset creation cost compared to manual creation. The datasets are available at https://huggingface.co/datasets/yusuke1997/mCSQA.
• Abstract（参考訳）: 言語モデルの自然言語理解能力を評価するために,言語固有の知識と常識のデータセットをキュレートすることは極めて困難である。 アノテータの可用性が制限されているため、現在の多言語データセットのほとんどは翻訳によって作成され、そのような言語固有の側面を評価できない。 そこで本研究では,CSQAの構築プロセスに基づいた多言語共通言語QA(mCSQA)を提案する。 構成データセットは多言語LMの言語間変換能力のベンチマークであり、実験結果は、LMが容易に解ける質問に対して高い言語間変換能力を示したが、深い知識や常識を必要とする質問に対する転送能力は低かった。 これは、評価とトレーニングのための言語固有のデータセットの必要性を強調している。 最後に,多言語LMが言語固有の知識を含むQAを生成できることを示した。 データセットはhttps://huggingface.co/datasets/yusuke 1997/mCSQAで公開されている。

関連論文リスト

• Cross-lingual Transfer for Automatic Question Generation by Learning Interrogative Structures in Target Languages [6.635572580071933]
  本稿では,モノリンガル,並列,ラベル付きデータを対象言語で必要とせずに動作可能な,単純かつ効率的なXLT-QG法を提案する。 提案手法は,GPT-3.5-turboに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2024-10-04T07:29:35Z)
• INDIC QA BENCHMARK: A Multilingual Benchmark to Evaluate Question Answering capability of LLMs for Indic Languages [26.13077589552484]
  Indic-QAは、2つの言語ファミリーから11の主要なインドの言語に対して、公開可能なコンテキストベース質問答えデータセットとして最大である。 我々は、Geminiモデルを用いて合成データセットを生成し、パスを与えられた質問応答ペアを作成し、品質保証のために手作業で検証する。 様々な多言語大言語モデルと,その命令を微調整した変種をベンチマークで評価し,その性能,特に低リソース言語について検討した。
  論文  参考訳（メタデータ） (2024-07-18T13:57:16Z)
• MST5 -- Multilingual Question Answering over Knowledge Graphs [1.6470999044938401]
  知識グラフ質問回答(KGQA)は、自然言語を用いたグラフベースモデルに格納された膨大な知識のクエリを単純化する。 既存の多言語KGQAシステムは、英語システムに匹敵する性能を達成するための課題に直面している。 本稿では,言語コンテキストとエンティティ情報を言語モデルの処理パイプラインに直接組み込むことで,多言語KGQAシステムを強化するための簡易なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-07-08T15:37:51Z)
• Towards Building an End-to-End Multilingual Automatic Lyrics Transcription Model [14.39119862985503]
  利用可能なデータセットを用いた多言語ALTシステムの構築を目指している。 英語のALTに有効であることが証明されたアーキテクチャにヒントを得て,これらの手法を多言語シナリオに適用する。 単言語モデルと比較して,多言語モデルの性能を評価する。
  論文  参考訳（メタデータ） (2024-06-25T15:02:32Z)
• Can a Multichoice Dataset be Repurposed for Extractive Question Answering? [52.28197971066953]
  我々は,Multiple-choice Question answering (MCQA)のために設計されたBandarkar et al.(Bandarkar et al., 2023)を再利用した。 本稿では,英語と現代標準アラビア語(MSA)のためのガイドラインと並列EQAデータセットを提案する。 私たちの目標は、ベレベレにおける120以上の言語変異に対して、他者が私たちのアプローチを適応できるようにすることです。
  論文  参考訳（メタデータ） (2024-04-26T11:46:05Z)
• How do Large Language Models Handle Multilingualism? [81.15060972112563]
  本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。 LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。 中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
  論文  参考訳（メタデータ） (2024-02-29T02:55:26Z)
• UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised Fine-tuning Dataset [69.33424532827608]
  オープンソースの大規模言語モデル(LLM)は、様々な分野において大きな強みを持っている。 本研究では,オープンソースの多言語教師付き微調整データセットを構築する。 結果として得られたUltraLinkデータセットは、5つの言語にわたる約100万のサンプルで構成されている。
  論文  参考訳（メタデータ） (2024-02-07T05:05:53Z)
• The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants [80.4837840962273]
  私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。 このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-08-31T17:43:08Z)
• Towards More Equitable Question Answering Systems: How Much More Data Do You Need? [15.401330338654203]
  ステップバックして、既存のリソースを最大限に活用して、多くの言語でQAシステムを開発するためのアプローチを研究します。 具体的には、自動翻訳とコンテキスト-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せの順に拡張された数ショットアプローチの有効性を評価するために、広範囲に分析を行った。 我々は、QAデータセットやシステムの言語カバレッジを高めることを目的として、固定アノテーション予算をより活用するための将来のデータセット開発活動を提案する。
  論文  参考訳（メタデータ） (2021-05-28T21:32:04Z)
• Multilingual Answer Sentence Reranking via Automatically Translated Data [97.98885151955467]
  本稿では,現代の質問応答システム(QA)のコアコンポーネントである,多言語回答文選択(AS2)モデルの設計について述べる。 主なアイデアは、あるリソースリッチ言語(英語など)から、他の言語へのデータ転送であり、リソースの観点からはよりリッチである。
  論文  参考訳（メタデータ） (2021-02-20T03:52:08Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。