論文の概要: Chinese SimpleQA: A Chinese Factuality Evaluation for Large Language Models

• arxiv url: http://arxiv.org/abs/2411.07140v1
• Date: Mon, 11 Nov 2024 17:10:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:10:11.176826
• Title: Chinese SimpleQA: A Chinese Factuality Evaluation for Large Language Models
• Title（参考訳）: 中国語SimpleQA:大言語モデルのための中国語のファクチュアリティ評価
• Authors: Yancheng He, Shilong Li, Jiaheng Liu, Yingshui Tan, Hui Huang, Weixun Wang, Xingyuan Bu, Hangyu Guo, Chengwei Hu, Boren Zheng, Xuepeng Liu, Dekai Sun, Wenbo Su, Bo Zheng,
• Abstract要約: 中国語SimpleQAは、短い質問に答える言語モデルの事実性を評価する最初の包括的な中国のベンチマークである。 私たちは、99の多様なサブトピックを持つ6つの主要なトピックに関する中国語に焦点を当てています。
• 参考スコア（独自算出の注目度）: 26.342730773245265
• License:
• Abstract: New LLM evaluation benchmarks are important to align with the rapid development of Large Language Models (LLMs). In this work, we present Chinese SimpleQA, the first comprehensive Chinese benchmark to evaluate the factuality ability of language models to answer short questions, and Chinese SimpleQA mainly has five properties (i.e., Chinese, Diverse, High-quality, Static, Easy-to-evaluate). Specifically, first, we focus on the Chinese language over 6 major topics with 99 diverse subtopics. Second, we conduct a comprehensive quality control process to achieve high-quality questions and answers, where the reference answers are static and cannot be changed over time. Third, following SimpleQA, the questions and answers are very short, and the grading process is easy-to-evaluate based on OpenAI API. Based on Chinese SimpleQA, we perform a comprehensive evaluation on the factuality abilities of existing LLMs. Finally, we hope that Chinese SimpleQA could guide the developers to better understand the Chinese factuality abilities of their models and facilitate the growth of foundation models.
• Abstract（参考訳）: 新しいLLM評価ベンチマークは、Large Language Models (LLMs) の急速な開発に対応するために重要である。 本研究では,中国語の簡易QAについて,中国語モデルで短時間の質問に答える事実性を評価するための,最初の総合的な中国語ベンチマークとして,中国語SimpleQAについて紹介する。 具体的には、まず、99の多様なサブトピックを持つ6つの主要なトピックについて、中国語に焦点を当てます。 第2に,基準回答が静的であり,時間とともに変更できないような,高品質な質問や回答を実現するための総合的な品質管理プロセスを実行する。 第3に、SimpleQAに従うと、質問と回答は非常に短く、グルーピングプロセスはOpenAI APIに基づいて簡単に評価できる。 中国語のSimpleQAに基づいて,既存のLLMの事実性に関する総合的な評価を行う。 最後に、中国のSimpleQAは、開発者が彼らのモデルの中国の事実性能力をよりよく理解し、基礎モデルの成長を促進することを願っている。

関連論文リスト

• TurkishMMLU: Measuring Massive Multitask Language Understanding in Turkish [54.51310112013655]
  本稿では,最初のマルチタスク,複数選択のトルコQAベンチマーク,トルコMMLUを紹介する。 トルコMMLUには1万以上の質問があり、トルコの高校教育カリキュラムとは9つの異なるテーマをカバーしている。 多言語オープンソース(Gemma、Llama、MT5)、クローズドソース(GPT 4o、Claude、Gemini)、トルコ適応モデル(Trendyolなど)を含む20以上のLLMを評価した。
  論文  参考訳（メタデータ） (2024-07-17T08:28:55Z)
• Measuring Taiwanese Mandarin Language Understanding [24.581360653015423]
  大規模言語モデル(LLM)における高度な知識と推論能力を評価するための総合評価スーツであるTMLUを提案する。 TMLUは、社会科学、STEM、人文科学、台湾固有のコンテンツなど、中学から専門レベルまで、37の被験者からなる。
  論文  参考訳（メタデータ） (2024-03-29T13:56:21Z)
• Let LLMs Take on the Latest Challenges! A Chinese Dynamic Question Answering Benchmark [69.3415799675046]
  我々は,中国インターネットの最新ニュースに関連する質問対を含む中国の動的QAベンチマークCDQAを紹介する。 我々は、人間とモデルを組み合わせたパイプラインを通じて高品質なデータを得る。 また,CDQA上での中国LLMの評価と分析を行った。
  論文  参考訳（メタデータ） (2024-02-29T15:22:13Z)
• CIF-Bench: A Chinese Instruction-Following Benchmark for Evaluating the Generalizability of Large Language Models [53.9835961434552]
  本研究では,中国語に対する大規模言語モデル(LLM)の一般化性を評価するために,中国語命令追跡ベンチマーク(CIF-Bench)を導入する。 CIF-Benchは150のタスクと15,000の入力出力ペアで構成され、複雑な推論と中国の文化的ニュアンスをテストするためにネイティブスピーカーによって開発された。 データ汚染を軽減するため、データセットの半分しか公開せず、残りは非公開であり、スコア分散を最小限に抑えるために多種多様な命令を導入する。
  論文  参考訳（メタデータ） (2024-02-20T16:02:12Z)
• CMMLU: Measuring massive multitask language understanding in Chinese [133.70911295934746]
  本稿では, 自然科学, 社会科学, 工学, 人文科学など, さまざまな分野をカバーする総合的な中国のベンチマークを紹介する。 CMMLUは、中国語の文脈における大きな言語モデルの知識と推論能力の評価におけるギャップを埋める。
  論文  参考訳（メタデータ） (2023-06-15T15:49:51Z)
• M3Exam: A Multilingual, Multimodal, Multilevel Benchmark for Examining Large Language Models [76.88692952308084]
  M3Examは、多言語、マルチモーダル、マルチレベルコンテキストにおける大規模言語モデル(LLM)を評価するためのベンチマークである。 M3Examには、9つの言語で12,317の質問があり、3つの教育レベルがある。 我々は,M3Exam上でのLLMの性能評価を行い,GPT-4を含む現在のモデルが多言語テキストに苦戦していることを確認した。
  論文  参考訳（メタデータ） (2023-06-08T13:21:29Z)
• C-Eval: A Multi-Level Multi-Discipline Chinese Evaluation Suite for Foundation Models [58.42279750824907]
  C-Evalは、中国語の文脈における基礎モデルの高度な知識と推論能力を評価するために設計された、中国初の総合的な評価スイートである。 C-Evalは、中学、高校、大学、専門職の4つの困難レベルにまたがる複数の質問を含んでいる。 我々は、C-Eval上で最も先進的なLCMについて、英語と中国語の両方のモデルを含む包括的な評価を行う。
  論文  参考訳（メタデータ） (2023-05-15T03:20:19Z)
• Intrinsic Knowledge Evaluation on Chinese Language Models [5.293979881130493]
  本稿では, 統語的, 意味的, 常識的, 事実的知識の4つの課題について, 合計39,308ドルの質問に集約する。 我々の調査と知識データは、事前訓練された中国のLMを評価するための信頼性の高いベンチマークであることが証明されている。
  論文  参考訳（メタデータ） (2020-11-29T04:34:39Z)
• CLUE: A Chinese Language Understanding Evaluation Benchmark [41.86950255312653]
  最初の大規模中国語理解評価(CLUE)ベンチマークを紹介する。 CLUEは、確立された1文/文ペアの分類タスクにまたがる9つのタスクと、機械読み取りの理解を提供する。 我々は、現在最先端の中国のモデルを用いてスコアを報告する。
  論文  参考訳（メタデータ） (2020-04-13T15:02:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。