論文の概要: E-EVAL: A Comprehensive Chinese K-12 Education Evaluation Benchmark for Large Language Models

• arxiv url: http://arxiv.org/abs/2401.15927v1
• Date: Mon, 29 Jan 2024 07:34:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 15:54:06.974719
• Title: E-EVAL: A Comprehensive Chinese K-12 Education Evaluation Benchmark for Large Language Models
• Title（参考訳）: 大規模言語モデルのための総合的中国語k-12教育評価ベンチマークe-eval
• Authors: Jinchang Hou, Chang Ao, Haihong Wu, Xiangtao Kong, Zhigang Zheng, Daijia Tang, Chengming Li, Xiping Hu, Ruifeng Xu, Shiwen Ni, Min Yang
• Abstract要約: 我々は,中国のK-12教育分野を対象とした総合的な評価ベンチマークであるE-EVALを紹介する。 E-EVALは、中国語、英語、政治学、歴史、倫理学、物理学、化学、数学、地理学など幅広い分野の小学校、中学校、高校の4,351問からなる。 GPT 4.0よりも多くのスコアが高いが、ほとんどのモデルは数学のような複雑な科目では性能が劣っている。
• 参考スコア（独自算出の注目度）: 44.74622336775077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the accelerating development of Large Language Models (LLMs), many LLMs are beginning to be used in the Chinese K-12 education domain. The integration of LLMs and education is getting closer and closer, however, there is currently no benchmark for evaluating LLMs that focuses on the Chinese K-12 education domain. Therefore, there is an urgent need for a comprehensive natural language processing benchmark to accurately assess the capabilities of various LLMs in the Chinese K-12 education domain. To address this, we introduce the E-EVAL, the first comprehensive evaluation benchmark specifically designed for the Chinese K-12 education field. The E-EVAL consists of 4,351 multiple-choice questions at the primary, middle, and high school levels across a wide range of subjects, including Chinese, English, Politics, History, Ethics, Physics, Chemistry, Mathematics, and Geography. We conducted a comprehensive evaluation of E-EVAL on advanced LLMs, including both English-dominant and Chinese-dominant models. Findings show that Chinese-dominant models perform well compared to English-dominant models, with many scoring even above the GPT 4.0. However, almost all models perform poorly in complex subjects such as mathematics. We also found that most Chinese-dominant LLMs did not achieve higher scores at the primary school level compared to the middle school level. We observe that the mastery of higher-order knowledge by the model does not necessarily imply the mastery of lower-order knowledge as well. Additionally, the experimental results indicate that the Chain of Thought (CoT) technique is effective only for the challenging science subjects, while Few-shot prompting is more beneficial for liberal arts subjects. With E-EVAL, we aim to analyze the strengths and limitations of LLMs in educational applications, and to contribute to the progress and development of Chinese K-12 education and LLMs.
• Abstract（参考訳）: LLM(Large Language Models)の開発が加速し、中国のK-12教育領域で多くのLLMが使われ始めている。 LLMと教育の統合は、近づきつつあるが、中国K-12教育分野に焦点を当てたLCMの評価ベンチマークは、現在存在しない。 そのため、中国k-12教育領域における様々なllmの能力を正確に評価するための総合的自然言語処理ベンチマークが緊急に必要となる。 そこで本研究では,中国のK-12教育分野を対象とした総合評価ベンチマークであるE-EVALを紹介する。 E-EVALは、中国語、英語、政治学、歴史、倫理学、物理学、化学、数学、地理学など幅広い分野の小学校、中学校、高校の4,351問からなる。 先進LLMにおけるE-EVALの包括的評価を行い,英語支配モデルと中国語支配モデルの両方について検討した。 調査の結果、中国支配モデルは英語支配モデルとよく比較され、多くのスコアはGPT 4.0よりも高い。 しかし、ほとんど全てのモデルが数学のような複雑な主題ではうまく機能しない。 また,中国人優位のllmのほとんどが,小学校レベルでは中学レベルよりも高い得点を得られなかった。 我々は,モデルによる高次知識の習得が必ずしも低次知識の習得を示唆するものではないことを観察する。 さらに, 思考の連鎖(CoT)技術は, 挑戦的な科学科目に対してのみ有効であり, ファウショットプロンプトはリベラルアーツ科目にとってより有益であることを示した。 E-EVALでは、教育応用におけるLLMの強みと限界を分析し、中国のK-12教育とLLMの進展と発展に寄与することを目的としている。

関連論文リスト

• MILU: A Multi-task Indic Language Understanding Benchmark [7.652738829153342]
  既存のベンチマークは主に英語に焦点を当てており、Indic言語における大規模言語モデルの評価においてかなりのギャップを残している。 このギャップに対処するために設計された総合評価ベンチマークMILUを紹介する。 インド中心のデザインにより、MILUは地域や州レベルの試験の資料を取り入れ、地域の歴史、芸術、祭典、法律などのトピックを科学や数学のような標準的な主題と共にカバーしている。
  論文  参考訳（メタデータ） (2024-11-04T19:17:17Z)
• Edu-Values: Towards Evaluating the Chinese Education Values of Large Language Models [9.761584874383873]
  大規模言語モデルのアライメント能力を測定するために設計された,中国初の教育価値評価ベンチマークであるEdu-Valuesを提案する。 我々は,複数の選択,多モーダルな質問応答,主観的分析,敵対的プロンプト,伝統的な中国文化に関する質問など,1,418の質問を慎重に設計・コンパイルする。 教育文化の相違により、中国語のLLMは英語のLLMを大きく上回り、Qwen 2は81.37でランクインした。
  論文  参考訳（メタデータ） (2024-09-19T13:02:54Z)
• LHMKE: A Large-scale Holistic Multi-subject Knowledge Evaluation Benchmark for Chinese Large Language Models [46.77647640464652]
  Chinese Large Language Models (LLMs)は、最近、様々なNLPベンチマークと実世界のアプリケーションで印象的な能力を実証した。 大規模・完全・多目的知識評価ベンチマークLHMKEを提案する。 初等学校から専門的認定試験まで、30の科目をカバーする75の課題に10,465の質問がある。
  論文  参考訳（メタデータ） (2024-03-19T10:11:14Z)
• Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet? [82.02076369811402]
  教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。 提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。 そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
  論文  参考訳（メタデータ） (2024-03-04T10:48:13Z)
• LLaMA Beyond English: An Empirical Study on Language Capability Transfer [49.298360366468934]
  我々は、言語生成の能力と指示を英語以外の言語に効果的に伝達する方法に焦点をあてる。 本稿では,語彙拡張や事前学習,トランスファーに対する指導指導などの重要な要因が与える影響について分析する。 C-Eval、MMLU、AGI-Eval、GAokao-Benchの4つの広く使われている標準テストベンチマークを採用しています。
  論文  参考訳（メタデータ） (2024-01-02T06:29:02Z)
• CMMLU: Measuring massive multitask language understanding in Chinese [133.70911295934746]
  本稿では, 自然科学, 社会科学, 工学, 人文科学など, さまざまな分野をカバーする総合的な中国のベンチマークを紹介する。 CMMLUは、中国語の文脈における大きな言語モデルの知識と推論能力の評価におけるギャップを埋める。
  論文  参考訳（メタデータ） (2023-06-15T15:49:51Z)
• C-Eval: A Multi-Level Multi-Discipline Chinese Evaluation Suite for Foundation Models [58.42279750824907]
  C-Evalは、中国語の文脈における基礎モデルの高度な知識と推論能力を評価するために設計された、中国初の総合的な評価スイートである。 C-Evalは、中学、高校、大学、専門職の4つの困難レベルにまたがる複数の質問を含んでいる。 我々は、C-Eval上で最も先進的なLCMについて、英語と中国語の両方のモデルを含む包括的な評価を行う。
  論文  参考訳（メタデータ） (2023-05-15T03:20:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。