論文の概要: SciKnowEval: Evaluating Multi-level Scientific Knowledge of Large Language Models

• arxiv url: http://arxiv.org/abs/2406.09098v3
• Date: Tue, 08 Oct 2024 03:44:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:28:25.594139
• Title: SciKnowEval: Evaluating Multi-level Scientific Knowledge of Large Language Models
• Title（参考訳）: SciKnowEval:大規模言語モデルの多段階科学的知識の評価
• Authors: Kehua Feng, Keyan Ding, Weijie Wang, Xiang Zhuang, Zeyuan Wang, Ming Qin, Yu Zhao, Jianhua Yao, Qiang Zhang, Huajun Chen,
• Abstract要約: SciKnowEvalベンチマーク(SciKnowEval benchmark)は,5つの科学的知識の段階にわたる大規模言語モデル(LLM)を評価するフレームワークである。 これらのレベルは、記憶、理解、推論、識別、応用を含むLLMにおける科学知識の幅と深さを評価することを目的としている。 ゼロショットと少数ショットのプロンプト戦略を用いて、26の高度なオープンソースおよびプロプライエタリなLCMをベンチマークした。
• 参考スコア（独自算出の注目度）: 35.98892300665275
• License:
• Abstract: Large language models (LLMs) have gained increasing prominence in scientific research, but there is a lack of comprehensive benchmarks to fully evaluate their proficiency in understanding and mastering scientific knowledge. To address this need, we introduce the SciKnowEval benchmark, a novel framework that systematically evaluates LLMs across five progressive levels of scientific knowledge: studying extensively, inquiring earnestly, thinking profoundly, discerning clearly, and practicing assiduously. These levels aim to assess the breadth and depth of scientific knowledge in LLMs, including memory, comprehension, reasoning, discernment, and application. Specifically, we first construct a large-scale evaluation dataset encompassing 70K multi-level scientific problems and solutions in the domains of biology, chemistry, physics, and materials science. By leveraging this dataset, we benchmark 26 advanced open-source and proprietary LLMs using zero-shot and few-shot prompting strategies. The results reveal that despite the state-of-the-art performance of proprietary LLMs, there is still significant room for improvement, particularly in addressing scientific reasoning and applications. We anticipate that SciKnowEval will establish a standard for benchmarking LLMs in science research and promote the development of stronger scientific LLMs. The dataset and code are publicly available at https://scimind.ai/sciknoweval .
• Abstract（参考訳）: 大規模言語モデル (LLM) は科学研究で注目されているが、科学的知識の理解と習得の能力を評価するための総合的なベンチマークが欠如している。 SciKnowEvalベンチマーク(SciKnowEval benchmark)は,5つの段階の科学的知識を体系的に評価する新しいフレームワークである。 これらのレベルは、記憶、理解、推論、識別、応用を含むLLMにおける科学知識の幅と深さを評価することを目的としている。 具体的には, 生物学, 化学, 物理, 材料科学の分野において, 70Kの多段階の科学的問題と解を含む大規模評価データセットを構築した。 このデータセットを活用することで、ゼロショットと少数ショットのプロンプト戦略を使用して、26の高度なオープンソースおよびプロプライエタリなLCMをベンチマークします。 その結果,LLMの最先端性能にもかかわらず,特に科学的推論や応用に対処する上で,改善の余地は依然として大きいことが明らかとなった。 我々は,SciKnowEval が科学研究における LLM のベンチマーク標準を確立し,より強力な科学 LLM の開発を促進することを期待する。 データセットとコードはhttps://scimind.ai/sciknoweval.comで公開されている。

関連論文リスト

• SciLitLLM: How to Adapt LLMs for Scientific Literature Understanding [22.131371019641417]
  大言語モデルの成功にもかかわらず、科学文献理解の課題に直面している。 連続事前学習(CPT)と教師付き微調整(SFT)を統合したハイブリッド戦略を提案する。 我々は科学文献理解に特化したLLMスイートSciLitLLMを提案する。
  論文  参考訳（メタデータ） (2024-08-28T05:41:52Z)
• A Comprehensive Survey of Scientific Large Language Models and Their Applications in Scientific Discovery [68.48094108571432]
  大規模言語モデル(LLM)は、テキストやその他のデータ処理方法に革命をもたらした。 我々は,科学LLM間のクロスフィールドおよびクロスモーダル接続を明らかにすることで,研究ランドスケープのより総合的なビューを提供することを目指している。
  論文  参考訳（メタデータ） (2024-06-16T08:03:24Z)
• Mapping the Increasing Use of LLMs in Scientific Papers [99.67983375899719]
  2020年1月から2024年2月にかけて、arXiv、bioRxiv、Natureのポートフォリオジャーナルで950,965の論文をまとめて、体系的で大規模な分析を行った。 計算機科学の論文では, LLMの使用が着実に増加し, 最大, 最速の成長が観察された。
  論文  参考訳（メタデータ） (2024-04-01T17:45:15Z)
• SciAssess: Benchmarking LLM Proficiency in Scientific Literature Analysis [26.111514038691837]
  SciAssessは、科学文献分析におけるLarge Language Models(LLM)の総合的な評価のためのベンチマークである。 記憶機能評価(L1)、記憶機能評価(L2)、分析・推論機能評価(L3)により,LLMの有効性を徹底的に評価することを目的とする。 それは、生物学、化学、材料、医学など、様々な科学分野から引き出された様々なタスクを含んでいる。
  論文  参考訳（メタデータ） (2024-03-04T12:19:28Z)
• Scientific Large Language Models: A Survey on Biological & Chemical Domains [47.97810890521825]
  大規模言語モデル(LLM)は、自然言語理解の強化において、変革的な力として現れてきた。 LLMの応用は従来の言語境界を超えて、様々な科学分野で開発された専門的な言語システムを含んでいる。 AI for Science(AI for Science)のコミュニティで急成長している分野として、科学LLMは包括的な探査を義務付けている。
  論文  参考訳（メタデータ） (2024-01-26T05:33:34Z)
• Exploring the Cognitive Knowledge Structure of Large Language Models: An Educational Diagnostic Assessment Approach [50.125704610228254]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。 近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。 ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
  論文  参考訳（メタデータ） (2023-10-12T09:55:45Z)
• SciEval: A Multi-Level Large Language Model Evaluation Benchmark for Scientific Research [11.816426823341134]
  これらの問題に対処するための総合的・多分野評価ベンチマークSciEvalを提案する。 ブルームの分類に基づいて、SciEvalは科学的研究能力を体系的に評価する4つの次元をカバーしている。 主観的質問も主観的質問もSciEvalに含まれる。
  論文  参考訳（メタデータ） (2023-08-25T03:05:33Z)
• SciBench: Evaluating College-Level Scientific Problem-Solving Abilities of Large Language Models [70.5763210869525]
  拡張ベンチマークスイートSciBench for Large Language Model (LLM)を導入する。 SciBenchには、数学、化学、物理学の分野から、さまざまな大学レベルの科学的問題を含むデータセットが含まれている。 その結果、現在のLLMは満足のいく性能を達成できないことが判明し、全体のスコアは43.22%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-07-20T07:01:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。