論文の概要: EarthSE: A Benchmark Evaluating Earth Scientific Exploration Capability for Large Language Models

• arxiv url: http://arxiv.org/abs/2505.17139v1
• Date: Thu, 22 May 2025 06:46:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.601921
• Title: EarthSE: A Benchmark Evaluating Earth Scientific Exploration Capability for Large Language Models
• Title（参考訳）: EarthSE: 大規模言語モデルの地球科学探査能力を評価するベンチマーク
• Authors: Wanghan Xu, Xiangyu Zhao, Yuhao Zhou, Xiaoyu Yue, Ben Fei, Fenghua Ling, Wenlong Zhang, Lei Bai,
• Abstract要約: 本研究では,大言語モデル(LLM)の科学的探索能力を評価するために,地球科学の専門的なベンチマークを示す。 10万件の研究論文のコーパスを活用して、まず2つのQAデータセット(アース・アイロンとアース・シルバー)を構築します。 これらのデータセットは、5つの地球圏、114の分野、11のタスクカテゴリを含み、科学的探索に不可欠な知識を評価する。
• 参考スコア（独自算出の注目度）: 36.72915099998998
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Advancements in Large Language Models (LLMs) drive interest in scientific applications, necessitating specialized benchmarks such as Earth science. Existing benchmarks either present a general science focus devoid of Earth science specificity or cover isolated subdomains, lacking holistic evaluation. Furthermore, current benchmarks typically neglect the assessment of LLMs' capabilities in open-ended scientific exploration. In this paper, we present a comprehensive and professional benchmark for the Earth sciences, designed to evaluate the capabilities of LLMs in scientific exploration within this domain, spanning from fundamental to advanced levels. Leveraging a corpus of 100,000 research papers, we first construct two Question Answering (QA) datasets: Earth-Iron, which offers extensive question coverage for broad assessment, and Earth-Silver, which features a higher level of difficulty to evaluate professional depth. These datasets encompass five Earth spheres, 114 disciplines, and 11 task categories, assessing foundational knowledge crucial for scientific exploration. Most notably, we introduce Earth-Gold with new metrics, a dataset comprising open-ended multi-turn dialogues specifically designed to evaluate the advanced capabilities of LLMs in scientific exploration, including methodology induction, limitation analysis, and concept proposal. Extensive experiments reveal limitations in 11 leading LLMs across different domains and tasks, highlighting considerable room for improvement in their scientific exploration capabilities. The benchmark is available on https://huggingface.co/ai-earth .
• Abstract（参考訳）: LLM(Large Language Models)の進歩は、地球科学のような特別なベンチマークを必要とする科学応用への関心を喚起する。 既存のベンチマークでは、地球科学の特異性を欠いた一般的な科学の焦点を示すか、孤立したサブドメインをカバーし、全体的な評価を欠いている。 さらに、現在のベンチマークは、通常、オープンエンドの科学探査におけるLLMの能力の評価を無視する。 本稿では,地球科学の総合的かつ専門的なベンチマークを行い,この領域における科学探査におけるLLMの能力を評価する。 10万件の研究論文のコーパスを活用して、まず2つの質問回答(QA)データセットを構築します。 これらのデータセットは、5つの地球圏、114の分野、11のタスクカテゴリを含み、科学探査に不可欠な基礎知識を評価する。 とくに、科学探査におけるLLMの高度な能力を評価するために設計されたオープンエンドマルチターン対話を含むデータセットである、新しいメトリクスを備えたアースゴールドを紹介した。 大規模な実験では、異なる領域やタスクにまたがる11のLLMの制限が示され、科学的な探索能力を改善する余地が浮かび上がっている。 ベンチマークはhttps://huggingface.co/ai-earth.orgで公開されている。

関連論文リスト

• ResearchBench: Benchmarking LLMs in Scientific Discovery via Inspiration-Based Task Decomposition [67.26124739345332]
  大規模言語モデル(LLM)は科学的研究を支援する可能性を示しているが、高品質な研究仮説を発見する能力はいまだ検討されていない。 我々は,LLMを科学的発見のサブタスクのほぼ十分セットで評価するための,最初の大規模ベンチマークを紹介する。 学術論文から重要コンポーネント(研究質問、背景調査、インスピレーション、仮説)を抽出する自動フレームワークを開発する。
  論文  参考訳（メタデータ） (2025-03-27T08:09:15Z)
• A Comprehensive Survey of Scientific Large Language Models and Their Applications in Scientific Discovery [68.48094108571432]
  大規模言語モデル(LLM)は、テキストやその他のデータ処理方法に革命をもたらした。 我々は,科学LLM間のクロスフィールドおよびクロスモーダル接続を明らかにすることで,研究ランドスケープのより総合的なビューを提供することを目指している。
  論文  参考訳（メタデータ） (2024-06-16T08:03:24Z)
• SciKnowEval: Evaluating Multi-level Scientific Knowledge of Large Language Models [35.98892300665275]
  SciKnowEvalベンチマーク(SciKnowEval benchmark)は,5つの科学的知識の段階にわたる大規模言語モデル(LLM)を評価するフレームワークである。 これらのレベルは、記憶、理解、推論、識別、応用を含むLLMにおける科学知識の幅と深さを評価することを目的としている。 ゼロショットと少数ショットのプロンプト戦略を用いて、26の高度なオープンソースおよびプロプライエタリなLCMをベンチマークした。
  論文  参考訳（メタデータ） (2024-06-13T13:27:52Z)
• Scientific Large Language Models: A Survey on Biological & Chemical Domains [47.97810890521825]
  大規模言語モデル(LLM)は、自然言語理解の強化において、変革的な力として現れてきた。 LLMの応用は従来の言語境界を超えて、様々な科学分野で開発された専門的な言語システムを含んでいる。 AI for Science(AI for Science)のコミュニティで急成長している分野として、科学LLMは包括的な探査を義務付けている。
  論文  参考訳（メタデータ） (2024-01-26T05:33:34Z)
• SciEval: A Multi-Level Large Language Model Evaluation Benchmark for Scientific Research [11.816426823341134]
  これらの問題に対処するための総合的・多分野評価ベンチマークSciEvalを提案する。 ブルームの分類に基づいて、SciEvalは科学的研究能力を体系的に評価する4つの次元をカバーしている。 主観的質問も主観的質問もSciEvalに含まれる。
  論文  参考訳（メタデータ） (2023-08-25T03:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。