論文の概要: A Benchmark for LLM's Understanding of Middle School and High School Science Topics

• arxiv url: http://arxiv.org/abs/2609.32020v1
• Date: Fri, 25 Sep 2026 21:31:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 03:48:42.687242
• Title: A Benchmark for LLM's Understanding of Middle School and High School Science Topics
• Title（参考訳）: LLMの中学校理科理解のベンチマーク
• Abstract要約: 大規模言語モデル(LLM)は、教育環境にますます統合されているが、教育者は、K-12科学環境での有効性を評価するための、堅牢で標準に準拠したツールを欠いている。 既存のベンチマークでは、一般的な言語や先進的な科学的推論を主に評価しており、二次科学カリキュラムに直接関連のあるコンテンツに対するLLMのパフォーマンスの理解において重要なギャップを残している。 我々は,厳密な合成データパイプライン,マルチジャッジ検証,項目レベルの心理分析を用いて,中・高校理科の総合的なNGSS整合ベンチマークを開発した。
• 参考スコア（独自算出の注目度）: 19.656003842962456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly integrated into educational settings, yet educators lack robust, standards-aligned tools to evaluate their effectiveness in K-12 science contexts. Existing benchmarks predominantly assess general language or advanced scientific reasoning, leaving a critical gap in understanding LLMs' performance on content directly relevant to secondary science curricula. To address this gap, we developed a comprehensive NGSS-aligned benchmark for both middle and high school science using a rigorous synthetic data pipeline, multi-judge validation, and item-level psychometric analysis. Nine open-weight LLMs were systematically evaluated using this benchmark, indicating that several smaller, locally deployable models achieved high accuracy across diverse science domains and question types. Our findings indicate that model size did not consistently predict performance, emphasizing the importance of intentional model selection for educational deployment. We then incorporated a human reviewer into the loop, reviewing the items generated by the LLMs for alignment with NGSS standards. The human review indicated that synthetically generated items were not in perfect alignment with the NGSS standards, indicating the benefits of human-in-the-loop item development, the need to explore the intersection of content and pedagogical knowledge, and the need to extend benchmarks to evaluate LLMs' capacity for interactive, evidence-based feedback in educational scenarios.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、教育環境にますます統合されているが、教育者は、K-12科学環境での有効性を評価するための、堅牢で標準に準拠したツールを欠いている。 既存のベンチマークでは、一般的な言語や先進的な科学的推論を主に評価しており、二次科学カリキュラムに直接関連のあるコンテンツに対するLLMのパフォーマンスの理解において重要なギャップを残している。 このギャップに対処するために、厳密な合成データパイプライン、マルチジャッジ検証、アイテムレベルの心理分析を用いて、中・高校理科の総合的なNGSS整合ベンチマークを開発した。 9つのオープンウェイトLSMをこのベンチマークを用いて体系的に評価し、より小型でローカルにデプロイ可能なモデルが様々な科学領域や質問タイプで高い精度を実現していることを示した。 本研究は, モデルサイズが常に性能を予測できないことを示し, 教育展開における意図的モデル選択の重要性を強調した。 次に、人間のレビュアーをループに組み込み、NGSS標準に従ってLLMが生成した項目をレビューした。 人間によるレビューでは、人工的に生成されたアイテムはNGSS標準と完全に一致していないことが示され、人間のループ内アイテム開発の利点、コンテンツと教育知識の共通点を探究する必要性、教育シナリオにおけるLLMの対話的でエビデンスに基づくフィードバック能力を評価するためのベンチマークの拡張の必要性が示された。

関連論文リスト

• Beyond Holistic Scores: Automatic Trait-Based Quality Scoring of Argumentative Essays [15.895792302323883]
  教育の文脈では、教師と学習者は解釈可能な特性レベルのフィードバックを必要とする。 本稿では,2つの相補的モデリングパラダイムを用いた特徴量に基づく自動弁別評価手法について検討する。 スコア・オーディナリティを明示的にモデル化することは、人間のレーダとの合意を著しく改善することを示します。
  論文  参考訳（メタデータ） (2026-02-04T14:30:52Z)
• Evaluating Large Language Models in Scientific Discovery [91.732562776782]
  大規模言語モデル (LLMs) は科学研究にますます応用されてきているが、科学ベンチマークでは非文脈化された知識を探索している。 生物, 化学, 材料, 物理にまたがるLSMを評価するシナリオグラウンドベンチマークを提案する。 このフレームワークは、(i)シナリオタイドアイテムの質問レベル精度と(ii)プロジェクトレベルのパフォーマンスの2つのレベルでモデルを評価する。
  論文  参考訳（メタデータ） (2025-12-17T16:20:03Z)
• On Evaluating LLM Alignment by Evaluating LLMs as Judges [68.15541137648721]
  大規模言語モデル(LLM)のアライメントを評価するには、助け、誠実、安全、正確に人間の指示に従う必要がある。 本研究では,LLMの生成能力と評価能力の関係について検討した。 モデル出力を直接評価することなくアライメントを評価するベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-11-25T18:33:24Z)
• Rethinking Scientific Summarization Evaluation: Grounding Explainable Metrics on Facet-aware Benchmark [42.131133762827375]
  本稿では,科学的要約の概念的および実験的分析について述べる。 要約を評価するために,先進的なセマンティックマッチングにLLMを用いたFacet-Aware Metric (FM)を導入する。 以上の結果から,FMは科学的要約を評価するためのより論理的なアプローチであることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-22T07:58:29Z)
• Inadequacies of Large Language Model Benchmarks in the Era of Generative Artificial Intelligence [5.147767778946168]
  我々は、23の最先端のLarge Language Models (LLMs)ベンチマークを批判的に評価する。 私たちの研究は、バイアス、真の推論、適応性、実装の不整合、エンジニアリングの複雑さ、多様性、文化的およびイデオロギー規範の見落としなど、重大な制限を明らかにしました。
  論文  参考訳（メタデータ） (2024-02-15T11:08:10Z)
• Leveraging Large Language Models for NLG Evaluation: Advances and Challenges [57.88520765782177]
  大規模言語モデル(LLM)は、コヒーレンス、クリエイティビティ、コンテキスト関連など、生成されたコンテンツ品質を評価するための新たな道を開いた。 既存のLCMに基づく評価指標を整理し、これらの手法を理解し比較するための構造化された枠組みを提供する。 本稿では, 偏見, 堅牢性, ドメイン固有性, 統一評価などの未解決課題を議論することによって, 研究者に洞察を提供し, より公平で高度なNLG評価手法を提唱することを目的とする。
  論文  参考訳（メタデータ） (2024-01-13T15:59:09Z)
• Evaluating the Performance of Large Language Models on GAOKAO Benchmark [53.663757126289795]
  本稿では,中国のガオカオ検定の質問をサンプルとして用いた直感的なベンチマークであるガオカオベンチについて紹介する。 人間の評価により, GPT-4, ChatGPT, ERNIE-Botを含むLLMの変換総得点を得た。 また、LLMを用いて主観的質問を格付けし、モデルスコアが人間のスコアと適度な一貫性を達成することを確認する。
  論文  参考訳（メタデータ） (2023-05-21T14:39:28Z)
• G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment [64.01972723692587]
  本稿では,大規模言語モデルにチェーン・オブ・シント(CoT)を組み込んだフレームワークであるG-Evalと,NLG出力の品質評価のためのフォームフィリングパラダイムを提案する。 GPT-4 をバックボーンモデルとした G-Eval は,要約タスクにおいて,0.514 と人間とのスピアマン相関を達成し,従来手法の差を大きく上回ることを示す。
  論文  参考訳（メタデータ） (2023-03-29T12:46:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。