論文の概要: NuclearQAv2: A Structured Benchmark for Evaluating Domain-Science Competence in Large Language Models

• arxiv url: http://arxiv.org/abs/2606.27047v1
• Date: Thu, 25 Jun 2026 13:52:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.299643
• Title: NuclearQAv2: A Structured Benchmark for Evaluating Domain-Science Competence in Large Language Models
• Title（参考訳）: NuclearQAv2:大規模言語モデルにおけるドメインスキル能力の評価のための構造化ベンチマーク
• Abstract要約: 大規模言語モデル(LLM)は、幅広いタスクにわたって強力なパフォーマンスを示しているが、高度な技術的領域における信頼性を保証することは、依然として大きな課題である。 核工学の知識に基づいてLLMを評価するためのベンチマークであるNuclearQAv2を紹介する。 ベンチマークは、数値と動詞の3つのカテゴリにまたがる約1,240の質問応答ペアで構成されている。
• 参考スコア（独自算出の注目度）: 0.9895431386093138
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated strong performance across a wide range of tasks, but ensuring their reliability in highly technical domains remains a significant challenge. In nuclear engineering, problem solving often requires not only factual knowledge but also quantitative reasoning and conceptual understanding. To address the need for systematic evaluation in this domain, we introduce NuclearQAv2, a benchmark for assessing LLMs on nuclear engineering knowledge. The benchmark comprises approximately 1,240 question-answer pairs spanning three categories: boolean, numeric, and verbal. NuclearQAv2 is constructed using a hybrid pipeline that combines expert-authored questions, existing datasets, and LLM-assisted generation from domain-specific technical corpora. By leveraging structured prompting for both automated question generation and response evaluation, the proposed framework enables scalable benchmark construction and evaluation. We evaluate a diverse set of LLMs using NuclearQAv2 and observe substantial performance differences across task types. While the models generally perform well on factual questions, quantitative reasoning and conceptual understanding remain considerably more challenging. These results highlight the importance of multi-faceted evaluation frameworks and establish NuclearQAv2 as a scalable benchmark for assessing LLM capabilities in technical domains.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広いタスクにわたって強力なパフォーマンスを示しているが、高度な技術的領域における信頼性を保証することは、依然として大きな課題である。 核工学において、問題解決には事実知識だけでなく、量的推論や概念的理解もしばしば必要である。 この領域における体系的評価の必要性に対処するために,核工学知識のLLMを評価するためのベンチマークであるNuclearQAv2を紹介する。 このベンチマークは、ブール語、数字、動詞の3つのカテゴリにまたがる約1,240の質問応答対で構成されている。 NuclearQAv2は、専門家による質問と既存のデータセット、ドメイン固有の技術コーパスからのLLM支援生成を組み合わせたハイブリッドパイプラインを使用して構築されている。 自動質問生成と応答評価の両方に構造化プロンプトを活用することにより,スケーラブルなベンチマーク構築と評価を実現する。 我々はNuclearQAv2を用いて多種多様なLLMを評価し,タスクタイプ間での大幅な性能差を観察する。 モデルは通常、事実に関する質問に対してうまく機能するが、量的推論と概念的理解は依然としてかなり難しいままである。 これらの結果は、多面評価フレームワークの重要性を強調し、技術的領域におけるLLM能力を評価するためのスケーラブルなベンチマークとしてNuclearQAv2を確立する。

関連論文リスト

• CANDI: Contextual Alignment for Niche Domains Question Answering [5.739840108858911]
  CANDI-QA(Contextual Alignment for Niche Domains Question Answering)は,大規模言語モデル(LLM)を評価する新しいデータセットである。 我々は,コンパクトなオープンソースから最先端のプロプライエタリシステムまで,10以上の多様な言語モデルを評価する。 堅牢なベースラインとして,ニューラル検索とルールベースの推論を組み合わせた軽量なニューラルシンボリック・フレームワークMTSS-Netを提案する。
  論文  参考訳（メタデータ） (2026-05-06T06:40:13Z)
• ATLAS: A High-Difficulty, Multidisciplinary Benchmark for Frontier Scientific Reasoning [118.46980291324148]
  ATLASは、約800のオリジナルの問題からなる大規模で、高精度で、学際横断的な評価スイートである。 主な特徴は次のとおりである。 テストデータの漏洩を防ぐために新しく作成されたり、実質的に適応されたすべての質問を含む、高いオリジン性と汚染抵抗。 先行モデルに関する予備的な結果は、ATLASが先進的な科学的推論能力の差別化に有効であることを証明している。
  論文  参考訳（メタデータ） (2025-11-18T11:13:06Z)
• TREAT: A Code LLMs Trustworthiness / Reliability Evaluation and Testing Framework [37.14734285161928]
  本稿では,コードインテリジェンスタスクにおけるモデル性能の総合評価を行う評価フレームワークを提案する。 評価フレームワークは、既存のアプローチにおける重要な制限に対処し、主な改善点を4つ挙げた。 この評価枠組みに基づき,26の最先端モデルを評価し,その強度と限界を明らかにする。
  論文  参考訳（メタデータ） (2025-10-20T05:05:00Z)
• AtomWorld: A Benchmark for Evaluating Spatial Reasoning in Large Language Models on Crystalline Materials [40.06511294882352]
  我々は、結晶情報ファイル(CIF)に基づくタスクに基づいて、大言語モデル(LLM)を評価するためのAtomWorldベンチマークを導入する。 実験の結果,これらのモデルでは構造修正作業や基本的なCIF形式理解においても頻繁にエラーが発生していることがわかった。 これらの標準化されたタスクを定義することで、AtomWorldは、堅牢な原子スケールモデリングに向けてLLMを進めるための基盤を築きます。
  論文  参考訳（メタデータ） (2025-10-06T11:17:56Z)
• AECBench: A Hierarchical Benchmark for Knowledge Evaluation of Large Language Models in the AEC Field [12.465017512854475]
  大規模言語モデル(LLM)は、アーキテクチャ、エンジニアリング、建設(AEC)分野において採用が増えている。 本稿では,AEC領域における現在のLLMの強度と限界を定量化するベンチマークであるAECBenchを確立する。 ベンチマークでは、23の代表的なタスクを5段階の認知指向評価フレームワークで定義している。
  論文  参考訳（メタデータ） (2025-09-23T08:09:58Z)
• RefactorCoderQA: Benchmarking LLMs for Multi-Domain Coding Question Solutions in Cloud and Edge Deployment [20.416910591388618]
  本稿では,Large Language Models (LLM) の性能を評価するためのベンチマークであるRefactorCoderQAを紹介する。 我々の微調整モデルであるRefactorCoder-MoEは最先端のパフォーマンスを実現し、オープンソースと商用のベースラインを76.84%で上回りました。
  論文  参考訳（メタデータ） (2025-09-12T17:44:22Z)
• Evaluating Large Language Models for Real-World Engineering Tasks [75.97299249823972]
  本稿では,実運用指向のエンジニアリングシナリオから得られた100以上の質問をキュレートしたデータベースを提案する。 このデータセットを用いて、4つの最先端の大規模言語モデル(LLM)を評価する。 以上の結果から,LLMは時間的および構造的推論において強みを示すが,抽象的推論や形式的モデリング,文脈に敏感な工学的論理にはかなり苦労することがわかった。
  論文  参考訳（メタデータ） (2025-05-12T14:05:23Z)
• Computational Reasoning of Large Language Models [51.629694188014064]
  textbfTuring Machine Benchは,Large Language Models(LLM)による推論プロセスの実行能力を評価するベンチマークである。 TMBenchには、自己完結型および知識に依存しない推論、最小主義的な多段階構造、制御可能な難易度、チューリングマシンに基づく理論的基礎の4つの重要な特徴が組み込まれている。
  論文  参考訳（メタデータ） (2025-04-29T13:52:47Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Leveraging Large Language Models for NLG Evaluation: Advances and Challenges [57.88520765782177]
  大規模言語モデル(LLM)は、コヒーレンス、クリエイティビティ、コンテキスト関連など、生成されたコンテンツ品質を評価するための新たな道を開いた。 既存のLCMに基づく評価指標を整理し、これらの手法を理解し比較するための構造化された枠組みを提供する。 本稿では, 偏見, 堅牢性, ドメイン固有性, 統一評価などの未解決課題を議論することによって, 研究者に洞察を提供し, より公平で高度なNLG評価手法を提唱することを目的とする。
  論文  参考訳（メタデータ） (2024-01-13T15:59:09Z)
• NuclearQA: A Human-Made Benchmark for Language Models for the Nuclear Domain [0.0]
  NuclearQAは、核領域における言語モデルを評価するための100の質問の人為的なベンチマークである。 さまざまな種類の質問が混ざり合わさって、我々のベンチマークが核領域のモデルを評価することをユニークなものにしていることを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:27:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。