論文の概要: SciCustom: A Framework for Custom Evaluation of Scientific Capabilities in Large Language Models

• arxiv url: http://arxiv.org/abs/2605.19357v1
• Date: Tue, 19 May 2026 04:41:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.127514
• Title: SciCustom: A Framework for Custom Evaluation of Scientific Capabilities in Large Language Models
• Title（参考訳）: SciCustom: 大規模言語モデルにおける科学的能力のカスタム評価のためのフレームワーク
• Authors: Yiyang Gu, Junwei Yang, Junyu Luo, Ye Yuan, Bin Feng, Yingce Xia, Shufang Xie, Kaili Liu, Bohan Wu, Qi Shi, Haoran Li, Beier Xiao, Zhiping Xiao, Xiao Luo, Weizhi Zhang, Philip S. Yu, Zequn Liu, Ming Zhang,
• Abstract要約: 大規模言語モデル(LLM)は、科学研究にますます応用されているが、既存の評価は、実際に必要とされる詳細な能力の反映に失敗することが多い。 この問題に対処するため、SciCustomという新しいフレームワークを提案する。 大規模な科学的データからベンチマークのカスタム構築を可能にし、LLMの応用固有の科学的能力を評価する。
• 参考スコア（独自算出の注目度）: 63.357710580101894
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly applied to scientific research, yet existing evaluations often fail to reflect the fine-grained capabilities required in practice. Most benchmarks are manually curated or domain-generic, limiting scalability and alignment with real scientific use cases. In this paper, we propose a new framework named SciCustom to address the problem. It enables the custom construction of benchmarks from large-scale scientific data to evaluate application-specific scientific capabilities in LLMs. SciCustom first organizes scientific knowledge into ontology-grounded knowledge units with controlled granularity and trains a tagger to map large-scale data instances into this knowledge space. Given a custom requirement, relevant knowledge units are identified via voting-based multi-model consensus. These units enable relevance-aware benchmark retrieval via binary search, followed by proxy subset selection and data-grounded benchmark generation for efficient evaluation. Experiments in chemistry and healthcare demonstrate that SciCustom reveals fine-grained differences in LLM scientific capabilities that standard benchmarks overlook, while requiring neither expert annotation nor synthetic question generation. This work provides a scalable and application-aware foundation for benchmarking scientific capabilities in LLMs. The source code is available at https://github.com/yjwtheonly/SciCustom.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、科学研究にますます応用されているが、既存の評価は、実際に必要とされる詳細な能力の反映に失敗することが多い。 ほとんどのベンチマークは手動でキュレーションされたり、ドメインジェネリックで、スケーラビリティと実際の科学的ユースケースとの整合性を制限する。 本稿では,この問題に対処するため,SciCustomという新しいフレームワークを提案する。 大規模な科学的データからベンチマークのカスタム構築を可能にし、LLMの応用固有の科学的能力を評価する。 SciCustomはまず、科学知識を制御された粒度を持つオントロジー的な知識単位に整理し、タグをトレーニングして、大規模なデータインスタンスをこの知識空間にマッピングする。 カスタムな要件が与えられた場合、関連する知識単位は投票ベースのマルチモデルコンセンサスによって識別される。 これらのユニットは、バイナリ検索による関連性を考慮したベンチマーク検索を可能にし、その後、プロキシサブセットの選択と、効率的な評価のためのデータグラウンドベンチマーク生成を行う。 化学と医療の実験では、SciCustomは標準ベンチマークが見落としているLCMの科学的能力の微妙な相違を明らかにし、専門家の注釈も合成質問生成も必要としないことを示した。 この研究は、LLMの科学的能力をベンチマークするためのスケーラブルでアプリケーション対応の基盤を提供する。 ソースコードはhttps://github.com/yjwtheonly/SciCustom.comで入手できる。

関連論文リスト

• SCICONVBENCH: Benchmarking LLMs on Multi-Turn Clarification for Task Formulation in Computational Science [3.9311288356229057]
  大規模言語モデル(LLM)は、科学的なAIとしてますます多くデプロイされている。 本稿では,SCICONVBENCHを科学タスクの定式化におけるマルチターン明確化のベンチマークとして紹介する。 我々のベンチマークは、構造化されたタスクとルーブリックベースの評価フレームワークをペアリングする。
  論文  参考訳（メタデータ） (2026-05-18T16:34:45Z)
• HiSciBench: A Hierarchical Multi-disciplinary Benchmark for Scientific Intelligence from Reading to Discovery [50.8841471967624]
  HiSciBenchは、完全な科学的ワークフローを反映した5つのレベルにわたる基礎モデルを評価するために設計された階層的なベンチマークである。 HiSciBenchには、6つの主要な科学分野にまたがる8,735件の慎重に管理された事例が含まれている。
  論文  参考訳（メタデータ） (2025-12-28T12:08:05Z)
• AInsteinBench: Benchmarking Coding Agents on Scientific Repositories [33.48206557020983]
  AInsteinBenchは、大規模言語モデル(LLM)エージェントが科学計算開発エージェントとして動作するかどうかを評価するための大規模なベンチマークである。 AInsteinBenchは、表面レベルのコード生成を超えて、計算科学研究に必要なコア能力に移行するモデルの能力を測定する。
  論文  参考訳（メタデータ） (2025-12-24T08:11:11Z)
• An MLCommons Scientific Benchmarks Ontology [2.665757190742151]
  本稿では,統一的,コミュニティ主導の取り組みを通じて開発された科学ベンチマークのオントロジーを紹介する。 この取り組みは、異なるベンチマークとフレームワークの大規模なセットを単一の分類に集約する。 新しいベンチマークはMLCommons Science Working Groupが調整したオープンな提出を通じて追加することができる。
  論文  参考訳（メタデータ） (2025-11-06T17:07:18Z)
• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• SciInstruct: a Self-Reflective Instruction Annotated Dataset for Training Scientific Language Models [57.96527452844273]
  我々はSciInstructを紹介した。SciInstructは、大学レベルの科学的推論が可能な科学言語モデルを訓練するための科学指導スイートである。 我々は、物理学、化学、数学、公式な証明を含む多種多様な高品質なデータセットをキュレートした。 SciInstructの有効性を検証するため、SciInstruct、すなわちChatGLM3(6Bと32B)、Llama3-8B-Instruct、Mistral-7B: MetaMathを用いて言語モデルを微調整した。
  論文  参考訳（メタデータ） (2024-01-15T20:22:21Z)
• SciEval: A Multi-Level Large Language Model Evaluation Benchmark for Scientific Research [11.816426823341134]
  これらの問題に対処するための総合的・多分野評価ベンチマークSciEvalを提案する。 ブルームの分類に基づいて、SciEvalは科学的研究能力を体系的に評価する4つの次元をカバーしている。 主観的質問も主観的質問もSciEvalに含まれる。
  論文  参考訳（メタデータ） (2023-08-25T03:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。