論文の概要: SFBench: The SciFy Scientific Feasibility Benchmark
- arxiv url: http://arxiv.org/abs/2606.29630v1
- Date: Sun, 28 Jun 2026 22:27:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.991989
- Title: SFBench: The SciFy Scientific Feasibility Benchmark
- Title（参考訳）: SFBench:SciFyの科学的可能性ベンチマーク
- Abstract要約: SFBenchは,科学的クレームの実現可能性を評価するシステム評価のためのベンチマークデータセットである。
SFBenchには、材料科学における197のクレームが含まれており、それぞれが5点のスケールで真真正性スコアでアノテートされている。
- 参考スコア（独自算出の注目度）: 3.9698458223568536
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present SFBench, a benchmark dataset for evaluating systems that assess the feasibility of scientific claims. SFBench includes 197 claims in materials science, each annotated with a ground-truth feasibility score on a five-point scale along with an explanation of that assessment. The collection differs from previous collections in several important ways: 1) it defines a complex task that requires reasoning over claims of varying scientific feasibility; 2) its claims are not extracted from existing scientific publications but are created de novo, greatly reducing the chances that LLMs have trained on them; 3) claims and ground truth are established by subject matter experts, not by artificial intelligence; and 4) unlike many benchmarks that ask about question/answer pairs, provide multiple choice answers, or ask questions requiring short, fixed answers, SFBench explanations are completely open-ended. We describe the benchmark design, data creation process, and evaluation metrics, and we report baseline results using recent GPT models.
- Abstract（参考訳）: SFBenchは,科学的クレームの実現可能性を評価するシステム評価のためのベンチマークデータセットである。
SFBenchには、材料科学における197のクレームが含まれており、それぞれのアノテートには5点のスケールで真真正性スコアがアノテートされている。
コレクションは、いくつかの重要な方法で、以前のコレクションと異なる。
1) 科学的実現可能性の異なるクレームの推論を必要とする複雑なタスクを定義する。
2) そのクレームは,既存の科学出版物から抽出されるのではなく,デ・ノヴォが作成され,LSMがそれらについて訓練した可能性を大幅に低減する。
3)クレーム及び根拠的真理は、人工知能ではなく、課題の専門家によって確立される。
4) 質問/回答ペアについて質問したり、複数の選択回答を提供したり、短い、固定された回答を必要とする質問をする多くのベンチマークとは異なり、SFBenchの説明は完全にオープンエンドである。
本稿では,ベンチマーク設計,データ作成プロセス,評価指標について述べるとともに,最近のGPTモデルを用いてベースライン結果について報告する。
関連論文リスト
- Are LLMs Ready for Scientific Discovery? A Capability-Oriented Benchmark for AI Scientists [5.947663261819682]
SDABenchは5つの領域(生物、化学、環境、地理、物理)にわたる6つの能力(記述、探索、推論、予測、因果、力学)に関する評価を再編成するベンチマークである。
記述的モデルは解析をうまく処理するが、仮定の選択、潜在プロセスモデリング、あるいは機械的推論を必要とするタスクを著しく分解する。
論文 参考訳（メタデータ） (2026-07-13T04:39:40Z) - SciCustom: A Framework for Custom Evaluation of Scientific Capabilities in Large Language Models [63.357710580101894]
大規模言語モデル(LLM)は、科学研究にますます応用されているが、既存の評価は、実際に必要とされる詳細な能力の反映に失敗することが多い。
この問題に対処するため、SciCustomという新しいフレームワークを提案する。
大規模な科学的データからベンチマークのカスタム構築を可能にし、LLMの応用固有の科学的能力を評価する。
論文 参考訳（メタデータ） (2026-05-19T04:41:43Z) - SCICONVBENCH: Benchmarking LLMs on Multi-Turn Clarification for Task Formulation in Computational Science [3.9311288356229057]
大規模言語モデル(LLM)は、科学的なAIとしてますます多くデプロイされている。
本稿では,SCICONVBENCHを科学タスクの定式化におけるマルチターン明確化のベンチマークとして紹介する。
我々のベンチマークは、構造化されたタスクとルーブリックベースの評価フレームワークをペアリングする。
論文 参考訳（メタデータ） (2026-05-18T16:34:45Z) - InfiniteScienceGym: An Unbounded, Procedurally-Generated Benchmark for Scientific Analysis [19.4536238905905]
InfiniteScienceGymは、検証可能な質問応答タスクと組み合わせた、手続き的に生成された科学リポジトリのベンチマークである。
シードから、シミュレータは、現実的なディレクトリ構造、ファイル、表データを備えた自己完結型リポジトリを確定的に生成し、特権QA生成器は、正確な根拠真理で、回答可能な質問と解決できない質問の両方を生成する。
全体的な精度は45%を超えず、解決不可能な質問を認識することは依然として大きな弱点であり、強力なモデルでは単にトークンを消費するのではなく、ツールを効果的に使用する傾向にあります。
論文 参考訳（メタデータ） (2026-04-14T18:23:02Z) - RPC-Bench: A Fine-grained Benchmark for Research Paper Comprehension [65.81339691942757]
RPC-Bench(RPC-Bench)は、高品質なコンピュータサイエンス論文のレビュー・リビューの交換から構築された大規模質問応答ベンチマークである。
我々は、科学研究の流れに沿ったきめ細かい分類を設計し、モデルがなぜ、何、どのように学術的な文脈で質問するかを理解し、答える能力を評価する。
論文 参考訳（メタデータ） (2026-01-14T11:37:00Z) - Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
既存のベンチマークは、主に質問レベルで質問をキュレートする。
ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
論文 参考訳（メタデータ） (2025-12-31T13:55:54Z) - ReFACT: A Benchmark for Scientific Confabulation Detection with Positional Error Annotations [14.392598503431321]
大規模言語モデル(LLM)は、しばしば科学的事実を議論し、その信頼性を著しく損なう。
多様な科学的領域にまたがる1,001名の専門家による質問応答対のベンチマークであるReFACTを紹介する。
それぞれのインスタンスには、科学的に正しい答えと、正確なエラースパンとエラータイプで注釈付けされた非実例の両方が含まれている。
論文 参考訳（メタデータ） (2025-09-30T07:06:23Z) - Who Gets Cited Most? Benchmarking Long-Context Language Models on Scientific Articles [81.89404347890662]
SciTrekは、科学論文を用いた大規模言語モデル(LLM)の長文推論能力を評価するために設計された、新しい質問応答ベンチマークである。
本分析により,モデルの基本的数値演算を行ない,特定の情報を長い文脈で正確に特定する能力において,系統的な欠点が明らかとなった。
論文 参考訳（メタデータ） (2025-09-25T11:36:09Z) - SAS-Bench: A Fine-Grained Benchmark for Evaluating Short Answer Scoring with Large Language Models [36.10798324093408]
SAS-Benchは、大規模言語モデル(LLM)ベースのショートアンサースコーリングタスクのベンチマークである。
詳細な、段階的なスコアリング、専門家による注釈付きエラーカテゴリ、さまざまな質問タイプを提供する。
また,1030の質問と4,109人の学生回答を含むオープンソースデータセットも公開しています。
論文 参考訳（メタデータ） (2025-05-12T05:43:21Z) - SciFIBench: Benchmarking Large Multimodal Models for Scientific Figure Interpretation [50.061029816288936]
SciFIBenchは、2000の質問を8つのカテゴリに分けた科学的図形解釈ベンチマークである。
質問はarXiv紙のフィギュアとキャプションからキュレートされ、相手のフィルターを使ってハードネガティブを見つけ、品質管理のための人間による検証を行う。
我々はSciFIBench上で28LMMを評価し、これは挑戦的なベンチマークであることが判明した。
論文 参考訳（メタデータ） (2024-05-14T17:54:17Z) - SCITAB: A Challenging Benchmark for Compositional Reasoning and Claim
Verification on Scientific Tables [68.76415918462418]
本報告では,1.2Kの専門的な科学的クレームからなる,挑戦的な評価データセットであるSCITABについて述べる。
広範な評価を通じて、SCITABは最先端のモデルに重大な課題をもたらすことを示した。
SCITABは,表の接地,主張のあいまいさ,構成的推論など,いくつかの独特な課題を明らかにした。
論文 参考訳（メタデータ） (2023-05-22T16:13:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。