論文の概要: Sci$Π$vot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents

• arxiv url: http://arxiv.org/abs/2610.21082v1
• Date: Thu, 15 Oct 2026 01:34:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.119682
• Title: Sci$Π$vot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents
• Title（参考訳）: 科学オートリサーチエージェントのPivotal MomentsにおけるPincipal-Investigator Judgmentのベンチマーク
• Abstract要約: 大きな言語モデル(LLM)エージェントは、人間の監督がほとんどないまま、数ヶ月にわたって科学実験を継続することができる。 Sci$$votは、人間の修正に基づく科学的判断の248ケースのベンチマークである。
• 参考スコア（独自算出の注目度）: 15.472655026653909
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) agents can keep scientific experiments running for months with little human supervision, but reliable autonomous research also requires scientific judgment. Evaluating scientific judgment is difficult because research decisions are open-ended and depend on project context. We construct Sci$Π$vot, a 248-case benchmark of scientific judgment based on human corrections. The benchmark draws on records from six months of research in which senior researchers ran LLM agents on 26 projects across six scientific fields and repeatedly intervened to correct the agents' research judgments. In each case, an agent chooses between the original LLM plan and the human-corrected alternative, using only the project record available before the correction as context. We compare LLM and human performance and examine the effects of reasoning effort, access to the project record, and reconsideration. At medium reasoning effort with the project record, models systematically prefer the original LLM plan over the human-corrected alternative. Four of five frontier models perform below chance on the selected cases. The highest accuracy in the project condition across the tested models and reasoning effort settings is 63.5%, compared with 73.4% for fresh researchers. At medium effort, every model achieves lower accuracy with the project record than without it, and reconsideration does not consistently improve overall accuracy. Even with a human-corrected alternative available, frontier models struggle with the selected research decisions, while Sci$Π$vot supports systematic evaluation of scientific judgment for LLM agents.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、人間の監督がほとんどないまま、科学実験を数ヶ月にわたって継続することができるが、信頼性の高い自律的な研究も科学的判断を必要とする。 科学的判断を評価することは、研究決定がオープンエンドであり、プロジェクトコンテキストに依存しているため困難である。 我々は、人間の修正に基づく科学的判断の248ケースのベンチマークであるSci$$$votを構築した。 このベンチマークは、上級研究者が6つの科学分野にわたる26のプロジェクトにおいてLSMエージェントを実行し、エージェントの研究判断を正すために繰り返し介入した6ヶ月の研究の記録に基づいている。 それぞれの場合、エージェントは、修正前のプロジェクトレコードのみをコンテキストとして使用して、元のLCM計画と人間の修正された代替案を選択できる。 LLMと人的パフォーマンスを比較し、推論の取り組み、プロジェクト記録へのアクセス、再考の効果について検討する。 プロジェクト記録の中期的な推論の取り組みにおいて、モデルは、人間が修正した代替案よりも、体系的にオリジナルのLCM計画を好む。 5つのフロンティアモデルのうち4つは、選択されたケースにおいてチャンス以下で実行される。 試験されたモデルと推論の取り組み設定のプロジェクト条件の最高精度は63.5%であり、新しい研究者は73.4%である。 中程度の努力で、すべてのモデルがプロジェクトレコードの精度を、それなしでより低く達成し、再考は、全体的な精度を一貫して改善しない。 人為的な代替案が利用可能であっても、フロンティアモデルは選択された研究決定に苦戦する一方、Sci$はLLMエージェントの科学的判断の体系的な評価を支援する。

関連論文リスト

• Bringing analytic rigor to agentic AI for science: The Brain Researcher platform for neuroimaging data analysis [59.44063760362954]
  本稿では、神経イメージング研究者の計算環境で動作するエージェントリサーチハーネスであるBrain Researcherを紹介する。 ベンチマークでは、Brain Researcherは7つのモデルで第1選択ツールの選択精度を70.2ポイント向上させた。 共同研究と自己進化研究において、多元的分析によって分析選択感度が明らかにされ、科学的レビューでは、承認された、認定された、修正された、ブロックされた、拒否された、または延期された。
  論文  参考訳（メタデータ） (2026-08-20T11:13:27Z)
• CausalGame: Benchmarking Causal Thinking of LLM Agents in Games [55.189910630332065]
  CausalGameは、AI Scientistsの因果思考能力を評価するためのベンチマークである。 選択バイアス、測定エラー、隠れた共同設立者を含む14のシナリオを設計します。 最高のモデルは78-85%の分析最適値に対して68.0%しか生存できず、セッションの5-7%は因果推論するルーリックのクレジットを受け取っている。
  論文  参考訳（メタデータ） (2026-07-05T13:08:51Z)
• ResearchClawBench: A Benchmark for End-to-End Autonomous Scientific Research [142.29356526274387]
  我々は自律的な科学的研究を評価するためのベンチマークであるResearchClawBenchを紹介する。 各タスクは、実際の論文に基づき、関連する文献や生データを提供し、評価中に対象の論文を隠蔽する。
  論文  参考訳（メタデータ） (2026-05-28T16:27:40Z)
• Evaluating Large Language Models in Scientific Discovery [91.732562776782]
  大規模言語モデル (LLMs) は科学研究にますます応用されてきているが、科学ベンチマークでは非文脈化された知識を探索している。 生物, 化学, 材料, 物理にまたがるLSMを評価するシナリオグラウンドベンチマークを提案する。 このフレームワークは、(i)シナリオタイドアイテムの質問レベル精度と(ii)プロジェクトレベルのパフォーマンスの2つのレベルでモデルを評価する。
  論文  参考訳（メタデータ） (2025-12-17T16:20:03Z)
• ResearchBench: Benchmarking LLMs in Scientific Discovery via Inspiration-Based Task Decomposition [67.26124739345332]
  大規模言語モデル(LLM)は科学的研究を支援する可能性を示しているが、高品質な研究仮説を発見する能力はいまだ検討されていない。 我々は,LLMを科学的発見のサブタスクのほぼ十分セットで評価するための,最初の大規模ベンチマークを紹介する。 学術論文から重要コンポーネント(研究質問、背景調査、インスピレーション、仮説)を抽出する自動フレームワークを開発する。
  論文  参考訳（メタデータ） (2025-03-27T08:09:15Z)
• Language Models And A Second Opinion Use Case: The Pocket Professional [0.0]
  本研究は、専門的な意思決定において、正式な第二意見ツールとして、LLM(Large Language Models)の役割を検証する。 この研究は、20ヶ月にわたるMedscapeからの183の挑戦的な医療事例を分析し、クラウドソースされた医師の反応に対して複数のLSMのパフォーマンスをテストした。
  論文  参考訳（メタデータ） (2024-10-27T23:48:47Z)
• A Comprehensive Study on Large Language Models for Mutation Testing [36.00296047226433]
  大規模言語モデル(LLM)は、最近、研究作業と産業実践の両方においてミュータントを生成するために使用されている。 BugFarm と LLMorpheus (最先端の2つの LLM ベースのアプローチ) を,Java の実世界の2つのバグベンチマークから,851 の実際のバグに対して評価した。 以上の結果から, LLMは既存のルールベースアプローチと比較して, 実際のバグに近づき, 111.29%の障害検出率を持つ, より多様な変異体を生成することが明らかとなった。
  論文  参考訳（メタデータ） (2024-06-14T08:49:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。