論文の概要: BenchBench-Protocol: Evaluating Real-World Wet-Lab Protocol Reasoning and Modification

• arxiv url: http://arxiv.org/abs/2608.23898v1
• Date: Mon, 24 Aug 2026 23:11:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.657171
• Title: BenchBench-Protocol: Evaluating Real-World Wet-Lab Protocol Reasoning and Modification
• Title（参考訳）: BenchBench-Protocol: 実世界のWet-Labプロトコルの推論と修正の評価
• Abstract要約: 公開されたプロトコルを新しい実験に適用することは、ウェットラブ科学者にとって日常的な作業である。 最近のライフサイエンスベンチマークは、オープンエンド、ルーリックグレードのタスクに移行している。 我々はBenchBench-Protocolをウェットラブ推論の基礎的評価と、ベンチマークタスクを構築するための実世界の実験の有用性の証拠として提示する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce BenchBench-Protocol, a benchmark for large language models of 149 protocol-modification tasks recovered from modifications that scientists made to published protocols during real experimental work. Adapting a published protocol to a new experiment is a routine task for a wet-lab scientist, and a correct modification requires accounting for prior choices and downstream steps. Recent life-science benchmarks have moved toward open-ended, rubric-graded tasks, but tasks are typically elicited from experts rather than reconstructed from real-world modifications. BenchBench-Protocol tasks are derived from differences between a published protocol and a version a scientist modified, which provides the basis for the query and the weighted rubric elements for a correct response. The benchmark draws from 96 source protocols across nine domains of wet-lab biology and only includes tasks rated highly after review by domain experts. We evaluate nine closed and open models; Claude Opus 5 scores highest at 59.2% normalized rubric score, with other models between 34.1% and 47.1%, and the benchmark remains unsaturated when taking the best of ten attempts. As models are increasingly helpful in life-sciences research, evaluating them on routine wet-lab tasks becomes correspondingly important. We present BenchBench-Protocol as both a grounded assessment of wet-lab reasoning and evidence for the utility of real-world experiments to construct benchmark tasks.
• Abstract（参考訳）: このベンチマークは、実際の実験中に研究者がプロトコルを公開するために行った修正から回収された149のプロトコル修正タスクの大規模言語モデルのベンチマークである。 公開されたプロトコルを新しい実験に適応させることは、ウェットラブ科学者の日常的な作業であり、正しい修正には、事前の選択と下流ステップの考慮が必要である。 最近のライフサイエンスベンチマークは、オープンエンドのルーリックグレードのタスクに移行しているが、現実の修正から再構築されるのではなく、専門家からタスクが引き出されるのが一般的である。 BenchBench-Protocolタスクは、公開プロトコルと科学者が修正したバージョンの違いから導かれる。 このベンチマークは、9つのウェットラブ生物学領域にまたがる96のソースプロトコルから作成され、ドメインの専門家によるレビュー後に高い評価を受けたタスクのみを含む。 クロードオプス5は59.2%の正規化ルーリックスコアで、他のモデルでは34.1%から47.1%であり、ベンチマークは10回の試行において不飽和のままである。 モデルが生命科学研究にますます役立っているため、定期的なウェットラブタスクにおけるモデルの評価が重要である。 我々はBenchBench-Protocolをウェットラブ推論の基礎的評価と、ベンチマークタスクを構築するための実世界の実験の有用性の証拠として提示する。

関連論文リスト

• Overview of the NLPCC 2026 Shared Task 11: Agent-Based Experiment Reproduction from Scientific Papers [29.922671630644558]
  AgentActionBenchは、機械学習とAI4Scienceドメインにわたるエージェントベースの実験再現を評価するための、プロセス指向のベンチマークである。 我々のフレームワークは、MPPベースのアクションレコーダーを使用して、複製プロセス全体を通してエージェントの振る舞いを捉え、紙固有の潤滑剤を用いて結果のトレースを評価する。 ベンチマークの10%をカバーする人間アノテーション付きのサブセットは、検証データを提供し、モデルアシストの強化は、ベンチマーク全体を10,000以上のルーリックアイテムに拡張する。
  論文  参考訳（メタデータ） (2026-09-10T05:50:24Z)
• IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
  研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。 提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。 IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
  論文  参考訳（メタデータ） (2026-09-09T17:59:04Z)
• FrontierChallenge: Evaluating Scientific Workflow Completion [59.601983661596286]
  私たちは300のエンドツーエンドの科学的成果物からなるクロスドメインベンチマークであるFrontierChallengeを紹介します。 量子化学、分子動力学、材料特性評価、分析化学、生命科学、電気化学・環境学にまたがる97の課題を公表し評価する。 高い部分的なスコアも自信のある完成のクレームも、科学的タスクが完全に納品されたことを確実に示さないことが分かりました。
  論文  参考訳（メタデータ） (2026-08-25T16:50:58Z)
• A Self-Evolving Agentic System for Automated Generation and Execution of Biological Protocols [26.510927882022884]
  ProtoPilotは、ウェットラブ自動化のための自己進化型マルチエージェントシステムである。 レイヤワイドの検証性、マルチエージェントオーケストレーション、およびプロトコルを生成するためのランタイムスキル更新ライブラリが組み込まれている。 これは90.2%、プロトコル・トコードゲートパス89.5%、Opentronsパス88.24%を達成している。
  論文  参考訳（メタデータ） (2026-06-30T14:51:13Z)
• Labimus: A Simulation and Benchmark for Humanoid Dexterous Manipulation in Chemical Laboratory [47.77200587195896]
  Labimusは、有機化学実験室におけるヒューマノイドのデキスタラスな操作に関する最初のベンチマークである。 実際の有機化学のワークステーションから30以上の機能的に忠実な資産を、リアルタイムモデリングによって再構築する。 本稿では,タスク完了,実験精度,長期実行を共同で測定するための精度評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-06-30T02:14:28Z)
• LabVLA: Grounding Vision-Language-Action Models in Scientific Laboratories [95.20367571157679]
  Vision-Language-Action (VLA) モデルは、記述されたプロトコルとロボット実行の間の1つの可能なインターフェースを提供する。 既存の政策は、主に家庭やテーブルトップのデモンストレーションに基づいて訓練されており、機器、透明な液体、または科学実験室で見られる固定されたプロトコルに遭遇することは滅多にない。 まず、Qwen3-VL-4B-インストラクションバックボーンアクションを学習する前に認識させ、フローマッチング後トレーニングを行い、次に知識絶縁下でDiTアクションエキスパートをアタッチする。
  論文  参考訳（メタデータ） (2026-06-11T17:03:53Z)
• PRBench: End-to-end Paper Reproduction in Physics Research [32.672534450424386]
  PRBenchは、11のサブフィールドにまたがる30の専門家によるタスクのベンチマークである。 エージェントは、タスク命令と紙の内容のみを提供し、サンドボックス実行環境で動作させる。 PRBench上の符号化エージェントのセットを評価し,科学的推論と実行の重要な側面にわたってそれらの能力を分析する。
  論文  参考訳（メタデータ） (2026-03-29T11:44:57Z)
• Unleashing Scientific Reasoning for Bio-experimental Protocol Generation via Structured Component-based Reward Mechanism [26.631284893550056]
  SciRecipeは27の生物学的サブフィールドにまたがる12K以上の構造化プロトコルからなる大規模データセットである。 プロトコル生成をさらに改善するために,解析,構造化,表現を分離する"Sketch-and-Fill"パラダイムを提案する。 我々はThothを開発し、知識獲得から運用的推論に至る段階的な知識と行動のプロセスで訓練する。
  論文  参考訳（メタデータ） (2025-10-17T12:47:50Z)
• BioProBench: Comprehensive Dataset and Benchmark in Biological Protocol Understanding and Reasoning [31.739027752007928]
  生物プロトコルの理解と推論のための大規模マルチタスクベンチマークとして,BioProBenchを提案する。 27Kのオリジナルプロトコルに基づいて構築され、約556Kの高品質な構造化インスタンスを生成する。
  論文  参考訳（メタデータ） (2025-05-11T09:42:24Z)
• Benchopt: Reproducible, efficient and collaborative optimization benchmarks [67.29240500171532]
  Benchoptは、機械学習で最適化ベンチマークを自動化、再生、公開するためのフレームワークである。 Benchoptは実験を実行、共有、拡張するための既製のツールを提供することで、コミュニティのベンチマークを簡単にする。
  論文  参考訳（メタデータ） (2022-06-27T16:19:24Z)
• The MultiBERTs: BERT Reproductions for Robustness Analysis [86.29162676103385]
  事前トレーニングの再実行は、パフォーマンスに関して、かなり異なる結論をもたらす可能性がある。 我々は25個のBERTベースのチェックポイントの集合であるMultiBERTを紹介する。 目標は、研究者が事前訓練の手順について、堅牢で統計的に正当化された結論を描けるようにすることである。
  論文  参考訳（メタデータ） (2021-06-30T15:56:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。