論文の概要: LabOPBench: A Multimodal Benchmark for Evidence-Grounded Laboratory Decision Making

• arxiv url: http://arxiv.org/abs/2610.19780v1
• Date: Wed, 14 Oct 2026 08:29:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.036473
• Title: LabOPBench: A Multimodal Benchmark for Evidence-Grounded Laboratory Decision Making
• Title（参考訳）: LabOPBench: 証拠収集による研究室決定のためのマルチモーダルベンチマーク
• Abstract要約: 有機合成と材料科学に関する質問を独立にレビューした756名の専門家によるマルチモーダルベンチマークであるLabOPBenchについて紹介する。 8つのマルチモーダルモデルは28.8-45.8%の総合正規化スコアを取得し、改善の余地を残している。 3つの主要なモデルからの応答のエキスパート分析は、Evidence MisreadingとEvidence-Decision Conflictを支配的なエラーパターンとして特定する。
• 参考スコア（独自算出の注目度）: 47.333466839190976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Laboratory experiments involve more than following predefined protocols; they require adaptive decision-making as the experimental state changes. Existing scientific benchmarks rarely assess such evidence-based decisions in laboratory settings. Here we present LabOPBench, a multimodal benchmark of 756 expert-authored, independently reviewed questions in organic synthesis and materials science. Each item pairs laboratory evidence with procedural context and an open-ended judgment, evaluated using a question-specific scoring rubric. Eight multimodal models obtain overall normalized scores of 28.8-45.8%, leaving substantial room for improvement. On a controlled 100-question subset, the strongest models outperform undergraduate participants on average but remain below the average performance of PhD participants. Expert analysis of responses from the three leading models identifies Evidence Misreading and Evidence-Decision Conflict as the dominant error patterns. These results reveal that current models still struggle to turn multimodal perception into reliable laboratory decision-making.
• Abstract（参考訳）: 実験室実験は、事前定義されたプロトコル以上のものを含み、実験状態が変化するにつれて適応的な意思決定が必要である。 既存の科学ベンチマークでは、実験室でこのような証拠に基づく決定を評価することはめったにない。 ここでは、756人の専門家が作成したマルチモーダルベンチマークであるLabOPBenchについて,有機合成と材料科学に関する質問を独立にレビューする。 各項目は、手続き的な文脈とオープンな判断で実験室の証拠をペアリングし、質問専用スコアリングルーブリックを用いて評価した。 8つのマルチモーダルモデルは28.8-45.8%の総合正規化スコアを取得し、改善の余地を残している。 制御された100-クエストサブセットでは、最強のモデルは、学部生の平均よりも優れていたが、PhD参加者の平均値を下回ったままである。 3つの主要なモデルからの応答のエキスパート分析は、Evidence MisreadingとEvidence-Decision Conflictを支配的なエラーパターンとして特定する。 これらの結果は、現在のモデルでは、マルチモーダルな認識を信頼性の高い実験室の意思決定に変換するのに苦慮していることを示している。

関連論文リスト

• DISCERN: Can AI Agents Work Like Scientists and Guide Discovery? [54.755189648365565]
  私たちは、自動研究ワークフローの3つの重要なレベルを評価するために、実際に利用可能なデータセットのベンチマークであるdisCERNを紹介します。 エージェントはレベル1の60.8%、レベル2の34.2%、レベル3の評価の0.6%で完璧なスコアを得る。 これらのプロファイルは、科学的な援助を監督する機会を特定するが、現在のエージェントは信頼できる自律的な分析や発見をまだ示していない。
  論文  参考訳（メタデータ） (2026-09-27T08:29:32Z)
• BioEVAL: A global, multi-institutional benchmark of large language and multimodal models for bioengineering [34.61671844130205]
  大規模言語モデル (LLMs) は、生物医学の初期の成功と共に、一般的な推論において歴史的に画期的な進歩を見せている。 バイオエンジニアリングのサブフィールドにまたがる実験的推論能力の評価を目的とした,グローバルな多施設間イニシアティブであるBioEVALを組み立てた。 BioEVALは、11の主要なBEサブフィールドと、分類されていない項目のセットにまたがっており、22の研究グループをまとめてPhDレベルのベンチマークを作成する。
  論文  参考訳（メタデータ） (2026-09-24T19:26:39Z)
• Sci-MMR: Benchmarking Multi-Step Evidence-Grounded Scientific Reasoning in Multimodal Agents [56.93800079330285]
  既存のマルチモーダルベンチマークは、最終回答の精度を大きく評価する。 我々は,多段階のエビデンスに基づく科学的推論のためのベンチマークであるSci-MMRを紹介する。 その結果,解答精度は完全証拠回収率を20%以上上回ることがわかった。
  論文  参考訳（メタデータ） (2026-09-10T08:41:07Z)
• BenchBench-Protocol: Evaluating Real-World Wet-Lab Protocol Reasoning and Modification [0.0]
  公開されたプロトコルを新しい実験に適用することは、ウェットラブ科学者にとって日常的な作業である。 最近のライフサイエンスベンチマークは、オープンエンド、ルーリックグレードのタスクに移行している。 我々はBenchBench-Protocolをウェットラブ推論の基礎的評価と、ベンチマークタスクを構築するための実世界の実験の有用性の証拠として提示する。
  論文  参考訳（メタデータ） (2026-08-24T23:11:35Z)
• Bringing analytic rigor to agentic AI for science: The Brain Researcher platform for neuroimaging data analysis [59.44063760362954]
  本稿では、神経イメージング研究者の計算環境で動作するエージェントリサーチハーネスであるBrain Researcherを紹介する。 ベンチマークでは、Brain Researcherは7つのモデルで第1選択ツールの選択精度を70.2ポイント向上させた。 共同研究と自己進化研究において、多元的分析によって分析選択感度が明らかにされ、科学的レビューでは、承認された、認定された、修正された、ブロックされた、拒否された、または延期された。
  論文  参考訳（メタデータ） (2026-08-20T11:13:27Z)
• onepot-Bench 0: towards lab-aware in silico chemistry benchmarks [0.0]
  onepot-Bench 0は、ウェットラブ実行に関連する合成化学能力に関する言語モデルを評価するためのベンチマークスイートである。 Onepot-Bench 0は3つの相補的な評価から成り立っている。 SynthRefusalは、さまざまな良心的、コントロールされた、そしてデザイナ・ドラッグの標的における安全性と拒絶の振る舞いを特徴付ける。
  論文  参考訳（メタデータ） (2026-08-03T17:58:27Z)
• BioResearcher: Scenario-Guided Multi-Agent for Translational Medicine [1.497336135403194]
  Ingenix BioResearcherはシナリオ誘導型マルチエージェントシステムで、クエリをバージョン管理されたリサーチプレイブックにマップする。 バイオリサーバーは, 単位レベルの能力, オープンエンドなバイオメディカル推論, エンドツーエンドの臨床発見にわたって評価した。
  論文  参考訳（メタデータ） (2026-05-07T10:33:43Z)
• MedAgentsBench: Benchmarking Thinking Models and Agent Frameworks for Complex Medical Reasoning [34.93995619867384]
  LLM(Large Language Models)は、既存の医学的質問応答ベンチマークで素晴らしいパフォーマンスを示している。 MedAgentsBenchは、多段階の臨床推論、診断の定式化、および治療計画シナリオを必要とする医学的問題に焦点を当てたベンチマークである。
  論文  参考訳（メタデータ） (2025-03-10T15:38:44Z)
• LabSafety Bench: Benchmarking LLMs on Safety Issues in Scientific Labs [78.99703366417661]
  大規模言語モデル(LLM)は、手続き的なガイダンスから自律的な実験オーケストレーションまで、タスクをますます支援している。 このような過度な信頼性は、リスク識別やリスクアセスメントの失敗が重大事故を引き起こす高リスクな実験室環境では特に危険である。 実験室安全ベンチマーク (LabSafety Bench) を提案し, 潜在的な危険を識別し, リスクを評価し, 実験室環境における安全でない行動の結果を予測する。
  論文  参考訳（メタデータ） (2024-10-18T05:21:05Z)
• With Little Power Comes Great Responsibility [54.96675741328462]
  アンダーパワー実験により、統計的ノイズと有意義なモデル改善の違いを識別することがより困難になる。 小さなテストセットは、ほとんどの試行錯誤が、最先端のモデルと比較しても、十分なパワーが得られないことを意味している。 機械翻訳では,2000文の典型的テストセットが約75%のパワーで1 BLEU点の差を検出する。
  論文  参考訳（メタデータ） (2020-10-13T18:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。