論文の概要: BEAKER: An Expert-Curated Benchmark for Embodied Brains in Self-Driving Chemical Laboratories

• arxiv url: http://arxiv.org/abs/2611.06911v1
• Date: Wed, 04 Nov 2026 18:57:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.24101
• Title: BEAKER: An Expert-Curated Benchmark for Embodied Brains in Self-Driving Chemical Laboratories
• Title（参考訳）: BEAKER: 自動運転化学実験室における身体的脳のエキスパートキュレートベンチマーク
• Abstract要約: 本稿では, 自走化学実験所における身体行動性, 知識, 実験, 推論のベンチマークであるBEAKERを紹介する。 BEAKERには、11のイメージおよびビデオタスクタイプにまたがる1000の専門家による質問応答サンプルが含まれており、化学実験室の実行に必要な重要な判断をカバーしている。 結果は、現在のモデルはビデオの粗い実験手順に従うことができるが、それでも操作可能な領域や実行可能な軌道に行動を起こすのに苦労していることを示している。
• 参考スコア（独自算出の注目度）: 44.95620236713854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-Driving Chemical Laboratories (SDCLs) are moving chemical experimentation toward embodied automation, where machines must perceive laboratory scenes, reason about experimental states, and act under physical, procedural, and safety constraints. Although Multimodal Large Language Models (MLLMs) are increasingly considered as embodied brains for such systems, existing laboratory benchmarks mainly focus on safety, anomaly detection, or general scientific understanding, leaving their execution-oriented embodied capabilities underexplored. To fill this gap, we introduce BEAKER, a Benchmark for evaluating Embodied Actionability, Knowledge, Experimentation, and Reasoning in SDCLs. BEAKER contains 1,000 expert-curated question-answer samples across 11 image and video task types, covering key judgments required for chemical laboratory execution, including affordance grounding, trajectory planning, equipment, state, and safety recognition, apparatus setup, operation and step reasoning, and temporal procedure reasoning. All questions and annotations are manually created and reviewed by chemistry and embodied Artificial Intelligence (AI) experts, without AI-assisted generation or annotation. We evaluate 28 general-purpose, science-oriented, chemistry-specialized, and embodied MLLMs in an offline, single-turn setting. Results show that current models can follow coarse experimental procedures in videos, but still struggle to ground actions into operable regions and feasible trajectories, to recognize fine-grained laboratory apparatus, states, and safety norms, and to order steps in mid-length procedures. BEAKER thus reveals a clear gap between coarse procedural understanding and the precise, action-grounded perception required for laboratory execution, providing a diagnostic benchmark for future MLLMs in SDCLs.
• Abstract（参考訳）: 自走化学実験所(SDCL)は化学実験を、実験室のシーンをマシンが知覚し、実験状態について推論し、物理的、手続き的、安全上の制約の下で行動しなければならない、エンボディド・オートメーションに向けて進めている。 MLLM(Multimodal Large Language Models)は、このようなシステムのためのエンボディド脳と見なされることが多いが、既存の実験室ベンチマークは主に安全性、異常検出、あるいは一般的な科学的理解に焦点を当てており、実行指向のエンボディド能力は未調査のままである。 このギャップを埋めるために、SDCLにおける身体的行動可能性、知識、実験、推論を評価するベンチマークであるBEAKERを紹介します。 BEAKERには、11のイメージおよびビデオタスクタイプにまたがる1000の専門家による質問応答サンプルが含まれており、アベイランスグラウンド、軌道計画、機器、状態、安全認識、機器の設定、運用とステップ推論、時間的手続き推論など、化学実験の実行に必要な重要な判断をカバーしている。 すべての質問とアノテーションは、AIアシスト生成やアノテーションなしで、化学および実施された人工知能(AI)の専門家によって手作業で作成され、レビューされる。 28の汎用・科学指向・化学特化・具体化MLLMをオフライン・シングルターンで評価した。 その結果、現在のモデルはビデオの粗い実験手順に従うことができるが、それでも操作可能な領域や実現可能な軌道に作用し、きめ細かい実験装置、状態、安全基準を認識し、中長の手順で手順を順序付けるのに苦慮していることがわかった。 したがってBEAKERは、粗い手続き的理解と、実験室の実行に必要な精密で行動的な認識との明確なギャップを明らかにし、将来のSDCLにおけるMLLMの診断ベンチマークを提供する。

関連論文リスト

• RoboChemGym: A Protocol-Driven Generative Simulation Framework for Long-Horizon Chemical Manipulation [60.85696622722056]
  ウェットラブ実験は科学的発見における仮説検証の金の標準となっている。 エージェントはこれらの面倒な作業を自動化するという約束を持っているが、彼らの開発は現実世界のトレーニングデータの不足によって妨げられている。 textbfRoboChemGymは,実世界の実験プロトコルに適合した高忠実な操作デモを自律的に生成するフレームワークである。
  論文  参考訳（メタデータ） (2026-10-02T02:43:15Z)
• LabInstruct: Benchmarking Situated Instructional Video Generation for Lab Procedures [18.15040290176653]
  人間は、AI生成計画と物理実験の間の重要な実行インターフェースのままである。 近年のビデオ生成の進歩により,初期のワークスペースイメージと自然言語命令から直接実験的なデモを合成できるようになった。 そこで本研究では,実実験室における位置対応ビデオ生成のベンチマークであるLabInstructを紹介する。
  論文  参考訳（メタデータ） (2026-09-29T12:00:06Z)
• Labimus: A Simulation and Benchmark for Humanoid Dexterous Manipulation in Chemical Laboratory [47.77200587195896]
  Labimusは、有機化学実験室におけるヒューマノイドのデキスタラスな操作に関する最初のベンチマークである。 実際の有機化学のワークステーションから30以上の機能的に忠実な資産を、リアルタイムモデリングによって再構築する。 本稿では,タスク完了,実験精度,長期実行を共同で測定するための精度評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-06-30T02:14:28Z)
• LabVLA: Grounding Vision-Language-Action Models in Scientific Laboratories [95.20367571157679]
  Vision-Language-Action (VLA) モデルは、記述されたプロトコルとロボット実行の間の1つの可能なインターフェースを提供する。 既存の政策は、主に家庭やテーブルトップのデモンストレーションに基づいて訓練されており、機器、透明な液体、または科学実験室で見られる固定されたプロトコルに遭遇することは滅多にない。 まず、Qwen3-VL-4B-インストラクションバックボーンアクションを学習する前に認識させ、フローマッチング後トレーニングを行い、次に知識絶縁下でDiTアクションエキスパートをアタッチする。
  論文  参考訳（メタデータ） (2026-06-11T17:03:53Z)
• Managing Uncertainty in LLM-Generated Procedural Knowledge for Virtual Laboratory Planning [0.0]
  仮想実験室計画のためのLLM生成手続き的知識の不確実性を管理するためのプロトタイプフレームワークを提案する。 このフレームワークは、構造化されたドメイン表現と不確実なLCM生成状態遷移サンプルを使用することで、手続き的不確実性を低減することを目的としている。 本稿では,実験器具,容器,工具,物質移動動作を含む仮想実験室領域におけるアプローチについて述べる。
  論文  参考訳（メタデータ） (2026-05-25T21:12:47Z)
• Bridging the Experimental Last Mile: Digitizing Laboratory Know-How for Safe AI-Assisted Support [0.2045130722535742]
  我々は、一人称実験ビデオ、マルチモーダルAI、検索強化世代(RAG)を組み合わせた、ループ内AIアシスタントを開発する。 このシステムは、物理技術や従来のマニュアルが省略できるという可聴性確認を含む、記録された手順から、サイト固有の実験室の知識を抽出する。 そして、結果のマニュアルに基づいて、接地された応答を提供する。
  論文  参考訳（メタデータ） (2026-03-16T11:19:38Z)
• Chemist-X: Large Language Model-empowered Agent for Reaction Condition Recommendation in Chemical Synthesis [55.30328162764292]
  Chemist-Xは、化学合成における反応条件最適化(RCO)タスクを自動化する包括的なAIエージェントである。 このエージェントは、検索強化世代(RAG)技術とAI制御のウェットラブ実験を実行する。 我々の自動ウェットラブ実験の結果は、LLMが制御するエンドツーエンドの操作を、ロボットに人間がいない状態で行うことで達成され、Chemist-Xの自動運転実験における能力が証明された。
  論文  参考訳（メタデータ） (2023-11-16T01:21:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。