論文の概要: Stress-testing large language model agents in a robotic chemistry laboratory

• arxiv url: http://arxiv.org/abs/2607.23045v1
• Date: Sat, 25 Jul 2026 05:07:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:14.980351
• Title: Stress-testing large language model agents in a robotic chemistry laboratory
• Title（参考訳）: ロボット化学実験室におけるストレス試験型大規模言語モデルエージェント
• Abstract要約: 我々は、物理世界テストベッドとしてロボット化学実験室を使用し、科学機関を測定できるようにします。 45基のモジュラーワークステーションを機械可読スキルとして公開し、4,608回の試験を可能にした。 試験のわずか3.3%は、実験室の制約の下で専門家によって評価された実行可能だった。
• 参考スコア（独自算出の注目度）: 42.48394724685108
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: AI is evaluated through knowledge, reasoning and plan generation, yet scientific agency requires reliable physical action and adaptation to evidence. Here, we use a robotic chemistry laboratory as a physical-world testbed to make scientific agency measurable. Its 45 modular workstations exposed as machine-readable skills enabled 4,608 trials. Only 3.3% of trials produced expert-assessed executable workflows under laboratory constraints; even the best system achieved 28.1%. Long-horizon planning remained a challenge: only three executable workflows exceeded 30 operations, although the longest contained 44. Across five rounds, experimental feedback prompted local adjustments but no workflow-level replanning or analytical-method redesign. By making physical executability and evidence-driven replanning measurable, our study provides an evidence-based assessment of deployment readiness and a diagnostic framework to guide closed-loop improvements towards physically grounded autonomous research.
• Abstract（参考訳）: AIは知識、推論、計画生成を通じて評価されるが、科学機関は信頼できる物理的行動と証拠への適応を必要とする。 ここでは、ロボット化学実験室を物理世界テストベッドとして使用し、科学機関を計測可能にする。 45基のモジュラーワークステーションを機械可読スキルとして公開し、4,608回の試験を可能にした。 試験の3.3%のみが実験室の制約の下で専門家が評価した実行ワークフローを生み出し、最高のシステムでさえ28.1%を達成した。 実行可能ワークフローは3つしか30の操作を超えなかったが、最も長いものは44だった。 5ラウンドにわたって実験的なフィードバックによって局所的な調整が行われたが、ワークフローレベルの再設計や分析的手法の再設計は行われなかった。 本研究は, 物理的実行可能性とエビデンス駆動による再設計を可能とすることにより, 配備準備性に関するエビデンスに基づく評価と, クローズループ改善を物理的に基礎とした自律的な研究へ導くための診断枠組みを提供する。

関連論文リスト

• Evaluating Agentic Bioinformatics through Function, Evidence, and Validation [6.840730950777982]
  大規模言語モデルエージェントは、生物学的分析を計画し、実行し、解釈し、しかし、流動的な応答、成功したツールコール、ベンチマークパフォーマンスだけでは科学的信頼性を確立できない。 ワークフロー操作の実証,動作とクレームのトレース可能なサポート,ユースケース固有のバリデーションを分離するFEV(Function-Evidence-Validation)フレームワークを紹介した。 FEVを用いて、109のエージェントまたはエージェント・アジャセント・システムと28のベンチマークまたは評価リソースをマッピングし、ゲノム学、単一細胞および空間オミクス、タンパク質科学、薬物発見、計算病理学、一般バイオインフォマティクスの自動化に関する128のユニークな出版物を表現した。
  論文  参考訳（メタデータ） (2026-07-30T01:00:36Z)
• LabRobFail: A Benchmark for Robotic Failure Analysis in Chemical Self-driving Laboratory [52.26893354670174]
  本稿では,化学実験室におけるロボット故障解析の学習と評価を目的とした,障害中心のフレームワークであるLabRobFailを紹介する。 LabRobFail-Simは制御、物理、意味レベルで制御可能な障害を注入する。 LabRobFail-Benchは、タスク理解、障害検出、時間的ローカライゼーション、重大度評価、障害分類、動作可能な修正の6つの機能を評価する。
  論文  参考訳（メタデータ） (2026-07-26T14:56:04Z)
• Labimus: A Simulation and Benchmark for Humanoid Dexterous Manipulation in Chemical Laboratory [47.77200587195896]
  Labimusは、有機化学実験室におけるヒューマノイドのデキスタラスな操作に関する最初のベンチマークである。 実際の有機化学のワークステーションから30以上の機能的に忠実な資産を、リアルタイムモデリングによって再構築する。 本稿では,タスク完了,実験精度,長期実行を共同で測定するための精度評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-06-30T02:14:28Z)
• Bohrium + SciMaster: Building the Infrastructure and Ecosystem for Agentic Science at Scale [82.20980951765891]
  エージェントサイエンスのスケーリングにはインフラストラクチャ・アンド・エコシステムアプローチが必要である,と我々は主張する。 BohriumはAI4S資産のマネージドでトレース可能なハブとして機能し、多様な科学データ、ソフトウェア、計算、実験室のシステムをエージェント対応の能力に変換する。 SciMasterはこれらの機能を長い水平科学に編成し、科学エージェントを合成して実行することができる。
  論文  参考訳（メタデータ） (2025-12-23T16:04:41Z)
• Probing Scientific General Intelligence of LLMs with Scientist-Aligned Workflows [203.3527268311731]
  PIM(Practical Inquiry Model)に基づく運用SGI定義を提案する。 深層研究、アイデア生成、ドライ/ウェット実験、実験推論の4つのタスクを通じて運用しています。 私たちのPIMによる定義、ワークフロー中心のベンチマーク、実証的な洞察は、真に科学的な発見に参加するAIシステムの基盤を確立します。
  論文  参考訳（メタデータ） (2025-12-18T12:44:36Z)
• Measuring Scientific Capabilities of Language Models with a Systems Biology Dry Lab [16.242404913297797]
  SciGymは,大規模言語モデルの反復的実験設計と解析能力を評価する一級ベンチマークである。 SciGymは、生体システムのドライラボを実行することで、ウェットラブコストの課題を克服する。 137個の小システム上で6つのフロンティアLSMを評価し,350個のシステムをリリースした。
  論文  参考訳（メタデータ） (2025-07-02T18:41:44Z)
• LabUtopia: High-Fidelity Simulation and Hierarchical Benchmark for Scientific Embodied Agents [103.65422553044816]
  LabUtopiaは、一般化可能な推論可能なエンボディエージェントの開発を容易にするために設計された総合的なシミュレーションとベンチマークスイートである。 30の異なるタスクをサポートし、200以上のシーンと楽器の資産を含んでいる。 LabUtopiaは、科学的目的のエージェントにおける知覚、計画、制御の統合を促進する強力なプラットフォームを提供していることを実証する。
  論文  参考訳（メタデータ） (2025-05-28T17:50:53Z)
• Autonomous Microscopy Experiments through Large Language Model Agents [4.241267255764773]
  大規模言語モデル(LLM)は、材料研究のための自己運転実験室(SDL)に革命をもたらしている。 LLM駆動エージェントによる原子間力顕微鏡の自動化フレームワークであるArtificially Intelligent Lab Assistant (AILA)を紹介する。 アートモデルの現状が,基本的なタスクや調整シナリオに苦労していることに気付きました。
  論文  参考訳（メタデータ） (2024-12-18T09:35:28Z)
• Agents for self-driving laboratories applied to quantum computing [2.840384720502993]
  本稿では,実験者の実験知識の組織化とエージェントによる実験の自動化を支援するため,k-agentsフレームワークを提案する。 本フレームワークでは,実験結果の分析方法を含む実験室の知識をカプセル化するために,大規模言語モデルに基づくエージェントを用いている。 実験を自動化するために,複数ステップの実験手順をエージェントベースの状態マシンに分割し,他のエージェントと対話して各ステップを実行し,実験結果を解析する実行エージェントを導入する。
  論文  参考訳（メタデータ） (2024-12-10T23:30:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。