論文の概要: BenchBench-Cloning: Evaluating Molecular Cloning Design and Protocol Development
- arxiv url: http://arxiv.org/abs/2610.33355v1
- Date: Fri, 23 Oct 2026 22:51:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.309617
- Title: BenchBench-Cloning: Evaluating Molecular Cloning Design and Protocol Development
- Title（参考訳）: BenchBench-Cloning: 分子クローニング設計とプロトコル開発の評価
- Abstract要約: 分子クローニング実験の計画には、科学的な目的のために必要となる一連の構造と、それらを製造するための建設経路を定義する必要がある。
BenchBench-Cloningは,65の分子クローニングタスクからなる大規模言語モデルのベンチマークである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Molecular cloning is one of the most routine wet-lab workflows, yet existing evaluations of language models in biology mostly test knowledge recall or isolated steps rather than end-to-end experimental planning. We introduce BenchBench-Cloning, a benchmark for large language models comprising 65 molecular cloning tasks grounded in sequence records, laboratory notebooks, and published experimental studies. Planning a molecular cloning experiment requires defining a set of constructs needed for a scientific objective and a construction route to produce them. BenchBench-Cloning contains 50 protocol-development tasks, in which agents produce an executable protocol for a specified construct, and 15 construct-design tasks, in which agents determine the constructs a scientific objective calls for. Protocol-development tasks are evaluated by execution in a cloning simulator; construct-design tasks are evaluated with task-specific deterministic checks and, where needed, rubric-based LLM-as-a-judge evaluation. Across eight systems with repeated attempts per task, GPT-6 Astra scores highest at 30.6%, with the others between 8.6% and 22.2%, and the benchmark remains unsaturated under best-of-ten sampling. As integrating individual cloning decisions into complete, valid plans remains challenging even for frontier models, we expect BenchBench-Cloning to serve as a useful benchmark for tracking progress in experimental planning.
- Abstract（参考訳）: 分子クローニングは、最も日常的なウェットラブワークフローの1つであるが、生物学における言語モデルの既存の評価は、主にエンドツーエンドの実験計画ではなく、テストナレッジリコールまたは独立したステップである。
BenchBench-Cloningは,65の分子クローニングタスクからなる大規模言語モデルのベンチマークである。
分子クローニング実験の計画には、科学的な目的のために必要となる一連の構造と、それらを製造するための建設経路を定義する必要がある。
BenchBench-Cloningは50のプロトコル開発タスクを含み、エージェントは特定の構成のための実行可能なプロトコルを作成し、15のコンストラクト設計タスクは、エージェントが科学的な目的に要求する構造を決定する。
プロトコル開発タスクはクローンシミュレータでの実行によって評価され、構成設計タスクはタスク固有の決定性チェックで評価され、必要に応じてルーリックベースのLCM-as-a-judge評価を行う。
タスクごとに繰り返し試みる8つのシステムの中で、GPT-6 Astraのスコアは30.6%で、他のシステムは8.6%から22.2%で、ベンチマークはベスト・オブ・テンのサンプリングで不飽和のままである。
個別のクローン決定を完全かつ有効な計画に統合することは、フロンティアモデルにおいても依然として困難であり、ベンチベンチクロニングは、実験計画の進捗を追跡する上で有用なベンチマークとなると期待している。
関連論文リスト
- RoboChemGym: A Protocol-Driven Generative Simulation Framework for Long-Horizon Chemical Manipulation [60.85696622722056]
ウェットラブ実験は科学的発見における仮説検証の金の標準となっている。
エージェントはこれらの面倒な作業を自動化するという約束を持っているが、彼らの開発は現実世界のトレーニングデータの不足によって妨げられている。
textbfRoboChemGymは,実世界の実験プロトコルに適合した高忠実な操作デモを自律的に生成するフレームワークである。
論文 参考訳（メタデータ） (2026-10-02T02:43:15Z) - SciHorizon-eLab: An Agentic Protocol-to-Task Compiler for Scalable Benchmarking of Scientific Embodied Agents [30.43382760502922]
身体的エージェントは、科学実験を自動化するための有望なルートを提供する。
既存のシミュレーションベースの実験室ベンチマークは、手作業のエンジニアリングに大きく依存している。
本稿では,エージェントプロトコル対タスクコンパイラであるSciHorizon-eLabを紹介する。
論文 参考訳（メタデータ） (2026-09-25T08:18:45Z) - BenchBench-Protocol: Evaluating Real-World Wet-Lab Protocol Reasoning and Modification [0.0]
公開されたプロトコルを新しい実験に適用することは、ウェットラブ科学者にとって日常的な作業である。
最近のライフサイエンスベンチマークは、オープンエンド、ルーリックグレードのタスクに移行している。
我々はBenchBench-Protocolをウェットラブ推論の基礎的評価と、ベンチマークタスクを構築するための実世界の実験の有用性の証拠として提示する。
論文 参考訳（メタデータ） (2026-08-24T23:11:35Z) - A Self-Evolving Agentic System for Automated Generation and Execution of Biological Protocols [26.510927882022884]
ProtoPilotは、ウェットラブ自動化のための自己進化型マルチエージェントシステムである。
レイヤワイドの検証性、マルチエージェントオーケストレーション、およびプロトコルを生成するためのランタイムスキル更新ライブラリが組み込まれている。
これは90.2%、プロトコル・トコードゲートパス89.5%、Opentronsパス88.24%を達成している。
論文 参考訳（メタデータ） (2026-06-30T14:51:13Z) - Labimus: A Simulation and Benchmark for Humanoid Dexterous Manipulation in Chemical Laboratory [47.77200587195896]
Labimusは、有機化学実験室におけるヒューマノイドのデキスタラスな操作に関する最初のベンチマークである。
実際の有機化学のワークステーションから30以上の機能的に忠実な資産を、リアルタイムモデリングによって再構築する。
本稿では,タスク完了,実験精度,長期実行を共同で測定するための精度評価プロトコルを提案する。
論文 参考訳（メタデータ） (2026-06-30T02:14:28Z) - LabVLA: Grounding Vision-Language-Action Models in Scientific Laboratories [95.20367571157679]
Vision-Language-Action (VLA) モデルは、記述されたプロトコルとロボット実行の間の1つの可能なインターフェースを提供する。
既存の政策は、主に家庭やテーブルトップのデモンストレーションに基づいて訓練されており、機器、透明な液体、または科学実験室で見られる固定されたプロトコルに遭遇することは滅多にない。
まず、Qwen3-VL-4B-インストラクションバックボーンアクションを学習する前に認識させ、フローマッチング後トレーニングを行い、次に知識絶縁下でDiTアクションエキスパートをアタッチする。
論文 参考訳（メタデータ） (2026-06-11T17:03:53Z) - Unleashing Scientific Reasoning for Bio-experimental Protocol Generation via Structured Component-based Reward Mechanism [26.631284893550056]
SciRecipeは27の生物学的サブフィールドにまたがる12K以上の構造化プロトコルからなる大規模データセットである。
プロトコル生成をさらに改善するために,解析,構造化,表現を分離する"Sketch-and-Fill"パラダイムを提案する。
我々はThothを開発し、知識獲得から運用的推論に至る段階的な知識と行動のプロセスで訓練する。
論文 参考訳（メタデータ） (2025-10-17T12:47:50Z) - LabUtopia: High-Fidelity Simulation and Hierarchical Benchmark for Scientific Embodied Agents [103.65422553044816]
LabUtopiaは、一般化可能な推論可能なエンボディエージェントの開発を容易にするために設計された総合的なシミュレーションとベンチマークスイートである。
30の異なるタスクをサポートし、200以上のシーンと楽器の資産を含んでいる。
LabUtopiaは、科学的目的のエージェントにおける知覚、計画、制御の統合を促進する強力なプラットフォームを提供していることを実証する。
論文 参考訳（メタデータ） (2025-05-28T17:50:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。