論文の概要: onepot-Bench 0: towards lab-aware in silico chemistry benchmarks

• arxiv url: http://arxiv.org/abs/2608.02595v1
• Date: Mon, 03 Aug 2026 17:58:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.750915
• Title: onepot-Bench 0: towards lab-aware in silico chemistry benchmarks
• Title（参考訳）: Onepot-Bench 0: サイリコ化学ベンチマークにおけるラボアウェアに向けて
• Abstract要約: onepot-Bench 0は、ウェットラブ実行に関連する合成化学能力に関する言語モデルを評価するためのベンチマークスイートである。 Onepot-Bench 0は3つの相補的な評価から成り立っている。 SynthRefusalは、さまざまな良心的、コントロールされた、そしてデザイナ・ドラッグの標的における安全性と拒絶の振る舞いを特徴付ける。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models are playing an increasingly important role in laboratory science, performing tasks such as experiment planning, execution, and post-hoc analysis. However, precisely measuring their abilities is difficult, as scientific capabilities require a mixture of both problem-solving skills and domain-specific intuition. Existing evaluations rarely measure the capabilities required to make reliable decisions in a physical laboratory and often rely on public data that may have appeared in model training corpora. We introduce onepot-Bench 0, a proprietary benchmark suite for evaluating language models on synthetic chemistry capabilities relevant to wet-lab execution. onepot-Bench 0 comprises three complementary evaluations: ChemAbacus measures tool-free cheminformatics literacy and numerical reasoning; SynthRefusal characterizes safety and refusal behavior across a variety of benign, controlled, and designer-drug targets; and SynthBench evaluates reaction-outcome prediction and catalyst selection using private experimental data generated in our laboratory. Together, these evaluations probe basic competency, reliability, and deeper knowledge, all skills which are required for reliable performance in the lab.
• Abstract（参考訳）: 言語モデルは、実験計画、実行、ポストホック分析などのタスクを実行する、実験科学においてますます重要な役割を担っている。 しかし、科学的能力は問題解決スキルとドメイン固有の直観の両方を必要とするため、その能力の正確な測定は困難である。 既存の評価は、物理実験室で信頼できる決定を行うために必要な能力を測定することは滅多になく、しばしばモデルトレーニングコーパスに現れた公的なデータに依存する。 我々は,ウェットラブ実行に関連する合成化学能力について,言語モデルを評価するためのベンチマークスイートであるonepot-Bench 0を紹介する。 1pot-Bench 0 は3つの相補的評価を含む: ChemAbacus 測定ツールフリーの化学情報リテラシーと数値推論、SynthRefusal は様々な良性、制御された、デザイナー・ドラッグターゲットにわたる安全性と拒絶挙動を特徴付け、SynthBench は実験室で生成されたプライベート実験データを用いて反応アウトカム予測と触媒選択を評価する。 これらの評価は、基礎的な能力、信頼性、より深い知識、そして実験室における信頼性の高いパフォーマンスに必要なすべてのスキルを調査する。

関連論文リスト

• LabDex: A Hierarchical Benchmark for Dexterous Manipulation in Laboratories [40.311566677309536]
  LabDex(ラボデックス)は、化学実験室における厳密な操作のための大規模な実世界のデータセットとベンチマークである。 原子のスキル、構成的タスク、長期にわたる実験にまたがる階層的なタスク分類に基づいて構成されている。 本研究では,実環境とシミュレーション環境の両方において,代表的ロボット学習手法のクロスレベル評価を行う。
  論文  参考訳（メタデータ） (2026-08-19T07:11:06Z)
• Labimus: A Simulation and Benchmark for Humanoid Dexterous Manipulation in Chemical Laboratory [47.77200587195896]
  Labimusは、有機化学実験室におけるヒューマノイドのデキスタラスな操作に関する最初のベンチマークである。 実際の有機化学のワークステーションから30以上の機能的に忠実な資産を、リアルタイムモデリングによって再構築する。 本稿では,タスク完了,実験精度,長期実行を共同で測定するための精度評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-06-30T02:14:28Z)
• LabBuilder: Protocol-Grounded 3D Layout Generation for Interactable and Safe Laboratory [93.63620478256063]
  本稿では,簡潔なテキスト仕様から3次元実験室レイアウトを生成し検証するエンドツーエンドシステムであるLabBuilderを提案する。 LabBuilderは、既存の最先端メソッドを大きく上回っている。
  論文  参考訳（メタデータ） (2026-05-04T07:24:56Z)
• BABE: Biology Arena BEnchmark [51.53220868983288]
  BABEは、生物学的AIシステムの実験的推論能力を評価するために設計されたベンチマークである。 われわれのベンチマークは、AIシステムが科学者を実践するのと同じように、いかにうまく判断できるかを評価するための堅牢なフレームワークを提供する。
  論文  参考訳（メタデータ） (2026-02-05T16:39:20Z)
• AInsteinBench: Benchmarking Coding Agents on Scientific Repositories [33.48206557020983]
  AInsteinBenchは、大規模言語モデル(LLM)エージェントが科学計算開発エージェントとして動作するかどうかを評価するための大規模なベンチマークである。 AInsteinBenchは、表面レベルのコード生成を超えて、計算科学研究に必要なコア能力に移行するモデルの能力を測定する。
  論文  参考訳（メタデータ） (2025-12-24T08:11:11Z)
• LabUtopia: High-Fidelity Simulation and Hierarchical Benchmark for Scientific Embodied Agents [103.65422553044816]
  LabUtopiaは、一般化可能な推論可能なエンボディエージェントの開発を容易にするために設計された総合的なシミュレーションとベンチマークスイートである。 30の異なるタスクをサポートし、200以上のシーンと楽器の資産を含んでいる。 LabUtopiaは、科学的目的のエージェントにおける知覚、計画、制御の統合を促進する強力なプラットフォームを提供していることを実証する。
  論文  参考訳（メタデータ） (2025-05-28T17:50:53Z)
• Probing the limitations of multimodal language models for chemistry and materials research [3.422786943576035]
  実世界の化学や材料科学のタスクを視覚言語モデルがどのように扱うかを評価するためのベンチマークであるMaCBenchを紹介する。 これらのシステムは、基本的な知覚タスクにおいて有望な能力を示すが、空間的推論、クロスモーダル情報合成、論理的推論の基本的な限界を示す。 私たちの洞察は、化学や材料科学以外にも重要な意味を持ち、信頼性の高いマルチモーダルAI科学アシスタントを開発するには、適切なトレーニングデータとそれらのモデルをトレーニングするためのアプローチのキュレーションの進歩が必要であることを示唆している。
  論文  参考訳（メタデータ） (2024-11-25T21:51:45Z)
• LabSafety Bench: Benchmarking LLMs on Safety Issues in Scientific Labs [78.99703366417661]
  大規模言語モデル(LLM)は、手続き的なガイダンスから自律的な実験オーケストレーションまで、タスクをますます支援している。 このような過度な信頼性は、リスク識別やリスクアセスメントの失敗が重大事故を引き起こす高リスクな実験室環境では特に危険である。 実験室安全ベンチマーク (LabSafety Bench) を提案し, 潜在的な危険を識別し, リスクを評価し, 実験室環境における安全でない行動の結果を予測する。
  論文  参考訳（メタデータ） (2024-10-18T05:21:05Z)
• ChemVise: Maximizing Out-of-Distribution Chemical Detection with the Novel Application of Zero-Shot Learning [60.02503434201552]
  本研究は,簡単な学習セットから複雑な露光の学習近似を提案する。 合成センサ応答に対するこのアプローチは, 分布外の化学分析物の検出を驚くほど改善することを示した。
  論文  参考訳（メタデータ） (2023-02-09T20:19:57Z)
• Metrics for Benchmarking and Uncertainty Quantification: Quality, Applicability, and a Path to Best Practices for Machine Learning in Chemistry [0.0]
  本総説は, 化学・材料分野における機械学習ベンチマークの実施に際し, 2つの課題に留意することを目的としている。 化学者は統計学における限られた訓練しか持たないため、しばしば見過ごされるか、未熟なトピックである。 これらの指標は、異なるモデルのパフォーマンスを比較する上でも重要であり、したがって化学における機械学習の適用を成功させるためのガイドラインとベストプラクティスを開発する上でも重要である。
  論文  参考訳（メタデータ） (2020-09-30T21:19:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。