論文の概要: SlowLab: Benchmarking Autonomous AI Agents on a Year of Experiments They Cannot Undo

• arxiv url: http://arxiv.org/abs/2610.34644v1
• Date: Mon, 26 Oct 2026 00:09:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.65361
• Title: SlowLab: Benchmarking Autonomous AI Agents on a Year of Experiments They Cannot Undo
• Title（参考訳）: SlowLab: 1年間の試験で自律的なAIエージェントのベンチマークを行う
• Abstract要約: SlowLabは、エージェントが4つのシミュレーションされた温室区画で1年間のキャンペーンを実行するベンチマークである。 エージェントは、いつどの気候政策を植えるか、作物を停止するか、作物が成長している間にどの測定値を読むかを判断し、最後には1つの政策を推奨する。 未確認の48件について事前登録された調査では、3件の低コスト言語モデルエージェントが標準的栽培条件の近くで停止した。
• 参考スコア（独自算出の注目度）: 0.2578242050187029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI agents are increasingly proposed as autonomous experimenters, yet the benchmarks that test them mostly offer cheap experiments that answer at once. Experiments in physical facilities are different: they take months, occupy scarce equipment and cannot be undone. We present SlowLab, a benchmark in which an agent runs a one-year campaign in four simulated greenhouse compartments on a site whose crop, facility and prices are hidden. The agent decides when to plant which climate policy, whether to stop a crop and which measurements to read while crops grow, and at the end recommends one policy, which a private evaluator scores in weather the agent never saw. In a preregistered study on 48 unseen sites, three low-cost language-model agents ended near a standard grower setting and clearly below a Bayesian-optimisation baseline that starts from that setting. They ran the facility as two synchronous batches, so measurements taken during the season never changed what they planted, and these measurements improved no method's result. Letting other methods re-read the evidence a campaign had collected did not yield significantly better recommendations, which points to where the models start and which experiments they try. Code is released under the MIT license.
• Abstract（参考訳）: AIエージェントは、自律的な実験者としてますます提案されているが、それらをテストするベンチマークは、ほぼ一度に答える安価な実験を提供する。 物理的な施設での実験は、数ヶ月を要し、不足する機器を占有し、取り外すことはできない。 SlowLabは、作物、施設、価格が隠された場所で、エージェントがシミュレーションされた温室の4つの区画で1年間のキャンペーンを行うベンチマークである。 エージェントは、いつどの気候政策を植えるか、作物を停止するか、作物が成長している間にどの測定値を読むかを決め、最後には、個人的な評価者が見たことのない天候で得点する1つのポリシーを推奨する。 未確認の48件について事前登録された調査では、3件の低コスト言語モデルエージェントが標準のグローサ設定付近で終了し、その設定から始まるベイズ最適化ベースラインを明らかに下回った。 彼らは2つの同期バッチとして施設を運営したので、シーズン中の測定値が植えたものを変えることはなく、これらの測定結果はメソッドの結果を改善しなかった。 キャンペーンが収集した証拠を他の手法で再読めば、モデルがどこから開始し、どの実験を試みるかを示す推奨が大幅に改善することはなかった。 コードはMITライセンスで公開されている。

関連論文リスト

• EmbodiedLab: Benchmarking Embodied Agents That Act to Know [60.785006927377005]
  身体的エージェントは、どのように、いつ周囲と対話するかを自分で決めることで、現実世界の目標を達成することが期待されている。 EmbodiedLabは、ロボットが知る必要があるベンチマークです。 開発者のコーディングエージェントにおける6つのフロンティアモデルについて、ネイティブな観察と制御を行い、知覚とモーションプランニングを加えて評価した。
  論文  参考訳（メタデータ） (2026-10-26T13:06:33Z)
• CrashGym: Measuring the Decision Value of Experimentation for LLM Agents in Counterfactual Market Crashes [13.164202947672756]
  CrashGymは、エージェントが破壊的な介入と、衝撃的な事故に遭おうとする市場の流動性のバックストップを選択しなければならないリミテッドオーダーブックシミュレータである。 その選択は、シミュレータが実行可能なすべての介入を実行する独立にシードされたターゲット実現に基づいて得られる。 最良の介入に対する回帰は、人間やモデルに基づく判断なしで、同じターゲットのリピートで全ての選択肢を直接シミュレートすることで計算される。
  論文  参考訳（メタデータ） (2026-10-21T05:51:02Z)
• La Agente Óptima: Towards Agentic Self-Driving Laboratories [4.1780083423559295]
  自動運転車研究所(SDL)は、自動実験と適応的な意思決定を組み合わせることで、科学的な発見を加速する。 本稿では,ベイズ最適化キャンペーンの構築と監視を行うエージェントフレームワークであるLa Agente ptimaについて述べる。 我々は、アブレーション研究、5つのデジタル発見タスク、および2つの物理プラットフォームにおけるプティマを評価する。
  論文  参考訳（メタデータ） (2026-09-03T23:37:48Z)
• Compressing the Validation Bottleneck: An Agentic Self-Driving Lab for Scientific Discovery [0.2578242050187029]
  自動運転ラボ(SDL)はこれらの実験を実行できるが、ループにはまだボトルネックがある。 我々はこの2つの物理的ボトルネックを1つのエージェントで狙う。 事前認識されたエージェントDOEループは、ドメイン知識と過去の結果を使用して、実用的で有益な次の実験を提案する。 コスト対応サロゲートエージェントは、低コストで低分解能な測定から、低コストで高分解能な測定を予測します。
  論文  参考訳（メタデータ） (2026-07-05T21:17:45Z)
• From Reproduction to Replication: Evaluating Research Agents with Progressive Code Masking [48.90371827091671]
  AutoExperimentは、AIエージェントの機械学習実験の実装と実行能力を評価するベンチマークである。 我々は最先端のエージェントを評価し、n$が増加するにつれて性能が急速に低下することを発見した。 本研究は、長期コード生成、文脈検索、自律的な実験実行における重要な課題を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-06-24T15:39:20Z)
• Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [54.67512489842682]
  大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。 LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2025-05-23T08:23:36Z)
• Choosing a Proxy Metric from Past Experiments [54.338884612982405]
  多くのランダム化実験では、長期的な計量の処理効果は測定が困難または不可能であることが多い。 一般的な方法は、いくつかの短期的プロキシメトリクスを計測して、長期的メトリックを綿密に追跡することである。 ランダム化実験の同種集団において最適なプロキシメトリックを定義し構築するための新しい統計フレームワークを導入する。
  論文  参考訳（メタデータ） (2023-09-14T17:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。