論文の概要: LabInstruct: Benchmarking Situated Instructional Video Generation for Lab Procedures
- arxiv url: http://arxiv.org/abs/2610.14020v1
- Date: Tue, 29 Sep 2026 12:00:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-18 21:02:54.467377
- Title: LabInstruct: Benchmarking Situated Instructional Video Generation for Lab Procedures
- Title（参考訳）: LabInstruct: ラボプロシージャのための特定インストラクショナルビデオ生成のベンチマーク
- Abstract要約: 人間は、AI生成計画と物理実験の間の重要な実行インターフェースのままである。
近年のビデオ生成の進歩により,初期のワークスペースイメージと自然言語命令から直接実験的なデモを合成できるようになった。
そこで本研究では,実実験室における位置対応ビデオ生成のベンチマークであるLabInstructを紹介する。
- 参考スコア（独自算出の注目度）: 18.15040290176653
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-driving laboratories (SDLs) aim to automate the full experimental loop, from scientific decision-making to physical execution. Ideally, AI-generated plans could be carried out directly by robotic systems, but reliable automation remains difficult in complex, open-world laboratory environments, where experiments often involve fine-grained manipulation, long-horizon procedures, and substantial variation across tasks and setups. Humans therefore remain an important execution interface between AI-generated plans and physical experiments, creating a need for clear and effective human-facing experimental guidance. Because laboratory procedures are inherently visual, spatial, and dynamic, video is particularly well suited to communicating apparatus configurations, manipulation actions, temporal dependencies, and state changes. Recent advances in video generation now make it possible to synthesize experimental demonstrations directly from an initial workspace image and a natural-language instruction. However, whether such models can reliably communicate real laboratory procedures has not been systematically studied. We introduce LabInstruct, a benchmark for situated instructional video generation in real laboratories. LabInstruct contains 204 tasks across 5 scientific disciplines, with real reference executions and structured annotations of objects, actions, contacts, and state transitions. Evaluating 8 frontier image-to-video models, we find that visually plausible generations frequently remain procedurally incorrect, revealing a substantial gap between visual realism and the reliability required for experimental instruction.
- Abstract（参考訳）: 自動運転車研究所(SDL)は、科学的意思決定から物理的実行まで、完全な実験ループを自動化することを目的としている。
理想的には、AIによって生成された計画はロボットシステムによって直接実行されるが、複雑なオープンワールドの研究室環境では、信頼性の高い自動化が難しいままである。
したがって、人間はAI生成計画と物理的実験の間の重要な実行インターフェースであり続けており、明確で効果的な人間向け実験ガイダンスの必要性を生み出している。
実験室の手順は本質的に視覚的、空間的、動的であるため、ビデオは特に機器の構成、操作動作、時間的依存、状態変化の伝達に適している。
近年のビデオ生成の進歩により,初期のワークスペースイメージと自然言語命令から直接実験的なデモを合成できるようになった。
しかし、そのようなモデルが実際の実験室の手順を確実に伝達できるかどうかについては、体系的に研究されていない。
そこで本研究では,実実験室における位置対応ビデオ生成のベンチマークであるLabInstructを紹介する。
LabInstructには、5つの科学分野にわたる204のタスクが含まれており、実際の参照実行とオブジェクト、アクション、連絡先、状態遷移の構造化アノテーションがある。
8つのフロンティア画像・映像モデルを評価すると、視覚的可視世代はしばしば手続き的に不正確であり、視覚的リアリズムと実験的な指導に必要な信頼性の間にかなりのギャップがあることが分かる。
関連論文リスト
- LabDex: A Hierarchical Benchmark for Dexterous Manipulation in Laboratories [40.311566677309536]
LabDex(ラボデックス)は、化学実験室における厳密な操作のための大規模な実世界のデータセットとベンチマークである。
原子のスキル、構成的タスク、長期にわたる実験にまたがる階層的なタスク分類に基づいて構成されている。
本研究では,実環境とシミュレーション環境の両方において,代表的ロボット学習手法のクロスレベル評価を行う。
論文 参考訳（メタデータ） (2026-08-19T07:11:06Z) - Labimus: A Simulation and Benchmark for Humanoid Dexterous Manipulation in Chemical Laboratory [47.77200587195896]
Labimusは、有機化学実験室におけるヒューマノイドのデキスタラスな操作に関する最初のベンチマークである。
実際の有機化学のワークステーションから30以上の機能的に忠実な資産を、リアルタイムモデリングによって再構築する。
本稿では,タスク完了,実験精度,長期実行を共同で測定するための精度評価プロトコルを提案する。
論文 参考訳（メタデータ） (2026-06-30T02:14:28Z) - LabVLA: Grounding Vision-Language-Action Models in Scientific Laboratories [95.20367571157679]
Vision-Language-Action (VLA) モデルは、記述されたプロトコルとロボット実行の間の1つの可能なインターフェースを提供する。
既存の政策は、主に家庭やテーブルトップのデモンストレーションに基づいて訓練されており、機器、透明な液体、または科学実験室で見られる固定されたプロトコルに遭遇することは滅多にない。
まず、Qwen3-VL-4B-インストラクションバックボーンアクションを学習する前に認識させ、フローマッチング後トレーニングを行い、次に知識絶縁下でDiTアクションエキスパートをアタッチする。
論文 参考訳（メタデータ） (2026-06-11T17:03:53Z) - LabBuilder: Protocol-Grounded 3D Layout Generation for Interactable and Safe Laboratory [93.63620478256063]
本稿では,簡潔なテキスト仕様から3次元実験室レイアウトを生成し検証するエンドツーエンドシステムであるLabBuilderを提案する。
LabBuilderは、既存の最先端メソッドを大きく上回っている。
論文 参考訳（メタデータ） (2026-05-04T07:24:56Z) - LabUtopia: High-Fidelity Simulation and Hierarchical Benchmark for Scientific Embodied Agents [103.65422553044816]
LabUtopiaは、一般化可能な推論可能なエンボディエージェントの開発を容易にするために設計された総合的なシミュレーションとベンチマークスイートである。
30の異なるタスクをサポートし、200以上のシーンと楽器の資産を含んでいる。
LabUtopiaは、科学的目的のエージェントにおける知覚、計画、制御の統合を促進する強力なプラットフォームを提供していることを実証する。
論文 参考訳（メタデータ） (2025-05-28T17:50:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。