論文の概要: LabVLA: Grounding Vision-Language-Action Models in Scientific Laboratories
- arxiv url: http://arxiv.org/abs/2606.13578v2
- Date: Mon, 15 Jun 2026 17:50:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 18:36:04.898965
- Title: LabVLA: Grounding Vision-Language-Action Models in Scientific Laboratories
- Title（参考訳）: LabVLA: 科学実験室における接地ビジョン・ランゲージ・アクションモデル
- Authors: Baochang Ren, Xinjie Liu, Xi Chen, Yanshuo Liu, Chenxi Li, Daqi Gao, Zeqin Su, Jintao Xing, Zirui Xue, Rui Li, Xiangyu Zhao, Shuofei Qiao, Minting Pan, Wangmeng Zuo, Lei Bai, Dongzhan Zhou, Ningyu Zhang, Huajun Chen,
- Abstract要約: Vision-Language-Action (VLA) モデルは、記述されたプロトコルとロボット実行の間の1つの可能なインターフェースを提供する。
既存の政策は、主に家庭やテーブルトップのデモンストレーションに基づいて訓練されており、機器、透明な液体、または科学実験室で見られる固定されたプロトコルに遭遇することは滅多にない。
まず、Qwen3-VL-4B-インストラクションバックボーンアクションを学習する前に認識させ、フローマッチング後トレーニングを行い、次に知識絶縁下でDiTアクションエキスパートをアタッチする。
- 参考スコア（独自算出の注目度）: 95.20367571157679
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scientific laboratories increasingly rely on AI systems to reason about experiments, but the physical act of doing science remains largely outside their reach. AI can help read literature, generate hypotheses, and plan protocols, yet the execution of those protocols at the bench still requires a human operator. Vision-Language-Action (VLA) models provide one possible interface between written protocols and robot execution, but existing policies are trained mostly on household and tabletop demonstrations and rarely encounter the instruments, transparent liquids, or fixed protocol workflows found in scientific laboratories. Closing this gap requires both laboratory-specific supervision and a unified learning framework that can accommodate the diverse robot embodiments used to execute experimental protocols. We therefore identify data and embodiment as central bottlenecks alongside model design. To address the data side, we build RoboGenesis, a simulation-based workflow and data engine that composes configured laboratory workflows from atomic skills, validates and filters rollouts, and exports structured demonstrations across supported robot profiles. On the policy side, we present LabVLA, trained with a two-stage recipe: FAST action token pretraining first makes the Qwen3-VL-4B-Instruct backbone action aware before any continuous control is learned, and flow matching posttraining then attaches a DiT action expert under knowledge insulation. On the LabUtopia benchmark, LabVLA achieves the highest average success rate among all evaluated baselines under both in-distribution and out-of-distribution settings.
- Abstract（参考訳）: 科学研究所は、実験を推論するためにAIシステムにますます依存しているが、科学を行う物理的な行為は、その手の届かないところにある。
AIは文学を読み、仮説を生成し、プロトコルを計画するのに役立ちます。
VLA(Vision-Language-Action)モデルは、記述されたプロトコルとロボットの実行の間の1つのインターフェースを提供するが、既存のポリシーは主に家庭用およびテーブルトップのデモに基づいて訓練されており、科学実験室で見られる機器、透明液体、固定されたプロトコルワークフローに遭遇することは滅多にない。
このギャップを埋めるためには、実験室固有の監督と、実験的なプロトコルの実行に使用する多様なロボットの実施に適合できる統一的な学習フレームワークが必要である。
したがって、モデル設計と並行して、データと具体化を中心的なボトルネックとみなす。
シミュレーションベースのワークフローとデータエンジンであるRoboGenesisは、アトミックスキルから構成されたワークフローを構成し、ロールアウトの検証とフィルタを行い、サポート対象のロボットプロファイルに構造化されたデモをエクスポートする。
まず、Qwen3-VL-4B-Instruct backbone actionを学習する前に認識させ、フローマッチング後トレーニングを行い、次に知識絶縁下でDiTアクションエキスパートをアタッチする。
LabUtopiaベンチマークにおいて、LabVLAは、分布内および分布外設定の両方で評価されたベースラインの中で、最も平均的な成功率を達成する。
関連論文リスト
- Claw AI Lab: An Autonomous Multi-Agent Research Team [73.07229229907435]
今回紹介するClaw AI Labは,ラボネイティブな自律型研究プラットフォームである。
1つのエージェントや固定されたシリアルワークフローを中心にシステムを集中するのではなく、ユーザーは1つのプロンプトから完全な研究チームをインスタンス化できる。
Claw-Code Harnessはローカル、データセット、チェックポイントを接続して実行可能な実験を行い、実行成果物を研究ループにフィードバックする。
論文 参考訳（メタデータ） (2026-05-21T16:02:53Z) - From Prompts to Protocols: An AI Agent for Laboratory Automation [1.9609766210591626]
大規模な言語モデルと実験室オーケストレーションを統合したAIエージェントアーキテクチャを提案する。
AIエージェントは、自動検証とエラー訂正を備えたエージェントループの下で動作する。
プロトコルの作成、両方のプロトコルの実行と監視、クローズドループ最適化キャンペーンなど、完全な実験ライフサイクルをサポートする。
論文 参考訳（メタデータ） (2026-05-15T18:52:41Z) - BioProVLA-Agent: An Affordable, Protocol-Driven, Vision-Enhanced VLA-Enabled Embodied Multi-Agent System with Closed-Loop-Capable Reasoning for Biological Laboratory Manipulation [15.461936066333633]
BioProVLA-Agent(バイオプロVLA-Agent)は、生物学的操作のためのプロトコル駆動型、ビジョン駆動型多エージェントシステムである。
クローズドループワークフローでは、プロトコル解析、視覚的状態検証、具体的実行を統合している。
本研究では,15の原子タスク,6つの複合タスク,3つのバイマニュアルタスクを網羅した階層的ベンチマークによるシステム評価を行った。
論文 参考訳（メタデータ） (2026-05-08T06:15:40Z) - LabBuilder: Protocol-Grounded 3D Layout Generation for Interactable and Safe Laboratory [93.63620478256063]
本稿では,簡潔なテキスト仕様から3次元実験室レイアウトを生成し検証するエンドツーエンドシステムであるLabBuilderを提案する。
LabBuilderは、既存の最先端メソッドを大きく上回っている。
論文 参考訳（メタデータ） (2026-05-04T07:24:56Z) - Sci-VLA: Agentic VLA Inference Plugin for Long-Horizon Tasks in Scientific Experiments [49.02509634515056]
最近のビジョン言語アクションモデルは、ロボット研究所にとって有望な基盤を提供する。
実験は通常、複数の原子タスクからなる長い水平タスクを含む。
科学的なタスクのために微調整されたVLAモデルは、原子実験的なアクションを確実に実行することができるが、これらの既知の原子のアクションを再順序付けして構成することによって形成される複合的なタスクの実行に失敗することが多い。
論文 参考訳（メタデータ） (2026-02-10T05:50:19Z) - PRISM: Protocol Refinement through Intelligent Simulation Modeling [4.839327116611717]
本稿では,実験プロトコルの設計,検証,実行を自動化するフレームワークであるPRISMを紹介する。
PRISMは言語モデルに基づくエージェントのセットを使用し、共同で実験的なステップを生成し、洗練する。
我々は、PRISMを言語ベースのプロトコル生成、シミュレーションベースの検証、自動ロボット実行をブリッジする実用的なエンドツーエンドワークフローとして実証する。
論文 参考訳（メタデータ） (2026-01-08T20:15:28Z) - Bohrium + SciMaster: Building the Infrastructure and Ecosystem for Agentic Science at Scale [82.20980951765891]
エージェントサイエンスのスケーリングにはインフラストラクチャ・アンド・エコシステムアプローチが必要である,と我々は主張する。
BohriumはAI4S資産のマネージドでトレース可能なハブとして機能し、多様な科学データ、ソフトウェア、計算、実験室のシステムをエージェント対応の能力に変換する。
SciMasterはこれらの機能を長い水平科学に編成し、科学エージェントを合成して実行することができる。
論文 参考訳（メタデータ） (2025-12-23T16:04:41Z) - LabUtopia: High-Fidelity Simulation and Hierarchical Benchmark for Scientific Embodied Agents [103.65422553044816]
LabUtopiaは、一般化可能な推論可能なエンボディエージェントの開発を容易にするために設計された総合的なシミュレーションとベンチマークスイートである。
30の異なるタスクをサポートし、200以上のシーンと楽器の資産を含んでいる。
LabUtopiaは、科学的目的のエージェントにおける知覚、計画、制御の統合を促進する強力なプラットフォームを提供していることを実証する。
論文 参考訳（メタデータ） (2025-05-28T17:50:53Z) - AlabOS: A Python-based Reconfigurable Workflow Management Framework for Autonomous Laboratories [3.8330070166920556]
実験のオーケストレーションとリソース管理のための汎用ソフトウェアフレームワークであるAlabOSを紹介する。
AlabOSは再構成可能な実験ワークフローモデルとリソース予約機構を備えており、様々なタスクの同時実行を可能にする。
1.5年間に約3,500のサンプルを合成したA-Labの試作実験室で,AlabOSの実装を実演した。
論文 参考訳（メタデータ） (2024-05-22T18:59:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。