論文の概要: Labference: Benchmarking the Reasoning-Action Connection in Robotic Laboratories
- arxiv url: http://arxiv.org/abs/2610.35252v2
- Date: Mon, 02 Nov 2026 02:35:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.357195
- Title: Labference: Benchmarking the Reasoning-Action Connection in Robotic Laboratories
- Title（参考訳）: ラベル:ロボット実験室における推論・アクション接続のベンチマーク
- Abstract要約: Embodied AI for Scienceは、実験目標を信頼性のある物理的手順に変換するロボットを必要とする。
本稿では、観測結果がその後の選択をどのように導くかを評価するためのベンチマークであるLabferenceを紹介する。
- 参考スコア（独自算出の注目度）: 36.32595311374066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Realizing Embodied AI for Science requires robots to translate experimental goals into reliable physical procedures, reducing hazardous and repetitive human work while generating evidence for scientific discovery. Although language-based planning and learned manipulation provide complementary capabilities, their integration requires robots to adapt subsequent operations to actual execution outcomes. For example, an unsuccessful placement changes what must be done next, even when the experimental goal remains unchanged. Existing benchmarks assess planning, manipulation, and laboratory workflows through task completion and reasoning or execution metrics; however, aggregate performance leaves the connection between outcome-dependent choices and physical execution unresolved. To address this evaluation gap, we introduce Labference, a benchmark for evaluating how observed physical outcomes guide subsequent choices and how those choices translate into robotic laboratory actions. Its evaluation protocol is designed to test outcome-dependent behavioral adaptation through controlled evidence variations, while independently measuring operation selection, physical execution, and task completion. Matched Oracle-assisted continuations from shared checkpoints then assess which forms of support improve subsequent choices and task completion. Initial weighing evaluations reveal target-selection errors in the tested VLA policies despite successful object transfers, whereas GPT-driven control achieves correct selection but encounters execution failures and substantial computation costs. Together, these findings highlight the need to connect task-appropriate reasoning with reliable, timely action. By making this connection measurable and diagnosable, Labference supports targeted improvements toward autonomous experimentation for Embodied AI for Science.
- Abstract（参考訳）: Embodied AI for Scienceを実現するには、実験目標を信頼性のある物理的手順に変換することが必要であり、科学的発見の証拠を生成しながら、危険で反復的な人間の作業を減らす必要がある。
言語ベースの計画と学習された操作は相補的な機能を提供するが、その統合にはロボットが実際の実行結果にその後の操作を適用する必要がある。
例えば、失敗した配置は、実験目標が変更されていない場合でも、次にすべきことを変更します。
既存のベンチマークでは、タスクの完了と推論、実行のメトリクスを通じて、計画、操作、研究室のワークフローを評価している。
この評価ギャップに対処するために,観察された物理的結果がその後の選択をどのように導くか,そしてそれらの選択がロボット実験の動作にどのように変換されるかを評価するためのベンチマークであるLabferenceを紹介した。
その評価プロトコルは、操作選択、物理実行、タスク完了を独立に測定しながら、制御されたエビデンス変動を通じて結果依存の行動適応をテストするように設計されている。
共有チェックポイントからのOracle支援の継続と一致し、その後の選択とタスク完了をどのサポート形式で改善するかを評価する。
初期重み付け評価では、オブジェクト転送が成功したにもかかわらず、テストされたVLAポリシーのターゲット選択誤差が明らかになる一方、GPT駆動制御は正しい選択を達成できるが、実行失敗と相当な計算コストに遭遇する。
これらの知見は、タスクに適した推論と信頼性のあるタイムリーなアクションを結びつける必要性を浮き彫りにしている。
この接続を測定可能で診断可能にすることで、ラボはEmbodied AI for Scienceの自律的な実験に向けた目標とする改善をサポートする。
関連論文リスト
- RoboDoctor: Training-Free Recursive Self-Improvement for Robot Policies [15.187022029195653]
汎用ロボットポリシーと言語モデルエージェントは相補的な能力を提供するが、タスクの完了には物理的な相互作用の結果にそれらの使用を適用する必要がある。
我々は適応の軌跡として実行について研究し、フィードバックは現在の動作をガイドし、固定されたモデル重みの下で後の決定を修正するための証拠を提供する。
診断,接地動作,永続的な体験を3つのリビジョンターゲットで接続する,トレーニング不要のフレームワークであるRoboDoctorを紹介した。
論文 参考訳（メタデータ） (2026-10-26T15:27:20Z) - EmbodiedLab: Benchmarking Embodied Agents That Act to Know [60.785006927377005]
身体的エージェントは、どのように、いつ周囲と対話するかを自分で決めることで、現実世界の目標を達成することが期待されている。
EmbodiedLabは、ロボットが知る必要があるベンチマークです。
開発者のコーディングエージェントにおける6つのフロンティアモデルについて、ネイティブな観察と制御を行い、知覚とモーションプランニングを加えて評価した。
論文 参考訳（メタデータ） (2026-10-26T13:06:33Z) - DAGLoop: Aligning Method Design with Experimental Feedback in Automated AI Research [57.35979895107533]
DAGLoopは、設計決定の期待される効果をテストすることを目的としており、その決定と実装を比較している。
結果は、構造化された研究メモリを形成するためのテストされた決定、期待、条件で記録される。
論文 参考訳（メタデータ） (2026-10-18T07:53:55Z) - Proactive Physical AI through Continuous Observation and Timely Intervention [67.51229925917208]
ProAgentは2つのコンポーネントを中心に構築されたエンドツーエンドシステムである。
Jevスタイルのプロアクティブタイミングモデルは、介入が必要かどうかを判断する。
Response Modelは、人に対するレスポンスを生成したり、物理的実行のために利用可能なデバイス機能を呼び出す。
論文 参考訳（メタデータ） (2026-10-12T15:33:34Z) - RobotWorld: Benchmarking Multimodal Agents for Robot Use Across Diverse Tasks and Embodiments [91.39996227368]
汎用エージェントはますます、コードを書き、ツールを使い、複雑なデジタルタスクを完遂し、これらの能力が物理的な世界にどこまで浸透するかという疑問を提起している。
ロボットのインタフェースを通じて、指示や観察を物理的タスクの実行に変換するという、ロボット利用のための挑戦的なシミュレーションテストベッドであるRobotWorldを紹介した。
タスク結果と実行トレースを分析して、転送する機能と、信頼性の高い完了を防ぐギャップの両方を識別する。
論文 参考訳（メタデータ） (2026-10-07T16:55:24Z) - CoRE: Learning Collaboration-Role Experts for Decentralized Collaborative Manipulation with One Policy [8.640835924450553]
協調的な操作は、対話が展開するにつれて、ロボットが相補的な行動を実行することを要求する。
コラボレーション・ロール・エキスパートズ(Collaboration-Role Experts)をプールされたマルチタスク、マルチロボットのデモから学習するCoREを紹介する。
CoREは評価された分散メソッドの中で最高の平均性能を達成する。
論文 参考訳（メタデータ） (2026-10-06T04:49:11Z) - SciHorizon-eLab: An Agentic Protocol-to-Task Compiler for Scalable Benchmarking of Scientific Embodied Agents [30.43382760502922]
身体的エージェントは、科学実験を自動化するための有望なルートを提供する。
既存のシミュレーションベースの実験室ベンチマークは、手作業のエンジニアリングに大きく依存している。
本稿では,エージェントプロトコル対タスクコンパイラであるSciHorizon-eLabを紹介する。
論文 参考訳（メタデータ） (2026-09-25T08:18:45Z) - Test-Driven Approaches to Software Engineering with Large Language Models: A Survey of Phases, Tasks, and Agent Skills [14.44743150931186]
テストは、大規模言語モデルとソフトウェアエンジニアリングエージェントによる決定にますます参加します。
意図された振る舞い、プログラムの構築と修復のガイド、候補の選択、制約変換、ソフトウェア分析の実行証拠を提供する。
これらは、テスト駆動開発における描画を使用するが、テスト順序、オラクル可用性、編集可能なアーティファクト、実行の役割は大きく異なる。
論文 参考訳（メタデータ） (2026-09-10T06:20:22Z) - Rethinking Visual-Language-Action Model Scaling: Alignment, Mixture, and Regularization [65.37179698521766]
VLA(Vision-Language-Action)モデルは、ジェネラリストロボットの制御を強く約束する。
標準的な「スケールデータ」レシピがロボット工学に翻訳されるかどうかはまだ不明だ。
本稿では,多様なロボットを対象とした事前学習のためのコアトレーニング選択を再考する,VLAスケーリングの体系的かつ制御された研究を提案する。
論文 参考訳（メタデータ） (2026-02-10T12:25:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。