論文の概要: LIBERO-Pro2.0: A Benchmark for Evaluating the Robustness of Embodied Foundation Models
- arxiv url: http://arxiv.org/abs/2610.24587v1
- Date: Sat, 17 Oct 2026 09:48:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-22 17:31:57.008178
- Title: LIBERO-Pro2.0: A Benchmark for Evaluating the Robustness of Embodied Foundation Models
- Title（参考訳）: LIBERO-Pro2.0: 身体的基礎モデルのロバスト性を評価するベンチマーク
- Abstract要約: LIBEROは、ロボット操作ポリシーを評価するための広く採用されているベンチマークとして登場した。
本稿では,分布シフト下での具現化基礎モデルのロバスト性を体系的に評価するための総合ベンチマークであるLIBERO-Pro2.0を紹介する。
- 参考スコア（独自算出の注目度）: 33.63651264086055
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LIBERO has emerged as a widely adopted benchmark for evaluating robotic manipulation policies. However, strong performance on LIBERO does not necessarily indicate robust embodied capabilities, as models may exploit benchmark-specific regularities rather than generalize to diverse operating conditions. In this work, we introduce LIBERO-Pro2.0, a comprehensive benchmark for systematically evaluating the robustness of embodied foundation models under distribution shifts. LIBERO-Pro2.0 encompasses 22 static perturbations and 20 runtime interventions across six dimensions: Condition, Environment, Observation, Execution, Robot State Configuration, and Language, yielding 1,648 validated shifted task instances. To support robustness-oriented learning, we further collect 39,390 training trajectories through model-generated and human demonstrations. All shifted task instances undergo six rounds of iterative human review and correction to ensure physical plausibility and task validity. We evaluate 17 representative robot policies spanning vision-language-action models, world-action models, and robustness-oriented policies. Our results reveal substantial robustness gaps across all evaluated paradigms: under runtime distribution shifts, the evaluated models exhibit an average performance drop of 26.5 percentage points, with individual drops reaching 32.5 points. These findings highlight the gap between nominal benchmark performance and robustness under distribution shifts, underscoring the need for systematic robustness evaluation of embodied foundation models.
- Abstract（参考訳）: LIBEROは、ロボット操作ポリシーを評価するための広く採用されているベンチマークとして登場した。
しかし、LIBEROの強い性能は、モデルが様々な操作条件に一般化するのではなく、ベンチマーク固有の正規性を活用できるため、必ずしも堅牢なエンボディ機能を示すものではない。
本研究では,分布シフト下でのエンボディベースモデルのロバスト性を体系的に評価するための総合ベンチマークであるLIBERO-Pro2.0を紹介する。
LIBERO-Pro2.0は、条件、環境、観察、実行、ロボット状態設定、言語という6つの次元にわたる22の静的摂動と20のランタイム介入を含んでいる。
また、ロバストネス指向学習を支援するために、モデル生成および人間による実演を通して39,390の訓練軌跡を収集する。
すべてのシフトしたタスクインスタンスは、6ラウンドの反復的な人間のレビューと修正を行い、物理的な妥当性とタスクの妥当性を保証する。
視覚・言語・アクションモデル,世界・アクションモデル,ロバストネス指向ポリシーにまたがる17の代表的なロボットポリシーを評価する。
実行時分布シフトの下では、評価されたモデルは平均的なパフォーマンス低下率26.5パーセントを示し、個々のドロップは32.5ポイントに達する。
これらの知見は, 基礎モデルの体系的ロバスト性評価の必要性を浮き彫りにして, 正規化ベンチマーク性能と分布シフト下のロバスト性とのギャップを浮き彫りにしている。
関連論文リスト
- RSI-Anything: Unlocking Recursive Self-Improvement with World Models [76.79361510862277]
RSI-AnythingはJEPA-Anything上に構築されたドメイン・ジェネラル・フレームワークである。
予測ワールドモデルを使用して、アクションと学習データの選択をガイドする。
コード修復では、コーダーが固定され、静的検証器で成功率は26.3%から予測選択により29.2%に増加する。
論文 参考訳（メタデータ） (2026-10-09T17:50:30Z) - LIBERO-VPro: Benchmarking Closed-Loop Visual Robustness of Robotic Foundation Models [61.038310084204056]
本稿では,ロボット基礎モデルの閉ループ視覚的堅牢性を評価するためのベンチマークであるLIBERO-VProを紹介する。
約196,000回にわたって3つの視覚言語行動モデルと3つの世界行動モデルを評価した。
以上の結果から,強い名目性能は視覚的接地や適応において重大な弱点を隠蔽する可能性が示唆された。
論文 参考訳（メタデータ） (2026-09-21T09:43:41Z) - FailBench: How Reliable are VLMs at Judging Robot Task Success? [0.0]
FailBenchは、14の公開ソースにわたる2,197回の操作を含むロボット故障検出のベンチマークである。
FailBenchでは、75%の障害が自然に発生し、6つの実世界のソースが非障害検出データセットから発生している。
論文 参考訳（メタデータ） (2026-09-03T09:58:55Z) - GigaWorld-1: A Roadmap to Build World Models for Robot Policy Evaluation [73.02743604295246]
WMBenchは、実際のロボット遠隔操作データとポリシーのロールアウトから構築されたベンチマークである。
7つのビデオワールドモデル,4つのアクション表現スキーム,および実際のロボット実行と組み合わせた324,000以上のシミュレートされたポリシーロールアウトを分析した。
評価者の品質は、短期的な視覚的リアリズムよりも、長期的な、行動に忠実なロールアウト一貫性に支配されている。
論文 参考訳（メタデータ） (2026-07-02T17:02:43Z) - FATE-VLA:Failue-aware test generation for vision-language-action models [10.716019832991046]
ビジョンランゲージ・アクションモデルは、ジェネラリストロボットポリシーとしてますます使われている。
高次元のエンボディド空間では、障害はスパースでクラスタ化されているため、静的なベンチマークはリスクを過小評価する可能性がある。
本稿では,多様性に基づく探索と観察結果から得られたサロゲートモデルを組み合わせたフェールアウェアなテスト生成手法を提案する。
論文 参考訳（メタデータ） (2026-06-01T14:27:13Z) - MANTA: Multi-turn Assessment for Nonhuman Thinking & Alignment [0.1452394725421793]
MANTAは、Inspect AIプラットフォーム上に構築された動的マルチターン評価フレームワークである。
Clude-sonnet-4-20250514およびopenai/gpt-4oの評価を行った。
また, LLM-as-judge 評価において, 体系的フォーマットバイアスを示す制御された4要素法であるSTYLEJUDGEを提案する。
論文 参考訳（メタデータ） (2026-04-18T19:51:32Z) - HY-Embodied-0.5: Embodied Foundation Models for Real-World Agents [71.09493646932046]
本稿では,実世界のエンボディエージェントに特化して設計された基礎モデルのファウンデーションモデルであるHY-Embodied-0.5を紹介する。
HY-Embodied-0.5スイートは、エッジ配置用に設計された2Bアクティベートパラメータを持つ効率的なモデルと、複雑な推論をターゲットとした32Bアクティベートパラメータを持つ強力なモデルである。
私たちのMoT-2Bモデルは16ベンチマークで同等の大きさの最先端モデルより優れていますが、32BはGemini 3.0 Proのようなフロンティアモデルに匹敵するパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2026-04-08T17:59:48Z) - From Seeing to Doing: Bridging Reasoning and Decision for Robotic Manipulation [35.79160868966466]
FSD(From Seeing to Doing)は空間関係推論により中間表現を生成する新しい視覚言語モデルである。
提案手法は,空間座標を視覚信号と整列する自己整合性機構と,階層的なデータパイプラインを併用する。
我々は、FSDがSimplerEnvで40.6%の成功率、実世界の8つのタスクで72%の成功率を達成したことを示し、最強のベースラインを30%上回った。
論文 参考訳（メタデータ） (2025-05-13T13:20:46Z) - GEO-Bench: Toward Foundation Models for Earth Monitoring [139.77907168809085]
6つの分類と6つのセグメンテーションタスクからなるベンチマークを提案する。
このベンチマークは、さまざまな地球観測タスクの進行の原動力となる。
論文 参考訳（メタデータ） (2023-06-06T16:16:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。