論文の概要: REALM: A Real-to-Sim Validated Benchmark for Generalization in Robotic Manipulation
- arxiv url: http://arxiv.org/abs/2512.19562v1
- Date: Mon, 22 Dec 2025 16:44:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-23 18:54:32.846449
- Title: REALM: A Real-to-Sim Validated Benchmark for Generalization in Robotic Manipulation
- Title(参考訳): REALM:ロボットマニピュレーションの一般化のための実時間検証ベンチマーク
- Abstract要約: VLA(Vision-Language-Action)モデルは、自然言語で記述されたタスクをロボットが理解し実行できるようにするモデルである。
重要な課題は、訓練された特定の環境や条件を超えて一般化できることです。
本稿では,VLAモデルの一般化能力を評価するための新しいシミュレーション環境とベンチマークであるREALMを提案する。
- 参考スコア(独自算出の注目度): 46.970355660265284
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action (VLA) models empower robots to understand and execute tasks described by natural language instructions. However, a key challenge lies in their ability to generalize beyond the specific environments and conditions they were trained on, which is presently difficult and expensive to evaluate in the real-world. To address this gap, we present REALM, a new simulation environment and benchmark designed to evaluate the generalization capabilities of VLA models, with a specific emphasis on establishing a strong correlation between simulated and real-world performance through high-fidelity visuals and aligned robot control. Our environment offers a suite of 15 perturbation factors, 7 manipulation skills, and more than 3,500 objects. Finally, we establish two task sets that form our benchmark and evaluate the π_{0}, π_{0}-FAST, and GR00T N1.5 VLA models, showing that generalization and robustness remain an open challenge. More broadly, we also show that simulation gives us a valuable proxy for the real-world and allows us to systematically probe for and quantify the weaknesses and failure modes of VLAs. Project page: https://martin-sedlacek.com/realm
- Abstract(参考訳): VLA(Vision-Language-Action)モデルは、自然言語で記述されたタスクをロボットが理解し実行できるようにするモデルである。
しかし、重要な課題は、訓練された特定の環境や条件を超えて一般化する能力である。
このギャップに対処するために,VLAモデルの一般化能力を評価するために設計された新しいシミュレーション環境とベンチマークであるREALMを提案する。
私たちの環境には15の摂動要因、7の操作スキル、3500以上のオブジェクトが含まれています。
最後に、ベンチマークを構成する2つのタスクセットを確立し、π_{0}, π_{0}-FAST, GR00T N1.5 VLAモデルを評価する。
より広義には、シミュレーションによって現実世界の貴重なプロキシが得られ、VLAの弱点や障害モードを体系的に調査し、定量化することができることも示しています。
プロジェクトページ:https://martin-sedlacek.com/realm
関連論文リスト
- WorldSimProbe: Diagnosing Simulator Faithfulness in Action-Conditioned World Models for Embodied Manipulation [85.15806404962193]
行動条件付き世界モデル(ACWM)は、計画、ポリシー評価、データ生成のためのスケーラブルな予測シミュレータを具現化したAIを提供することを約束する。
物理シミュレータが期待する観測能力を用いてACWMを評価する。
WorldSimProbeは、制御のバリエーション、相互作用のグラウンディングにおける構造化された障害、ダイナミックスにまたがる、システマティックなアクション実現の劣化を明らかにする。
論文 参考訳(メタデータ) (2026-08-10T08:48:06Z) - SpatialWorld: Benchmarking Interactive Spatial Reasoning of Multimodal Agents in Real-World Tasks [73.92333717662558]
SpaceWorldは、複雑な現実世界のタスクにおけるマルチモーダルエージェントのインタラクティブな空間的理解を評価するためのベンチマークである。
多様なドメイン(例えば、家庭のルーチン、旅行、社会協力など)にまたがる760の人称タスクが特徴である。
信頼性評価のために、各タスクは、人間検証された初期状態、参照軌跡、端末状態検証器を含む。
論文 参考訳(メタデータ) (2026-06-08T15:51:51Z) - Colosseum V2: Benchmarking Generalization for Vision Language Action Models [7.928181100728332]
Vision-Language-Action (VLA)モデルは、ロボット操作において有望な一般化を示す。
Colosseum V2は、ロボット学習におけるVLA一般化を評価するための大規模なシミュレーションベンチマークである。
ManiSkillシミュレータ上に構築されたColosseum V2は、高速でGPU並列化された評価を可能にする。
論文 参考訳(メタデータ) (2026-05-26T23:17:39Z) - Toward Visually Realistic Simulation: A Benchmark for Evaluating Robot Manipulation in Simulation [62.51953630639423]
既存のベンチマークには視覚的リアリズムがなく、シミュレーションと現実の間に大きな領域ギャップが生じる。
シミュレーションにおけるロボット操作評価のための,視覚的にリアルなベンチマークであるVISERを提案する。
VISERは、物理ベースのレンダリング(PBR)素材を備えた1000以上の3Dアセットの高忠実度データセットと、それらのアセットから作成される3Dシーンを、レイアウトや生成によって構成する。
論文 参考訳(メタデータ) (2026-05-07T14:13:05Z) - RoboLab: A High-Fidelity Simulation Benchmark for Analysis of Task Generalist Policies [20.899640428403377]
既存のベンチマークでは、トレーニングと評価の間に大きなドメインオーバーラップが見られる。
これらの課題に対処するために設計されたシミュレーションベンチマークフレームワークであるRoboLabを紹介します。
詳細なメトリクスとスケーラブルなツールセットを提供することで、RoboLabはタスクジェネリストロボットポリシーの真の一般化能力を評価するためのスケーラブルなフレームワークを提供する。
論文 参考訳(メタデータ) (2026-04-10T19:42:21Z) - ManipArena: Comprehensive Real-world Evaluation of Reasoning-Oriented Generalist Robot Manipulation [66.02142169323521]
Vision-Language-ActionモデルとWorld Modelは最近、汎用ロボットインテリジェンスのための有望なパラダイムとして登場した。
既存のベンチマークは、主にシミュレータ中心であり、制御性を提供するが、知覚ノイズによって引き起こされる現実のギャップを捉えることができない。
シミュレーションと実世界の実行を橋渡しする標準化された評価フレームワークであるManipArenaを紹介する。
論文 参考訳(メタデータ) (2026-03-30T15:06:41Z) - AnoleVLA: Lightweight Vision-Language-Action Model with Deep State Space Models for Mobile Manipulation [2.2357163812666716]
VLA(Vision-Language-Action Model)は,この課題に対して強力な性能を示す。
しかし、標準的なトランスフォーマーバックボーンの計算コストのため、リソース制約のある環境への展開は依然として困難である。
本稿では,マルチモーダルシーケンスを効率的に処理するために,奥行き状態空間モデルを用いた軽量VLAであるAnoleVLAを提案する。
論文 参考訳(メタデータ) (2026-03-16T09:57:45Z) - Self-Correcting VLA: Online Action Refinement via Sparse World Imagination [55.982504915794514]
本稿では, 自己補正VLA (SC-VLA) を提案する。
SC-VLAは最先端のパフォーマンスを達成し、最高タスクスループットを16%削減し、最高パフォーマンスのベースラインよりも9%高い成功率を得る。
論文 参考訳(メタデータ) (2026-02-25T06:58:06Z) - SimVLA: A Simple VLA Baseline for Robotic Manipulation [46.38114519538192]
VLA(Vision-Language-Action)モデルは、汎用ロボット操作のための有望なパラダイムとして登場した。
我々は,VLA研究の透明な基準点を確立するために,SimVLAを紹介した。
論文 参考訳(メタデータ) (2026-02-20T14:04:27Z) - InternVLA-A1: Unifying Understanding, Generation and Action for Robotic Manipulation [77.07565723756119]
InternVLA-A1は動的予測機能を備えた視覚言語モデルである。
我々は、実世界のロボットデータ、合成シミュレーションデータ、人間のビデオなどを用いて、これらのモデルを異種データソース上で事前訓練する。
InternVLA-A1を実世界の12のロボットタスクとシミュレーションベンチマークで評価した。
論文 参考訳(メタデータ) (2026-01-05T18:54:29Z) - VLNVerse: A Benchmark for Vision-Language Navigation with Versatile, Embodied, Realistic Simulation and Evaluation [61.82502719679122]
本稿では,Versatile, Embodied, Realistic Simulation, EvaluationのベンチマークであるVLNVerseを紹介する。
VLNVerseは、スケーラブルでフルスタックのAI問題としてVLNを再定義する。
ベンチマーク内の全てのタスクに対処できる新しいマルチタスクモデルを提案する。
論文 参考訳(メタデータ) (2025-12-22T04:27:26Z) - PolaRiS: Scalable Real-to-Sim Evaluations for Generalist Robot Policies [88.78188489161028]
シミュレーションにおける政策評価と環境復元(PolaRiS)の導入
PolaRiSは、高忠実度シミュレーションロボット評価のためのスケーラブルなリアルタイム・シミュレート・フレームワークである。
PolaRiSの評価は,既存のシミュレーションベンチマークよりも,現実のジェネラリストのポリシー性能に強い相関関係があることが示されている。
論文 参考訳(メタデータ) (2025-12-18T18:49:41Z) - WMPO: World Model-based Policy Optimization for Vision-Language-Action Models [22.01666177489494]
VLA(Vision-Language-Action)モデルは汎用ロボット操作の強力な可能性を示している。
WMPO(World-Model-based Policy Optimization)は、実環境と対話することなく、オンラインVLAのための原則的フレームワークである。
論文 参考訳(メタデータ) (2025-11-12T17:54:09Z) - RobotArena $\infty$: Scalable Robot Benchmarking via Real-to-Sim Translation [47.79800816696372]
操作ポリシーの現実的なテストは、大規模に労働集約的で、再現が難しい。
既存のシミュレーションベンチマークも同様に制限されており、同じ合成ドメイン内でポリシーをトレーニングおよびテストしている。
本稿では,VLA評価を大規模にシミュレーションした拡張環境に移行することで,これらの課題を克服する新しいベンチマークフレームワークを提案する。
論文 参考訳(メタデータ) (2025-10-27T17:41:38Z) - HA-VLN 2.0: An Open Benchmark and Leaderboard for Human-Aware Navigation in Discrete and Continuous Environments with Dynamic Multi-Human Interactions [64.69468932145234]
HA-VLN 2.0は、明示的な社会的認識制約を導入した統一ベンチマークである。
その結果、明示的な社会的モデリングはナビゲーションの堅牢性を向上し、衝突を減らすことが示唆された。
論文 参考訳(メタデータ) (2025-03-18T13:05:55Z) - VLABench: A Large-Scale Benchmark for Language-Conditioned Robotics Manipulation with Long-Horizon Reasoning Tasks [100.3234156027118]
本稿では、ユニバーサルLCMタスク学習を評価するためのオープンソースのベンチマークであるVLABenchを紹介する。
VLABenchは、タスクのカテゴリごとに強いランダム化と合計2000以上のオブジェクトを備えた、慎重に設計された100のタスクカテゴリを提供する。
このベンチマークは、メッシュとテクスチャ、空間関係、意味的命令、物理法則、知識伝達、推論の理解を含む複数の能力を評価する。
論文 参考訳(メタデータ) (2024-12-24T06:03:42Z) - Language-Conditioned Imitation Learning with Base Skill Priors under Unstructured Data [26.004807291215258]
言語条件付きロボット操作は、複雑なタスクを理解し実行することができるロボットを開発することを目的としている。
基本スキルの事前知識と非構造化データに基づく模倣学習を組み合わせた汎用的言語条件付き手法を提案する。
ゼロショット設定を用いてシミュレーション環境と実環境の両方におけるモデルの性能を評価する。
論文 参考訳(メタデータ) (2023-05-30T14:40:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。