論文の概要: RoboCasa-Shift: Stage-Aware Robustness Evaluation of Vision-Language-Action Policies in Long-Horizon Household Manipulation
- arxiv url: http://arxiv.org/abs/2610.27861v1
- Date: Tue, 20 Oct 2026 08:42:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.722597
- Title: RoboCasa-Shift: Stage-Aware Robustness Evaluation of Vision-Language-Action Policies in Long-Horizon Household Manipulation
- Title(参考訳): RoboCasa-Shift: 長期住宅操作における視覚・言語・行動政策の段階的ロバスト性評価
- Abstract要約: 視覚言語アクション(VLA)の堅牢性は、一般に、集合的なタスクの成功によって要約される。
我々は、RoboCasa365上に構築された診断堅牢性ベンチマークである textbfRoboCasa-Shift を紹介する。
VLAのロバスト性は、単一のエンドツーエンドのパフォーマンス尺度ではなく、多次元的な実行特性と見なすべきである。
- 参考スコア(独自算出の注目度): 23.314133565782953
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language-action (VLA) robustness is commonly summarized by aggregate task success, which obscures how individual executions change under distribution shifts and where failures emerge in long-horizon tasks. We introduce \textbf{RoboCasa-Shift}, a diagnostic robustness benchmark built on RoboCasa365 that combines controlled single-factor shifts, matched clean-perturbed rollouts in which each pair shares the same underlying settings and differs only in the target shift, and simulator-grounded stage-aware diagnostics. We evaluate GR00T N1.5 on four long-horizon tasks that pass a predefined clean-performance gate under four perturbation factors and three calibrated severity levels, including conditions that drive the evaluated policy to complete task failure, totaling 1,040 formal rollouts. Robustness responses vary substantially across factors and tasks, and increasing severity does not always produce monotonic degradation. For example, one camera condition yields $Δ\mathrm{SR}=0$ despite 8 of 80 matched episodes changing outcome. Stage-aware analysis further shows that the same end-to-end degradation can correspond to different execution-depth profiles. Camera $L_2$ and Gaussian blur $L_1$ both yield $Δ\mathrm{SR}=0.188$, yet their first-stage failure rates are 19.0\% and 36.4\%, respectively. Our findings suggest that VLA robustness should be viewed as a multi-dimensional property of execution rather than a single end-to-end performance measure, motivating evaluation protocols that jointly capture outcome degradation, paired outcome sensitivity, and failure progression. The code is publicly available at https://github.com/HaochengWang23/RoboCasa-Shift.
- Abstract(参考訳): 視覚-言語-アクション(VLA)の堅牢性は一般に、分散シフトの下で個々の実行がどのように変化するか、長期のタスクで障害が発生するのかを曖昧にしている、集合的タスクの成功によって要約される。
我々は,RoboCasa365上に構築された診断堅牢性ベンチマークである‘textbf{RoboCasa-Shift} を紹介した。
我々は,4つの摂動係数と3つの校正された重度レベルの下で,予め定義されたクリーンパフォーマンスゲートを通過させる4つの長期タスクに対してGR00T N1.5を評価する。
ロバストネス応答は、要因やタスクによって大きく異なり、重大度の増加は必ずしも単調な劣化を引き起こすとは限らない。
例えば、1つのカメラ条件は、80回のうち8回が一致した結果が変化するにもかかわらず、$Δ\mathrm{SR}=0$となる。
ステージ認識分析により、同じエンドツーエンドの劣化は異なる実行深度プロファイルに対応できることが示された。
カメラ $L_2$ と Gaussian blur $L_1$ はともに$Δ\mathrm{SR}=0.188$ である。
以上の結果から,VLAのロバスト性は単一エンドツーエンドのパフォーマンス測定ではなく,多次元的な実行特性と見なされるべきであることが示唆された。
コードはhttps://github.com/HaochengWang23/RoboCasa-Shiftで公開されている。
関連論文リスト
- LoopWAM: Closed-Loop Generalist Policy Improvement from Deployment Rollouts [56.21252928632393]
LoopWAMは、現実世界のロールアウトから直接学習するクローズドループの世界アクションモデルである。
音源依存ノイズサンプリングは行動学習と行動条件付き世界モデリングを統合する。
ビデオトークンとアクショントークンは並列denoisingを通じて相互作用し、学習結果がアクション生成を直接通知する。
論文 参考訳(メタデータ) (2026-10-13T17:59:56Z) - LIBERO-MAX: Do Robot Policies Adapt When the World Changes? [61.52324972910026]
多くのシミュレーションロバストネスベンチマークは、リセット時に外部条件を修正し、この時間的課題を過小評価する。
LIBERO-MAXは、幾何学、観察、外観、乱雑、経路の8種類の変化にまたがる8000のペアケースのベンチマークである。
各ペアはタスク実行と、タスク、初期状態、ポリシーシード、修正前のアクションシーケンスを保持する中タスクイベントとを比較します。
論文 参考訳(メタデータ) (2026-09-29T02:12:26Z) - CARE: Experience-Guided Atomic Corrective Execution for Vision-Language-Action Policies [52.32735203969873]
VLA(Vision-Language-Action)ポリシーは、ロボット操作において強力なパフォーマンスを達成するが、実行が名目上の軌道から逸脱した後も不安定なままである。
本稿では,実行時に発生する障害から学習することで回復を改善するフレームワークであるCARE(Corrective Atomic Robotic Execution)を提案する。
論文 参考訳(メタデータ) (2026-09-21T05:14:34Z) - LM-X: Explainable Action Modeling with Progress, Event, and Uncertainty Prediction for Generalist Robot Manipulation [28.431160101245837]
一般視覚-言語行動(VLA)政策は、主に短期水平行動予測を通じて長期水平行動を学ぶ。
我々は,解剖学的対応を主張することなく,タスク,イベント,運動の規模にわたって予測を整理するLM-Xを紹介する。
論文 参考訳(メタデータ) (2026-08-26T13:05:29Z) - From Brewing to Resolution: Tracing the Internal Lifecycle of Code Reasoning in LLMs [15.027568869464737]
モデルが解答を最初に作り出すコード推論の内部ライフサイクルについて検討し、自己記述可能になる前に多くのレイヤを線形に回復できるようにする。
本稿では,CSD(Context-Stripped Decoding)を用いた双方向診断フレームワークの線形探索手法を提案し,Qwen,Llama,DeepSeekにまたがる16モデルを対象とした6つのコード推論タスクファミリに適用する。
論文 参考訳(メタデータ) (2026-06-16T08:06:50Z) - Global Prior Meets Local Consistency: Dual-Memory Augmented Vision-Language-Action Model for Efficient Robotic Manipulation [95.89924101984566]
GPM(Global Prior Memory)とLCM(Local Consistency Memory)を備えたデュアルメモリVLAフレームワークOptimusVLAを紹介する。
GPMはガウスノイズを意味論的に類似した軌道から取得したタスクレベルの先行値に置き換える。
LCMは、時間的コヒーレンスと軌道の滑らかさを強制する学習された一貫性制約を注入する。
論文 参考訳(メタデータ) (2026-02-22T15:39:34Z) - SABER: Small Actions, Big Errors -- Safeguarding Mutating Steps in LLM Agents [52.20768003832476]
我々は$$-Bench (Airline/Retail) および SWE-Bench Verified 上での実行トレースを分析する。
成功を失敗に戻すための、先進的な逸脱、最初期の行動、レベル分岐を形式化する。
モデルに依存しない,勾配のない,テスト時のセーフガードである cm を導入します。
論文 参考訳(メタデータ) (2025-11-26T01:28:22Z) - GRAPE: Generalizing Robot Policy via Preference Alignment [58.419992317452376]
GRAPE: 優先度アライメントによるロボット政策の一般化について述べる。
GRAPEはドメイン内および未確認操作タスクにおける成功率をそれぞれ51.79%、58.20%向上させる。
GRAPEは安全性や効率、衝突速度の37.44%、ロールアウト長さの11.15%といった様々な目標に合わせることができる。
論文 参考訳(メタデータ) (2024-11-28T18:30:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。