論文の概要: FailBench: How Reliable are VLMs at Judging Robot Task Success?
- arxiv url: http://arxiv.org/abs/2609.03611v1
- Date: Thu, 03 Sep 2026 09:58:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.008646
- Title: FailBench: How Reliable are VLMs at Judging Robot Task Success?
- Title（参考訳）: FailBench: ロボットタスクの成功を判断する上で,VLMはどの程度信頼性が高いか?
- Abstract要約: FailBenchは、14の公開ソースにわたる2,197回の操作を含むロボット故障検出のベンチマークである。
FailBenchでは、75%の障害が自然に発生し、6つの実世界のソースが非障害検出データセットから発生している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language Models (VLMs) are increasingly used to evaluate robot manipulation outcomes, but existing benchmarks offer limited evidence of cross-domain generalization. We introduce FailBench, a benchmark for robot failure detection comprising 2,197 manipulation attempts across 14 public sources (12 real-world, 2 simulated). In FailBench, 75% of failures occur naturally, and six real-world sources come from non-failure-detection datasets. Evaluating 13 VLM-based detectors, we find the best model achieves only 0.77 mean balanced accuracy. Notably, models fine-tuned for failure detection consistently underperform general-purpose VLMs and their own pretrained baselines. Performance depends heavily on required visual evidence: models approach saturation when outcomes depend on observable object motion, but degrade to near-chance (<0.60 balanced accuracy) on contact-intensive assembly tasks. Error analysis reveals a systematic bias toward predicting success under ambiguous evidence, which persists even with increased reasoning effort. Finally, we show that input-level intervention--spatially localizing and cropping outcome-relevant regions--improves the top detector by 2.4 percentage points without extra training.
- Abstract（参考訳）: VLM(Vision-Language Models)は、ロボット操作の結果を評価するために使われることが多いが、既存のベンチマークでは、クロスドメインの一般化の証拠が限られている。
ロボット故障検出のためのベンチマークであるFailBenchを導入し、14の公開ソース(実世界12、シミュレーション2、2)で2,197回の操作を試みた。
FailBenchでは、75%の障害が自然に発生し、6つの実世界のソースが非障害検出データセットから発生している。
13個のVLM検出器を評価したところ、最良のモデルでは平均平衡精度がわずか0.77であることがわかった。
特に、故障検出のために微調整されたモデルでは、汎用VLMとその事前訓練されたベースラインが一貫して劣っている。
モデルは、結果が観測可能な物体の動きに依存する場合の飽和にアプローチするが、接触集約的な組立タスクでは、近距離(<0.60のバランスの取れた精度)に低下する。
誤り分析は、曖昧な証拠の下で成功を予測するための体系的なバイアスを明らかにし、推論の努力が増加しても持続する。
最後に, 入力レベルの介入, 頻繁な局所化, 収穫結果関連領域が, 余分な訓練を伴わずに, トップ検出器を2.4ポイント向上させることを示した。
関連論文リスト
- Learning from Failure: Inference-Time Self-Improvement for Computer-Use Agents [80.03824805228719]
コンピュータ利用エージェントを開発する上での大きな課題は、大規模で高品質な軌道を収集することである。
我々は、失敗した軌道をエージェント改善に変換するデータ中心のパラダイムを提案する。
この手法をOSWorldベンチマーク上で,最先端のOpenCUA-72Bモデルを用いて検証する。
論文 参考訳（メタデータ） (2026-06-30T07:44:37Z) - FATE-VLA:Failue-aware test generation for vision-language-action models [10.716019832991046]
ビジョンランゲージ・アクションモデルは、ジェネラリストロボットポリシーとしてますます使われている。
高次元のエンボディド空間では、障害はスパースでクラスタ化されているため、静的なベンチマークはリスクを過小評価する可能性がある。
本稿では,多様性に基づく探索と観察結果から得られたサロゲートモデルを組み合わせたフェールアウェアなテスト生成手法を提案する。
論文 参考訳（メタデータ） (2026-06-01T14:27:13Z) - Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis [68.28714988482703]
プロセス・リワード・モデル(PRM)は、LLM(Large Language Models)の推論能力を増強することに成功した。
本稿では,一般ドメインのPRMがデータ分析エージェントの監督に苦慮していることを示す。
本稿では,新しい環境対応生成プロセス報酬モデルであるDataPRMを紹介する。
論文 参考訳（メタデータ） (2026-04-27T09:00:30Z) - Failure Identification in Imitation Learning Via Statistical and Semantic Filtering [2.2515832864485024]
ロボット工学における模倣学習(IL)ポリシは、制御された設定において強力なパフォーマンスを提供するが、実際のデプロイメントでは脆弱である。
本稿では、ポリシーに依存しない障害検出モジュールFIDeL(Failure Identification in Demonstration Learning)を紹介する。
また,ロボット工学における故障検出のための実世界のタスクのマルチモーダルデータセットであるBotFailsを紹介した。
論文 参考訳（メタデータ） (2026-04-15T12:27:32Z) - From Passive Observer to Active Critic: Reinforcement Learning Elicits Process Reasoning for Robotic Manipulation [32.41847293364159]
PRIMO R1はビデオMLLMをアクティブな「批判」に変換する7Bフレームワーク
我々は、結果に基づく強化学習を活用して、進捗推定のための明示的な連鎖生成をインセンティブ化する。
67.0%の精度でRoboFailベンチマークの最先端のパフォーマンスを確立し、OpenAI o1のようなクローズドソースモデルを6.2%上回った。
論文 参考訳（メタデータ） (2026-03-16T17:53:28Z) - Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models [108.26461635308796]
Rationale Consistencyは、モデルの推論プロセスと人間の判断のアライメントを定量化する、きめ細かい計量である。
我々のフロンティアモデルの評価では,最先端モデル間で合理的な一貫性が効果的に識別できることが示されている。
我々は、GenRMトレーニングの合理性一貫性と結果精度を組み合わせたハイブリッド信号を導入する。
論文 参考訳（メタデータ） (2026-02-04T15:24:52Z) - Reshaping Action Error Distributions for Reliable Vision-Language-Action Models [69.38615670891038]
ロボット操作において、視覚言語アクション(VLA)モデルは、一般化可能でスケーラブルなロボットポリシーを学ぶための有望なパラダイムとして登場した。
連続動作型VLAモデルに焦点をあて、トレーニング中の動作誤差分布を再構成することにより、従来のMSEベースの回帰を超越する。
複数の代表的VLAアーキテクチャ上で、標準、少数ショット、ノイズの多い設定にまたがるアプローチを評価します。
論文 参考訳（メタデータ） (2026-02-04T05:37:09Z) - Guardian: Detecting Robotic Planning and Execution Errors with Vision-Language Models [53.20969621498248]
本稿では,多種多様な計画および実行障害を生成するために,軌道を手続き的に乱す自動ロボット故障合成手法を提案する。
RLBench-Fail, BridgeDataV2-Fail, UR5-Failの3つの新しい故障検出ベンチマークを構築した。
次に、詳細な障害推論と検出のためのマルチビューイメージを備えたVLMであるGuardianをトレーニングします。
論文 参考訳（メタデータ） (2025-12-01T17:57:27Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。