論文の概要: ConflictVLA-Bench: Benchmarking Behavioral Responses of Vision-Language-Action Models to Premise Conflicts
- arxiv url: http://arxiv.org/abs/2609.31792v1
- Date: Fri, 25 Sep 2026 02:43:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 12:42:28.531428
- Title: ConflictVLA-Bench: Benchmarking Behavioral Responses of Vision-Language-Action Models to Premise Conflicts
- Title（参考訳）: ConflictVLA-Bench: 衝突を予測するためのビジョン・ランゲージ・アクションモデルの行動応答のベンチマーク
- Abstract要約: ConflictVLA-Benchは、コンフリクトロールアウトと前提整合参照ロールアウトをペアリングする。
ベンチマークには、4つのコンフリクトファミリーにまたがる2,826のプロンプト条件のコンフリクトタスク、4つの構造構成、2つのプロンプト条件が含まれている。
無効な前提は、最初のゴール完了を少なくとも17.3ポイント削減し、OpenVLAでは56.2ポイントまで削減した。
- 参考スコア（独自算出の注目度）: 16.995082216096787
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While Vision-Language-Action (VLA) models perform strongly on manipulation tasks, their responses to invalid task premises remain underexplored. Existing evaluations of premise conflicts often focus on terminal task outcomes, yet task failure alone cannot distinguish behavioral disengagement from continued pursuit followed by an execution error. We call the latter pattern Failed Persistence. To study this phenomenon, we introduce ConflictVLA-Bench, which pairs conflict rollouts with premise-consistent reference rollouts and evaluates both outcomes and execution processes. Built on LIBERO, the benchmark contains 2,826 prompt-conditioned conflict tasks spanning four conflict families, four structural configurations, and two prompt conditions. Across all eight VLAs, invalid premises reduce original goal completion by at least 17.3 percentage points, with the reduction reaching 56.2 percentage points for OpenVLA. Crucially, even when models succeed on premise-consistent tasks and fail on their matched conflict tasks, they often continue to approach the original targets, retain early trajectory structure, and show limited action magnitude suppression. Failed Persistence therefore recurs across the evaluated models. Explicit premise checking does not consistently produce selective and coordinated behavioral changes. These findings show that terminal failure alone establishes neither behavioral disengagement nor refusal and that outcomes alone are insufficient for VLA evaluation. Experimental data and additional details are available on the project page: https://github.com/EmbodiedAISurvey/ConflictVLA-Bench
- Abstract（参考訳）: Vision-Language-Action (VLA) モデルは操作タスクに強く依存するが、無効なタスクの前提に対する応答は未探索のままである。
既存の前提紛争の評価は、しばしば終末タスクの結果に焦点を当てるが、タスクの失敗だけでは、継続した追従と実行エラーとを区別することはできない。
後者のパターンはFailed Persistenceと呼ばれます。
この現象を研究するために、コンフリクトVLA-Benchを導入し、コンフリクトロールアウトと前提整合参照ロールアウトを組み合わせ、結果と実行プロセスの両方を評価する。
LIBEROをベースとして開発されたこのベンチマークには、コンフリクトファミリ4つ、構造構成4つ、プロプロンプト条件2つにまたがる2,826のプロンプト条件のコンフリクトタスクが含まれている。
8つのVLA全体では、無効な前提で当初のゴール完了を少なくとも17.3ポイント減らし、OpenVLAでは56.2ポイント減らした。
重要なことに、モデルが前提整合的なタスクで成功し、一致する競合タスクで失敗しても、彼らはしばしば元の目標に近づき続け、初期の軌道構造を保持し、限られた行動規模の抑制を示す。
したがって、失敗パーシステンスは評価されたモデルにまたがって再帰する。
明示的な前提チェックは、選択的かつ協調的な行動変化を常に生成しない。
以上の結果から, 終末障害だけでは行動障害や拒絶は成立せず, VLA評価には結果が不十分であることが示唆された。
実験データと追加の詳細はプロジェクトのページで確認できる。
関連論文リスト
- CARE: Experience-Guided Atomic Corrective Execution for Vision-Language-Action Policies [52.32735203969873]
VLA(Vision-Language-Action)ポリシーは、ロボット操作において強力なパフォーマンスを達成するが、実行が名目上の軌道から逸脱した後も不安定なままである。
本稿では,実行時に発生する障害から学習することで回復を改善するフレームワークであるCARE(Corrective Atomic Robotic Execution)を提案する。
論文 参考訳（メタデータ） (2026-09-21T05:14:34Z) - The Intervention Gap in Latent World Models [0.0]
計画時介入の忠実さは、学習された世界モデルの際立った、測定可能な特性である。
リリースされたTD-MPC2チェックポイントサイズ全体で、タスクオブザーバのオペレータエラー診断が増加するにつれて、エピソードリターンが減少する。
タスク信号無しで訓練された自己教師付き世界モデルは、共有タスク上のタスク選択モデルよりもかなり優れた演算子を保存する。
論文 参考訳（メタデータ） (2026-08-30T19:47:51Z) - CheckVLA: Execution-Time Verification with Action-Conditioned World Model for Long-Horizon Mobile Manipulation [15.532709298240215]
視覚言語アクション(VLA)ポリシーは、オープンループアクションチャンクを通じて長距離移動操作を実行する。
本稿では、個別に訓練されたフリーズされた行動条件付き世界モデルを用いて実行を検証するCheckVLAを提案する。
RoboCasa365では、一般的なトレーニングレシピと一致した呼び出し予算の下で、CheckVLAの平均成功率は36.1%であり、定期的なリプランでは27.6%である。
論文 参考訳（メタデータ） (2026-07-29T11:31:33Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳（メタデータ） (2026-05-13T21:34:08Z) - DreamAvoid: Critical-Phase Test-Time Dreaming to Avoid Failures in VLA Policies [65.27025563507961]
本稿では,ビジョン・ランゲージ・アクション(VLA)モデルのためのクリティカルフェーズテストタイムドリームフレームワークであるDreamAvoidを提案する。
また、自律的な境界学習パラダイムを導入し、成功と失敗の微妙な境界に対するシステムの理解を深める。
その結果、DreamAvoidは失敗を効果的に回避し、全体的なタスク成功率を改善することができた。
論文 参考訳（メタデータ） (2026-05-12T08:27:16Z) - Beyond Task Completion: Revealing Corrupt Success in LLM Agents through Procedure-Aware Evaluation [2.102846336724103]
プロシージャ・アウェア・アセスメント(PAE)は、エージェント・プロシージャを構造化された観察として形式化するフレームワークである。
タウベンチにおける言語モデル(LLM)に基づくエージェントの評価を行った。
論文 参考訳（メタデータ） (2026-03-03T15:47:41Z) - When Vision Overrides Language: Evaluating and Mitigating Counterfactual Failures in VLAs [31.92520697946991]
VLA(Vision-Language-Action Model)は、ロボット制御における言語命令の基盤となることを約束するが、実際には言語に忠実に従わないことが多い。
反ファクトの失敗は、最先端のVLAで発見されていないことが示される。
本稿では,単純な2分岐推論方式であるCAGを提案する。
論文 参考訳（メタデータ） (2026-02-19T18:59:20Z) - From Knowing to Doing Precisely: A General Self-Correction and Termination Framework for VLA models [42.553888395227766]
本稿では、視覚言語アクション(VLA)モデルのための軽量でトレーニング不要なフレームワークを提案する。
VLA-SCTは自己修正制御ループとして動作し、データ駆動型アクションリファインメントと条件論理を組み合わせて終了する。
本手法は,LIBEROベンチマークのすべてのデータセットに対して一貫した改善を実現する。
論文 参考訳（メタデータ） (2026-02-02T08:44:40Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - DualVLA: Building a Generalizable Embodied Agent via Partial Decoupling of Reasoning and Action [62.70893433854428]
推論能力を維持しつつ、慎重に設計した後処理により動作性能を向上させるDualVLAを提案する。
実験の結果、DualVLAはSimplerEnvの平均成功率は61.0であり、8つの競合するマルチモーダルベンチマークの平均スコアは65.4であることがわかった。
論文 参考訳（メタデータ） (2025-11-27T06:03:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。