論文の概要: Faster and Better? Benchmark Bugs and Design Limitations Distort the Evaluation of Vision-Language-Action Acceleration

• arxiv url: http://arxiv.org/abs/2609.37771v1
• Date: Tue, 29 Sep 2026 15:12:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.664229
• Title: Faster and Better? Benchmark Bugs and Design Limitations Distort the Evaluation of Vision-Language-Action Acceleration
• Title（参考訳）: より速く、より良く? ベンチマークバグと設計限界はビジョン・ランゲージ・アクション・アクセラレーションの評価を歪ませる
• Abstract要約: いくつかのトレーニングフリー加速法は、ベースライン自体よりも高い測定成功率を達成する。 これらのゲインの背後にある2種類のベンチマーク欠陥を調査する。 これらのタイプの22のバグと4つの設計上の制限を特定します。
• 参考スコア（独自算出の注目度）: 3.538869146259177
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Simulated manipulation benchmarks are the standard tool for evaluating vision-language-action (VLA) policies and the acceleration methods that reduce their inference latency for on-robot deployment. On these benchmarks, we observe that some training-free acceleration methods, which approximate the baseline policy's computation, achieve higher measured success rates than the baseline itself. Success rates alone cannot establish whether such gains come from better task execution or from evaluation flaws. We therefore investigate two kinds of benchmark flaws behind these gains: bugs, where the implementation does not match the intended task or evaluation protocol, and design limitations, where success criteria and simulation settings do not fully capture how acceleration affects task execution. Starting from tasks with anomalous gains, we localize root causes by plotting object trajectories against checker acceptance regions, and classify the resulting bugs into task consistency, initialization, and reproducibility. Extending this audit to seven benchmarks, including RoboTwin, LIBERO-Plus, and VLABench, we identify 22 bugs of these types and 4 design limitations. For the latter, we revise permissive success checkers, correct unrealistic object masses, and add a motion-aware score that favors smoother actions. Experiments show that bug fixes can reverse method rankings, moving the baseline from last to first on one task. Addressing design limitations can likewise remove anomalous gains: on another task, the baseline moves from 21 percentage points behind an accelerated method to 5 points ahead. Gains attributed to acceleration can therefore be artifacts of the benchmark rather than better task execution. We release our bug fixes and revised benchmark settings to support trustworthy evaluation of VLA acceleration.
• Abstract（参考訳）: シミュレーション操作ベンチマークは、ビジョン言語アクション(VLA)ポリシーを評価するための標準ツールであり、ロボット上でのデプロイメントにおける推論遅延を低減するアクセラレーション方法である。 これらのベンチマークでは、ベースラインポリシーの計算を近似したトレーニングフリー加速法が、ベースライン自体よりも高い評価成功率を達成することが観察された。 成功率だけでは、そのような利益がより良いタスク実行によるものなのか、評価上の欠陥によるものなのかを確定できない。 そこで本研究では,提案手法が意図したタスクや評価プロトコルと一致しないバグと,成功基準やシミュレーション設定がタスク実行に与える影響を十分に把握できない設計制限の2つのベンチマーク欠陥について検討する。 異常なゲインを持つタスクから始め、チェックア受け入れ領域に対してオブジェクトの軌跡をプロットすることで根本原因をローカライズし、その結果のバグをタスクの一貫性、初期化、再現性に分類する。 この監査をRoboTwin、LIBERO-Plus、VLABenchを含む7つのベンチマークに拡張し、これらのタイプの22のバグと4つの設計制限を特定した。 後者では、パーミッシブ・サクセス・チェッカーを改訂し、非現実的な物体の質量を補正し、よりスムーズな動作を好む動き認識スコアを追加する。 実験では、バグ修正がメソッドのランクを逆転させ、ベースラインを最後のタスクから最初のタスクに移すことが示されている。 別のタスクでは、ベースラインが加速されたメソッドの21パーセントのポイントから5ポイントの前方に移動します。 したがって、アクセラレーションによるゲインは、より良いタスク実行ではなく、ベンチマークの成果物となる。 VLAアクセラレーションの信頼性評価をサポートするため,バグ修正とベンチマーク設定の改訂を行った。

関連論文リスト

• When the Score Becomes the Target: Rethinking Metric Validity in Autonomous Driving [9.762652352382242]
  評価プロセスは運転行動の変化に対してどのように反応し,その結果が繰り返し実行と再計画の下で継続されるかを検討する。 プロセスは実行、測定、サブスコアマッピング、集約に分解します。 これらの知見は、計量によって保存された行動の区別と、その利得が伝達される条件を結びつける。
  論文  参考訳（メタデータ） (2026-09-28T06:59:37Z)
• ActionGround: Training-Free Runtime Refinement of Frozen VLA Policies [0.0]
  VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を直接ロボットアクションにマッピングする。 本稿では,凍結したVLAポリシをラップした,ニューロシンボリックでトレーニング不要な実行層であるActionGroundを紹介する。 我々は,OpenVLA,OpenVLA-OFT,Force-VLA,Generalist-VLAの10種類のLIBERO-Spatial pick-and-placeタスクにおけるActionGroundの評価を行った。
  論文  参考訳（メタデータ） (2026-09-27T05:59:06Z)
• CARE: Experience-Guided Atomic Corrective Execution for Vision-Language-Action Policies [52.32735203969873]
  VLA(Vision-Language-Action)ポリシーは、ロボット操作において強力なパフォーマンスを達成するが、実行が名目上の軌道から逸脱した後も不安定なままである。 本稿では,実行時に発生する障害から学習することで回復を改善するフレームワークであるCARE(Corrective Atomic Robotic Execution)を提案する。
  論文  参考訳（メタデータ） (2026-09-21T05:14:34Z)
• PERFOPT-Bench: Evaluating Coding Agents on Software Performance Optimization [18.924749191192433]
  パフォーマンスの最適化は独特なエージェント的タスクである。 本稿では,このフルパフォーマンス・エンジニアリング・ループを評価するベンチマークであるPERFOPT-Benchを紹介する。
  論文  参考訳（メタデータ） (2026-07-08T08:32:18Z)
• A History-Aware Visually Grounded Critic for Computer Use Agents [70.50900668601969]
  HiViGは、実際のGUIトラジェクトリで訓練されたマルチモーダル批評家を中心に構築されたテストタイムフレームワークである。 テスト時には、HiViGは批判者をポリシー決定ループに統合し、マクロアクション履歴を提供する。 Visually Grounded critiqueは、現在のスクリーンショットに対する生の実行座標を検証して、実行前にエラーをインターセプトする。
  論文  参考訳（メタデータ） (2026-06-09T16:39:10Z)
• When Actions Go Off-Task: Detecting and Correcting Misaligned Actions in Computer-Use Agents [50.5814495434565]
  この研究は、コンピュータ利用エージェント(CUA)における不整合検出を定義し、研究する最初の試みである。 実世界のCUAデプロイメントにおける3つの一般的なカテゴリを特定し、人間の注釈付きアクションレベルのアライメントラベルを用いたリアルな軌跡のベンチマークであるMisActBenchを構築した。 本稿では,実行前に不整合を検知し,構造化されたフィードバックによって繰り返し修正する,実用的で普遍的なガードレールであるDeActionを提案する。
  論文  参考訳（メタデータ） (2026-02-09T18:41:15Z)
• Bidirectional Decoding: Improving Action Chunking via Guided Test-Time Sampling [51.38330727868982]
  動作チャンキングが学習者と実証者の間の分岐にどのように影響するかを示す。 動作チャンキングをクローズドループ適応でブリッジするテスト時間推論アルゴリズムである双方向デコーディング(BID)を提案する。 提案手法は、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)
• Re-Evaluating LiDAR Scene Flow for Autonomous Driving [80.37947791534985]
  自己教師型LiDARシーンフローの一般的なベンチマークは、動的動き、非現実的な対応、非現実的なサンプリングパターンの非現実的な速度を持つ。 実世界のデータセットのスイート上で,トップメソッドのスイートを評価する。 学習に重点を置いているにもかかわらず、ほとんどのパフォーマンス向上は前処理と後処理のステップによって引き起こされる。
  論文  参考訳（メタデータ） (2023-04-04T22:45:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。