論文の概要: PhAIL: A Real-Robot VLA Benchmark and Distributional Methodology
- arxiv url: http://arxiv.org/abs/2605.29710v1
- Date: Thu, 28 May 2026 10:10:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:56.171417
- Title: PhAIL: A Real-Robot VLA Benchmark and Distributional Methodology
- Title（参考訳）: PhAIL: リアルタイムロボットVLAベンチマークと分散手法
- Authors: Sergey Arkhangelskiy,
- Abstract要約: VLA(Vision-Language-action)ポリシーの現実的な評価は、固定タイムアウトでバイナリ成功率に依存し、条件毎に25ドルロールアウトする。
本稿では,Franka FR3 (データセット,ロールアウト単位のアーティファクト,エンドツーエンドの参照実装) 上でのオープンな実ロボットベンチマークであるPhAILを紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-world evaluation of vision-language-action (VLA) policies still rests on binary success rate at a fixed timeout with $N \le 25$ rollouts per condition, almost always without confidence intervals or paired statistical comparison; these cohort sizes struggle to resolve close comparisons reliably. We introduce PhAIL (Physical AI Leaderboard, https://phail.ai), an open real-robot benchmark on a Franka FR3 (dataset, per-rollout artifacts, and end-to-end reference implementation) of a distributional evaluation methodology: the time-to-success cumulative distribution function (CDF) as the evaluation primitive, with two separated jobs. The first is scoring via Human-Relative Throughput (HRT), a dimensionless scalar with bootstrap confidence intervals, anchored to same-fixture human teleoperation. The second is a significance test (Kolmogorov-Smirnov, computed per-object and macro-averaged across objects). On four publicly-available VLAs, the macro-averaged KS test resolves two close comparisons (GR00T vs. ACT, OpenPI vs. ACT) at $N \le 30$ rollouts per (model, object) cell where binary-threshold metrics do not; the closest pair (OpenPI vs. GR00T) remains unresolved within our budget. The best evaluated VLA is $\sim 7\times$ slower per operation (RMST ratio) than the human reference.
- Abstract（参考訳）: VLA(Vision-Language-action)ポリシーの現実的な評価は、固定されたタイムアウトにおいて、ほぼ常に信頼区間やペアの統計的比較のない条件毎のN \le 25$ロールアウトでバイナリ成功率を保ち、これらのコホートサイズは、密接な比較を確実に解決するのに苦労する。
本稿では,Franka FR3(データ,ロールアウト単位のアーティファクト,エンドツーエンドのリファレンス実装)のオープンなリアルタイムロボットベンチマークであるPhAIL(Physical AI Leaderboard, https://phail.ai)を,評価プリミティブとして導入する。
ひとつはHuman-Relative Throughput (HRT)によるスコアで、これはブートストラップの信頼性間隔を持つ無次元スカラーで、同じ固定された人間の遠隔操作に固定されている。
2つ目は重要なテストである(Kolmogorov-Smirnov、オブジェクトごとの計算とオブジェクト間のマクロ平均化)。
4つの公開VLAで、マクロ平均KSテストは2つの密接な比較(GR00T vs. ACT, OpenPI vs. ACT)をN \le 30$ rollouts per (model, object) cellで解決する。
最も評価されたVLAは、人間の基準よりも1回当たりの動作(RMST比)が遅い$\sim 7\times$である。
関連論文リスト
- Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。
EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
論文 参考訳（メタデータ） (2026-05-28T09:45:47Z) - Adaptive TD-Lambda for Cooperative Multi-agent Reinforcement Learning [28.30054999007724]
いくつかの最近の研究は、適応的な$$値と、単一エージェント強化学習領域のポリシー分布を関連付けている。
複数のエージェントからの大規模な共同行動空間と、マルチエージェント強化学習における限られた遷移データにより、政策分布を統計的に計算することは不可能である。
統計的に計算する代わりに、2つのリプレイバッファを持つパラメトリック確率自由密度比推定器を用いる。
論文 参考訳（メタデータ） (2026-05-12T09:56:24Z) - Understanding Asynchronous Inference Methods for Vision-Language-Action Models [0.0]
Vision-Language-Action(VLA)モデルは汎用ロボット制御への有望な経路を提供するが、その推論遅延は、生成されたアクションが非同期に実行されるときに観察の安定化を引き起こす。
Inference-time Inpainting (IT-RTC), training-time delay Simulation (TT-RTC), future-state-aware conditioning (VLASH), light residual correction (A2C2) の2つの手法が同時に提案されている。
制御条件下でのこれらの4つの手法の系統的な比較について述べる。
論文 参考訳（メタデータ） (2026-05-04T18:01:15Z) - Metric Unreliability in Multimodal Machine Unlearning: A Systematic Analysis and Principled Unified Score [14.579552536669217]
一般データ保護規制法に準拠するためには、ビジョンランゲージモデル(VLM)のアンラーニングが必要である。
マルチモーダル・アンラーニングにおける信頼性の最初の研究について述べる。
統一品質スコア(Unified Quality Score, UQS)は, 各計量のスピアマン相関と距離の関係から得られる重みを持つ計量である。
論文 参考訳（メタデータ） (2026-05-04T04:13:00Z) - Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements [66.94250413799232]
分散パラメータ-サーバ-ワーカー設定における乱数ベクトル$X$の推定について検討する。
主な課題は、敵の計測と非同期である。
その結果, 分散線形推定におけるロバスト性, 識別性, 統計的効率の統一的有限時間評価が得られた。
論文 参考訳（メタデータ） (2026-04-07T11:45:55Z) - Don't Pass$\mathtt{@}k$: A Bayesian Framework for Large Language Model Evaluation [4.082208996639461]
Pass$@k$ は LLM の推論のパフォーマンスを報告するのに広く使われているが、不安定で誤解を招くようなランキングを得ることが多い。
本稿では、Pass$@k$をモデルの基本成功確率と信頼区間の後方推定に置き換える原理的ベイズ評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-05T16:14:03Z) - Pseudo-Simulation for Autonomous Driving [66.1981253104508]
既存の自動運転車(AV)の評価パラダイムは、重大な制限に直面している。
現実世界の評価は、安全上の懸念と現実主義の欠如のためにしばしば困難である。
オープンループ評価は、一般的に複合的なエラーを見落としているメトリクスに依存する。
論文 参考訳（メタデータ） (2025-06-04T17:57:53Z) - Scaling Test-Time Compute Without Verification or RL is Suboptimal [70.28430200655919]
RL法や検索法に基づく検証器ベース (VB) 手法による微調整は, 一定量の計算・データ予算を条件として, 蒸留・クローニングに基づく検証器フリー (VF) 手法よりもはるかに優れていることを示す。
我々は,3/8Bの事前学習型LLMのドクティクスと数学推論の両問題に対して,我々の理論を実証的に相関させ,テスト時間計算のスケーリングには検証が不可欠であることを確認した。
論文 参考訳（メタデータ） (2025-02-17T18:43:24Z) - SureMap: Simultaneous Mean Estimation for Single-Task and Multi-Task Disaggregated Evaluation [75.56845750400116]
分散評価(disaggregated evaluation) -- 異なるサブポピュレーション上での機械学習モデルのパフォーマンスの推定 - は、AIシステムのパフォーマンスとグループフェアネスを評価する上で、中核的なタスクである。
ブラックボックスモデルの評価において,マルチタスクとシングルタスクの双方に対して高い推定精度を持つSureMapを開発した。
提案手法は, ウェル・チョーゼンを用いた最大後部推定と, スタインの非バイアスリスク推定(SURE)によるクロスバリデーションフリーチューニングを併用する。
論文 参考訳（メタデータ） (2024-11-14T17:53:35Z) - VSAC: Efficient and Accurate Estimator for H and F [68.65610177368617]
VSACはRANSAC型頑健な推定器であり、多くの新奇性がある。
従来のすべてのプロセッサよりも大幅に高速で、CPU上では平均1-2msで動作する。
現在最も正確な2次元幾何学推定器である MAGSAC++ と同等の精度で2桁高速である。
論文 参考訳（メタデータ） (2021-06-18T17:04:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。