論文の概要: AnyRank: Reliable Anytime Policy Ranking via Sequential Testing

• arxiv url: http://arxiv.org/abs/2610.14603v1
• Date: Sat, 10 Oct 2026 05:42:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.492727
• Title: AnyRank: Reliable Anytime Policy Ranking via Sequential Testing
• Title（参考訳）: AnyRank: シークエンシャルテストによる信頼性のある任意のポリシランキング
• Abstract要約: AnyRankは、ポリシーを分離し難いものにトライアルを割り当てる、複数政治的ランキングのシーケンシャルな方法である。 事前情報を利用して、ハードウェア評価をより効率的に優先順位付けする。 AnyRankは、既存の統計的に厳格なアプローチに比べて、ハードウェア評価を最大50%削減する必要がある。
• 参考スコア（独自算出の注目度）: 16.461991910516968
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Due to the high cost of hardware experiments, robot policies are predominantly evaluated by comparing their empirical performance on a limited number of hardware trials. However, finite-sample statistical uncertainty can lead to erroneous conclusions, especially when ranking multiple policies using a fixed batch of evaluation data. We propose AnyRank: a sequential method for multi-policy ranking that (i) adaptively allocates trials to hard-to-separate policies, (ii) provides (partial) rankings at any stopping time while bounding the probability of an incorrect ranking, and (iii) optionally exploits prior information to prioritize hardware evaluations more efficiently. This prior information could be informed from expert intuition, a small set of held-out hardware evaluations, or from policy rollouts in a simulator or an action-conditioned video world model. Notably, the prior can be imperfect; while a strong prior can provide efficiency gains on hardware, any inaccuracies in prior policy rankings do not invalidate the statistical assurances of AnyRank. We achieve the aforementioned properties through novel theoretical contributions that combine sequential testing with multiple-hypothesis graphical testing approaches. Experiments in simulation and real-world policy evaluation benchmarks show that AnyRank requires up to 50% fewer hardware evaluations compared to existing statistically rigorous approaches, while guarding against the incorrect rankings produced by heuristic methods used by state-of-the-art benchmarks.
• Abstract（参考訳）: ハードウェア実験のコストが高いため、ロボットのポリシーは、限られた数のハードウェア試験において経験的性能を比較することによって、主に評価される。 しかし、有限サンプル統計の不確実性は、特に固定された評価データを用いて複数のポリシーをランク付けする場合、誤った結論につながる可能性がある。 我々はAnyRankを提案する。 (i)厳格な政策に対する裁判を適応的に割り当てる。 (二 不正なランキングの確率を制限しつつ、いかなる停止時でも(一部)ランクを付与し、 三 ハードウェア評価をより効率的に優先順位付けするために、事前情報を任意に活用すること。 この事前情報は、専門家の直感、少数のハードウェア評価、シミュレータやアクション条件付きビデオワールドモデルでのポリシーロールアウトから情報を得ることができる。 特に、前者は不完全であり、前者はハードウェアに効率性をもたらすことができるが、前者のポリシーランキングにおける不正確さは、AnyRankの統計的保証を無効にしない。 上記の特性は、逐次テストと多重ハイブリッドグラフィカルテストのアプローチを組み合わせた、新しい理論的貢献によって達成する。 シミュレーションと実世界の政策評価ベンチマークの実験は、AnyRankが既存の統計的に厳格なアプローチと比較してハードウェア評価を最大50%少なくする一方で、最先端のベンチマークで使用されているヒューリスティックな方法によって生成される不正なランキングから守っていることを示している。

関連論文リスト

• Beyond Binary Success: Sample-Efficient and Statistically Rigorous Robot Policy Comparison [17.732982117200425]
  汎用的なロボット操作ポリシーはますます有能になりつつあるが、少数のハードウェアロールアウトに限られている。 本研究は, サンプル効率が高く, 統計的に厳密で, 実際に使用される幅広い評価指標に適用可能な, ロボット政策比較のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2026-03-13T21:47:48Z)
• A Principled Approach to Randomized Selection under Uncertainty: Applications to Peer Review and Grant Funding [61.86327960322782]
  本稿では,各項目の品質の間隔推定に基づくランダム化意思決定の枠組みを提案する。 最適化に基づく最適化手法であるMERITを導入する。 MERITが既存のアプローチで保証されていない望ましい公理特性を満たすことを証明している。
  論文  参考訳（メタデータ） (2025-06-23T19:59:30Z)
• Is Your Imitation Learning Policy Better than Mine? Policy Comparison with Near-Optimal Stopping [17.222170618610594]
  本稿では,小サンプルサイズ体制における2つの政策を厳密に比較するための新しい統計枠組みを提案する。 実験では、ほぼ最適に停止し、研究者が評価を中止し、最小限の試行で決定を下せることを示す。
  論文  参考訳（メタデータ） (2025-03-14T00:21:48Z)
• Uncertainty-Aware Instance Reweighting for Off-Policy Learning [63.31923483172859]
  本研究では,不確実性を考慮した逆確率スコア推定器 (UIPS) を提案する。 実世界の3つのレコメンデーションデータセットを用いた実験結果から,提案したUIPS推定器の有効サンプル効率が示された。
  論文  参考訳（メタデータ） (2023-03-11T11:42:26Z)
• Conformal Off-Policy Prediction in Contextual Bandits [54.67508891852636]
  コンフォーマルなオフ政治予測は、新しい目標ポリシーの下で、結果に対する信頼できる予測間隔を出力することができる。 理論上の有限サンプル保証は、標準的な文脈的バンディットの設定を超える追加の仮定をすることなく提供する。
  論文  参考訳（メタデータ） (2022-06-09T10:39:33Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。