論文の概要: AdaStop: adaptive statistical testing for sound comparisons of Deep RL agents

• arxiv url: http://arxiv.org/abs/2306.10882v2
• Date: Sat, 27 Jan 2024 16:12:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 22:30:56.403561
• Title: AdaStop: adaptive statistical testing for sound comparisons of Deep RL agents
• Title（参考訳）: AdaStop:Deep RLエージェントの音響比較のための適応統計的検査
• Authors: Timoth\'ee Mathieu, Riccardo Della Vecchia, Alena Shilova, Matheus Medeiros Centa, Hector Kohler, Odalric-Ambrym Maillard, Philippe Preux
• Abstract要約: 複数のグループシーケンシャルテストに基づく新しい統計テストであるAdaStopを紹介する。 AdaStopは、できるだけ早く停止するように実行数を調整し、アルゴリズムを識別するのに十分な情報を確保します。 AdaStopが(家庭的に)誤りを犯す確率が低いことを理論的、実証的に証明する。
• 参考スコア（独自算出の注目度）: 18.028408500694308
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, the scientific community has questioned the statistical reproducibility of many empirical results, especially in the field of machine learning. To solve this reproducibility crisis, we propose a theoretically sound methodology to compare the overall performance of multiple algorithms with stochastic returns. We exemplify our methodology in Deep RL. Indeed, the performance of one execution of a Deep RL algorithm is random. Therefore, several independent executions are needed to accurately evaluate the overall performance. When comparing several RL algorithms, a major question is how many executions must be made and how can we ensure that the results of such a comparison are theoretically sound. When comparing several algorithms at once, the error of each comparison may accumulate and must be taken into account with a multiple tests procedure to preserve low error guarantees. We introduce AdaStop, a new statistical test based on multiple group sequential tests. When comparing algorithms, AdaStop adapts the number of executions to stop as early as possible while ensuring that we have enough information to distinguish algorithms that perform better than the others in a statistical significant way. We prove theoretically and empirically that AdaStop has a low probability of making a (family-wise) error. Finally, we illustrate the effectiveness of AdaStop in multiple Deep RL use-cases, including toy examples and challenging Mujoco environments. AdaStop is the first statistical test fitted to this sort of comparisons: AdaStop is both a significant contribution to statistics, and a major contribution to computational studies performed in reinforcement learning and in other domains. To summarize our contribution, we introduce AdaStop, a formally grounded statistical tool to let anyone answer the practical question: ``Is my algorithm the new state-of-the-art?''.
• Abstract（参考訳）: 近年、科学コミュニティは、特に機械学習の分野で、多くの経験的結果の統計的再現性に疑問を呈している。 この再現性危機を解決するために,複数のアルゴリズムの全体的な性能と確率的回帰を比較する理論的に健全な手法を提案する。 我々はDeep RLで方法論を実証する。 実際、Deep RLアルゴリズムの1つの実行のパフォーマンスはランダムである。 そのため、パフォーマンスを正確に評価するために、いくつかの独立した実行が必要である。 複数のrlアルゴリズムを比較する場合、大きな疑問は、実行回数と、その比較の結果が理論的に健全であることを保証する方法である。 複数のアルゴリズムを一度に比較する場合、各比較の誤差は蓄積され、低いエラー保証を維持するために複数のテスト手順を考慮する必要がある。 複数のグループシーケンシャルテストに基づく新しい統計テストであるAdaStopを紹介する。 アルゴリズムを比較するとき、adastopはできるだけ早く停止する実行数に適応し、統計的に有意な方法で他のアルゴリズムよりも優れた性能を持つアルゴリズムを識別するのに十分な情報を確保します。 AdaStopが(家庭的に)誤りを起こす確率が低いことを理論的、実証的に証明する。 最後に,おもちゃの例やムジョコ環境への挑戦など,複数の深層rlユースケースにおけるadastopの有効性を示す。 AdaStopは統計学への重要な貢献であり、強化学習やその他の領域で行われる計算研究への大きな貢献である。 我々の貢献を要約するために、adastopという公式な統計ツールを紹介します。これは、誰でも実用的な質問に答えられるための公式な接地統計ツールです。

関連論文リスト

• Sequential Kernelized Independence Testing [101.22966794822084]
  我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。 シミュレーションデータと実データの両方にアプローチのパワーを実証する。
  論文  参考訳（メタデータ） (2022-12-14T18:08:42Z)
• Reliable validation of Reinforcement Learning Benchmarks [1.2031796234206134]
  強化学習(Reinforcement Learning, RL)は、ゲームAIとAI全般において、最もダイナミックな研究分野の1つである。 Atariのような異なるアルゴリズムを比較するためにスコアが使用されるベンチマーク環境はたくさんあります。 実験結果の検証を行うために,元の実験データへのアクセスを提供することにより,この状況を改善することを提案する。
  論文  参考訳（メタデータ） (2022-03-02T12:55:27Z)
• Ranking with Confidence for Large Scale Comparison Data [1.2183405753834562]
  本研究では、比較ノイズを考慮した生成データモデルを用いて、ペア比較から高速で正確で情報的なランク付けを行う。 実データでは、PD-Rankは、アクティブな学習方法よりも同じKendallアルゴリズムを達成するのに、計算時間が少ない。
  論文  参考訳（メタデータ） (2022-02-03T16:36:37Z)
• Using Sequential Statistical Tests to Improve the Performance of Random Search in hyperparameter Tuning [0.0]
  ハイパーパラメータチューニングは、機械学習において最も時間を要する部分の1つである。 そこで本研究では、リサンプリング回数を最小限に抑え、下位パラメータ設定を検出するためのシーケンシャルなテスト手順を提案する。
  論文  参考訳（メタデータ） (2021-12-23T10:02:04Z)
• Algorithms for Adaptive Experiments that Trade-off Statistical Analysis with Reward: Combining Uniform Random Assignment and Reward Maximization [50.725191156128645]
  トンプソンサンプリングのようなマルチアームバンディットアルゴリズムは適応的な実験を行うのに利用できる。 統計的解析のための一様ランダム化の利点を組み合わせた2つのアルゴリズムを探索する2つのアーム実験のシミュレーションを提案する。
  論文  参考訳（メタデータ） (2021-12-15T22:11:58Z)
• Robust Predictable Control [149.71263296079388]
  提案手法は,従来の手法よりもはるかに厳密な圧縮を実現し,標準的な情報ボトルネックよりも最大5倍高い報酬が得られることを示す。 また,本手法はより堅牢で,新しいタスクをより一般化したポリシーを学習することを示す。
  論文  参考訳（メタデータ） (2021-09-07T17:29:34Z)
• Deep Reinforcement Learning at the Edge of the Statistical Precipice [31.178451465925555]
  深部RL体制下での信頼性評価は、現場の進捗を遅らせるリスクを負うことなく、結果の不確かさを無視することはできないと論じる。 我々は,集計性能の時間間隔推定を提唱し,結果の変動性を考慮した性能プロファイルを提案する。
  論文  参考訳（メタデータ） (2021-08-30T14:23:48Z)
• Efficient First-Order Contextual Bandits: Prediction, Allocation, and Triangular Discrimination [82.52105963476703]
  統計的学習、オンライン学習、その他における繰り返しのテーマは、低騒音の問題に対してより速い収束率が可能であることである。 1次保証は統計的およびオンライン学習において比較的よく理解されている。 三角識別と呼ばれる対数損失と情報理論量が一階保証を得る上で基本的な役割を担っていることを示す。
  論文  参考訳（メタデータ） (2021-07-05T19:20:34Z)
• Local policy search with Bayesian optimization [73.0364959221845]
  強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。 局所探索のための政策勾配は、しばしばランダムな摂動から得られる。 目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-06-22T16:07:02Z)
• DPER: Efficient Parameter Estimation for Randomly Missing Data [0.24466725954625884]
  本稿では,1クラス・複数クラスのランダムに欠落したデータセットに対して,最大推定値(MLE)を求めるアルゴリズムを提案する。 我々のアルゴリズムは、データを通して複数のイテレーションを必要としないので、他の方法よりも時間のかかることを約束します。
  論文  参考訳（メタデータ） (2021-06-06T16:37:48Z)
• Resource Allocation in Multi-armed Bandit Exploration: Overcoming Sublinear Scaling with Adaptive Parallelism [107.48538091418412]
  腕の引っ張りに様々な量の資源を割り当てることができる分割可能な資源にアクセス可能な場合,マルチアームの帯状地における探索について検討する。 特に、分散コンピューティングリソースの割り当てに重点を置いており、プル毎により多くのリソースを割り当てることで、結果をより早く得ることができます。
  論文  参考訳（メタデータ） (2020-10-31T18:19:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。