Fugu-MT 論文翻訳(概要): Deep Reinforcement Learning at the Edge of the Statistical Precipice

論文の概要: Deep Reinforcement Learning at the Edge of the Statistical Precipice

arxiv url: http://arxiv.org/abs/2108.13264v1
Date: Mon, 30 Aug 2021 14:23:48 GMT
ステータス: 処理完了
システム内更新日: 2021-08-31 17:36:13.399634
Title: Deep Reinforcement Learning at the Edge of the Statistical Precipice
Title（参考訳）: 統計的沈殿端における深部強化学習
Authors: Rishabh Agarwal, Max Schwarzer, Pablo Samuel Castro, Aaron Courville, Marc G. Bellemare
Abstract要約: 深部RL体制下での信頼性評価は、現場の進捗を遅らせるリスクを負うことなく、結果の不確かさを無視することはできないと論じる。我々は,集計性能の時間間隔推定を提唱し,結果の変動性を考慮した性能プロファイルを提案する。
参考スコア（独自算出の注目度）: 31.178451465925555
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep reinforcement learning (RL) algorithms are predominantly evaluated by comparing their relative performance on a large suite of tasks. Most published results on deep RL benchmarks compare point estimates of aggregate performance such as mean and median scores across tasks, ignoring the statistical uncertainty implied by the use of a finite number of training runs. Beginning with the Arcade Learning Environment (ALE), the shift towards computationally-demanding benchmarks has led to the practice of evaluating only a small number of runs per task, exacerbating the statistical uncertainty in point estimates. In this paper, we argue that reliable evaluation in the few run deep RL regime cannot ignore the uncertainty in results without running the risk of slowing down progress in the field. We illustrate this point using a case study on the Atari 100k benchmark, where we find substantial discrepancies between conclusions drawn from point estimates alone versus a more thorough statistical analysis. With the aim of increasing the field's confidence in reported results with a handful of runs, we advocate for reporting interval estimates of aggregate performance and propose performance profiles to account for the variability in results, as well as present more robust and efficient aggregate metrics, such as interquartile mean scores, to achieve small uncertainty in results. Using such statistical tools, we scrutinize performance evaluations of existing algorithms on other widely used RL benchmarks including the ALE, Procgen, and the DeepMind Control Suite, again revealing discrepancies in prior comparisons. Our findings call for a change in how we evaluate performance in deep RL, for which we present a more rigorous evaluation methodology, accompanied with an open-source library rliable, to prevent unreliable results from stagnating the field.
Abstract（参考訳）: deep reinforcement learning (rl) アルゴリズムは、大きなタスクスイートでの相対的なパフォーマンスを比較することによって、主に評価される。ディープRLベンチマークのほとんどの結果は、タスクの平均値や中央値スコアなどの集計性能の点推定を比較し、有限個のトレーニングランによる統計的不確実性を無視している。アーケード学習環境 (Arcade Learning Environment, ALE) から、計算に要求されるベンチマークへのシフトは、タスク毎に少数の実行しか評価せず、ポイント推定における統計的不確実性を悪化させるという実践につながった。本稿では, 深部RL体制における信頼性評価は, 現場の進行を遅らせるリスクを負わずに, 結果の不確実性を無視できないことを論じる。この点について、Atari 100kベンチマークのケーススタディを用いて説明し、点推定だけで得られた結論とより詳細な統計分析との相当な相違を見出した。報告結果に対するフィールドの信頼度を,少数のランで向上させることを目的として,集計結果の間隔推定を報告し,結果の変動を考慮に入れた性能プロファイルを提案するとともに,異種平均スコアなどのより堅牢で効率的な集計指標を提示し,結果の不確かさを小さくする。このような統計ツールを用いて、ALE、Procgen、DeepMind Control Suiteなど、他の広く使われているRLベンチマーク上で、既存のアルゴリズムの性能評価を精査し、事前比較における相違点を明らかにした。この結果から,より厳密な評価手法と,信頼性の低いオープンソースライブラリを併用して提案する深部RLの性能評価方法の変遷が示唆された。

関連論文リスト

Active Evaluation Acquisition for Efficient LLM Benchmarking [18.85604491151409]
学習ポリシを用いて,各ベンチマークからサンプルのサブセットを選択することにより,評価効率を向上させる戦略を検討する。提案手法は,テスト例間の依存関係をモデル化し,残りの例に対する評価結果の正確な予測を可能にする。実験の結果,提案手法は必要な評価プロンプトの数を大幅に削減することが示された。
論文参考訳（メタデータ） (2024-10-08T12:08:46Z)
Assessing the Impact of Distribution Shift on Reinforcement Learning Performance [0.0]
強化学習(RL)は独自の課題に直面する。点推定と訓練中の最適方針への収束を成功させるプロットの比較は、実験装置への過度な適合や依存を阻害する可能性がある。本稿では,分散シフト下でのRLアルゴリズムのロバスト性を評価するための評価手法を提案する。
論文参考訳（メタデータ） (2024-02-05T23:50:55Z)
Efficient Benchmarking of Language Models [22.696230279151166]
本稿では、信頼性を損なうことなく、LM評価のコストをインテリジェントに削減する、効率的なベンチマーク問題を提案する。 HELMベンチマークをテストケースとして、異なるベンチマーク設計選択が計算-信頼性トレードオフにどのように影響するかを検討する。本稿では,HELMベンチマークに適用した場合,ベンチマーク信頼性の低下を最小限に抑えながら,大幅なコスト削減を実現する評価アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-08-22T17:59:30Z)
Uncertainty-Aware Instance Reweighting for Off-Policy Learning [63.31923483172859]
本研究では,不確実性を考慮した逆確率スコア推定器 (UIPS) を提案する。実世界の3つのレコメンデーションデータセットを用いた実験結果から,提案したUIPS推定器の有効サンプル効率が示された。
論文参考訳（メタデータ） (2023-03-11T11:42:26Z)
Improved Policy Evaluation for Randomized Trials of Algorithmic Resource Allocation [54.72195809248172]
提案する新しい概念を応用した新しい推定器を提案する。我々は,このような推定器が,サンプル手段に基づく一般的な推定器よりも精度が高いことを理論的に証明した。
論文参考訳（メタデータ） (2023-02-06T05:17:22Z)
Out-of-Distribution Detection with Hilbert-Schmidt Independence Optimization [114.43504951058796]
異常検出タスクはAIの安全性において重要な役割を担っている。ディープニューラルネットワーク分類器は通常、アウト・オブ・ディストリビューション(OOD)の入力を、信頼性の高いイン・ディストリビューション・クラスに誤って分類する傾向がある。我々は,OOD検出タスクにおいて実用的かつ理論的に有効な代替確率論的パラダイムを提案する。
論文参考訳（メタデータ） (2022-09-26T15:59:55Z)
RIFLE: Imputation and Robust Inference from Low Order Marginals [10.082738539201804]
我々は,不備なデータの存在下での回帰と分類のための統計的推論フレームワークを開発する。我々のフレームワークであるRIFLEは、基礎となるデータ分布の低次モーメントを対応する信頼区間で推定し、分布的に堅牢なモデルを学ぶ。実験の結果,RIFLEは,欠落値の割合が高い場合や,データポイント数が比較的小さい場合には,他のベンチマークアルゴリズムよりも優れていることがわかった。
論文参考訳（メタデータ） (2021-09-01T23:17:30Z)
Doing Great at Estimating CATE? On the Neglected Assumptions in Benchmark Comparisons of Treatment Effect Estimators [91.3755431537592]
もっとも単純な設定であっても、無知性仮定に基づく推定は誤解を招く可能性があることを示す。異種処理効果評価のための機械学習ベンチマークデータセットを2つ検討した。ベンチマークデータセットの固有の特性が、他のものよりもいくつかのアルゴリズムを好んでいる点を強調します。
論文参考訳（メタデータ） (2021-07-28T13:21:27Z)
Performance Evaluation of Adversarial Attacks: Discrepancies and Solutions [51.8695223602729]
機械学習モデルの堅牢性に挑戦するために、敵対攻撃方法が開発されました。本稿では,Piece-wise Sampling Curving(PSC)ツールキットを提案する。 psc toolkitは計算コストと評価効率のバランスをとるオプションを提供する。
論文参考訳（メタデータ） (2021-04-22T14:36:51Z)
CoinDICE: Off-Policy Confidence Interval Estimation [107.86876722777535]
強化学習における高信頼行動非依存のオフ政治評価について検討する。様々なベンチマークにおいて、信頼区間推定が既存の手法よりも厳密で精度が高いことが示されている。
論文参考訳（メタデータ） (2020-10-22T12:39:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。