論文の概要: Detecting Rewards Deterioration in Episodic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2010.11660v3
• Date: Thu, 28 Oct 2021 20:20:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 07:27:03.894953
• Title: Detecting Rewards Deterioration in Episodic Reinforcement Learning
• Title（参考訳）: エピソディクス強化学習における報酬劣化の検出
• Authors: Ido Greenberg, Shie Mannor
• Abstract要約: 多くのRLアプリケーションでは、トレーニングが終了すると、エージェント性能の劣化をできるだけ早く検出することが不可欠である。 我々は,各エピソードにおける報酬が独立でもなく,同一に分散した,マルコフでもない,エピソード的枠組みを考察する。 平均シフトは、時間信号の劣化(報酬など)に対応する方法で定義し、最適な統計的パワーでこの問題の試行を導出する。
• 参考スコア（独自算出の注目度）: 63.49923393311052
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many RL applications, once training ends, it is vital to detect any deterioration in the agent performance as soon as possible. Furthermore, it often has to be done without modifying the policy and under minimal assumptions regarding the environment. In this paper, we address this problem by focusing directly on the rewards and testing for degradation. We consider an episodic framework, where the rewards within each episode are not independent, nor identically-distributed, nor Markov. We present this problem as a multivariate mean-shift detection problem with possibly partial observations. We define the mean-shift in a way corresponding to deterioration of a temporal signal (such as the rewards), and derive a test for this problem with optimal statistical power. Empirically, on deteriorated rewards in control problems (generated using various environment modifications), the test is demonstrated to be more powerful than standard tests - often by orders of magnitude. We also suggest a novel Bootstrap mechanism for False Alarm Rate control (BFAR), applicable to episodic (non-i.i.d) signal and allowing our test to run sequentially in an online manner. Our method does not rely on a learned model of the environment, is entirely external to the agent, and in fact can be applied to detect changes or drifts in any episodic signal.
• Abstract（参考訳）: 多くのRLアプリケーションでは、トレーニングが終了すると、エージェント性能の劣化をできるだけ早く検出することが不可欠である。 さらに、ポリシーを変更したり、環境に関する最小限の仮定の下で行うこともしばしば必要です。 本稿では,劣化に対する報酬とテストに直接注目することで,この問題に対処する。 我々は、各エピソード内の報酬が独立でも、同一の分布でも、マルコフでもないエピソディクスの枠組みを考える。 本稿では, この問題を, 多変量平均シフト検出問題として論じる。 我々は、時間信号の劣化(報酬など)に対応する方法で平均シフトを定義し、最適な統計力でこの問題の検定を導出する。 経験的に、制御問題(様々な環境修正によって生成される)における報酬の低下について、テストは標準的なテストよりも強力であることが示される。 また,episodic (non-i.i.d) 信号に適用可能な偽アラームレート制御 (bfar) のための新しいブートストラップ機構を提案する。 本手法は, 学習した環境モデルに依存しず, エージェントの外部に完全に依存しており, 実際には, エピソード信号の変化やドリフトを検出するために応用できる。

関連論文リスト

• Typicalness-Aware Learning for Failure Detection [26.23185979968123]
  ディープニューラルネットワーク(DNN)は、しばしば自信過剰な問題に悩まされる。 そこで本研究では,本問題に対処し,故障検出性能を向上させるために,S typicalness-Aware Learning (TAL) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-04T11:09:47Z)
• Invariant Anomaly Detection under Distribution Shifts: A Causal Perspective [6.845698872290768]
  異常検出(AD、Anomaly Detection)は、異常なサンプルを識別する機械学習タスクである。 分散シフトの制約の下では、トレーニングサンプルとテストサンプルが同じ分布から引き出されるという仮定が崩壊する。 我々は,異常検出モデルのレジリエンスを,異なる種類の分布シフトに高めようとしている。
  論文  参考訳（メタデータ） (2023-12-21T23:20:47Z)
• DARTH: Holistic Test-time Adaptation for Multiple Object Tracking [87.72019733473562]
  複数物体追跡(MOT)は、自律運転における知覚システムの基本的構成要素である。 運転システムの安全性の追求にもかかわらず、テスト時間条件における領域シフトに対するMOT適応問題に対する解決策は提案されていない。 我々はMOTの総合的なテスト時間適応フレームワークであるDARTHを紹介する。
  論文  参考訳（メタデータ） (2023-10-03T10:10:42Z)
• CARLA: Self-supervised Contrastive Representation Learning for Time Series Anomaly Detection [53.83593870825628]
  時系列異常検出(TSAD)の主な課題は、多くの実生活シナリオにおいてラベル付きデータの欠如である。 既存の異常検出手法の多くは、教師なしの方法で非ラベル時系列の正常な振る舞いを学習することに焦点を当てている。 本稿では,時系列異常検出のためのエンドツーエンドの自己教師型コントラアスティブ表現学習手法を提案する。
  論文  参考訳（メタデータ） (2023-08-18T04:45:56Z)
• Continual Test-Time Domain Adaptation [94.51284735268597]
  テスト時ドメイン適応は、ソースデータを使用しずに、ソース事前訓練されたモデルをターゲットドメインに適応することを目的としている。 CoTTAは実装が容易で、市販の事前訓練モデルに簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2022-03-25T11:42:02Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)
• Accelerated Policy Evaluation: Learning Adversarial Environments with Adaptive Importance Sampling [19.81658135871748]
  安全クリティカルシステムにおけるバイアスまたは不正確な政策評価は、予期せぬ破滅的な失敗を引き起こす可能性がある。 本稿では,稀な事象を同時に発見し,稀な事象の確率を推定するAPE手法を提案する。 APEは、関数近似器を組み込むことにより、大きな離散空間や連続空間にスケーラブルである。
  論文  参考訳（メタデータ） (2021-06-19T20:03:26Z)
• DisCor: Corrective Feedback in Reinforcement Learning via Distribution Correction [96.90215318875859]
  ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。 本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
  論文  参考訳（メタデータ） (2020-03-16T16:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。