論文の概要: Query The Agent: Improving sample efficiency through epistemic uncertainty estimation

• arxiv url: http://arxiv.org/abs/2210.02585v1
• Date: Wed, 5 Oct 2022 22:25:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 15:32:57.743198
• Title: Query The Agent: Improving sample efficiency through epistemic uncertainty estimation
• Title（参考訳）: 質問 エージェント: てんかん不確実性推定による試料効率の向上
• Authors: Julian Alverio and Boris Katz and Andrei Barbu
• Abstract要約: 目標条件付き強化学習エージェントのカリキュラムは、典型的にはエージェントの不確実性の評価に頼っている。 本稿では,サンプル効率を大幅に向上させる新しいアルゴリズム,Query The Agentを提案する。 我々はQTAが既存の方法よりも決定的なサンプル効率向上をもたらすことを実証した。
• 参考スコア（独自算出の注目度）: 18.43044052233102
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Curricula for goal-conditioned reinforcement learning agents typically rely on poor estimates of the agent's epistemic uncertainty or fail to consider the agents' epistemic uncertainty altogether, resulting in poor sample efficiency. We propose a novel algorithm, Query The Agent (QTA), which significantly improves sample efficiency by estimating the agent's epistemic uncertainty throughout the state space and setting goals in highly uncertain areas. Encouraging the agent to collect data in highly uncertain states allows the agent to improve its estimation of the value function rapidly. QTA utilizes a novel technique for estimating epistemic uncertainty, Predictive Uncertainty Networks (PUN), to allow QTA to assess the agent's uncertainty in all previously observed states. We demonstrate that QTA offers decisive sample efficiency improvements over preexisting methods.
• Abstract（参考訳）: 目標条件強化学習エージェントのカリキュラムは、典型的にはエージェントの認識の不確実性の推定が不十分であるか、あるいはエージェントの認識の不確実性を完全に考慮しないため、サンプル効率が低下する。 提案手法は, エージェントが状態空間全体にわたって不確かさを推定し, 極めて不確実な領域で目標を設定することにより, サンプル効率を大幅に向上させる新しいアルゴリズムであるクエリー・ザ・エージェント(QTA)を提案する。 エージェントに極めて不確実な状態のデータを収集させると、エージェントは値関数の見積もりを急速に改善できる。 QTAは、先天的な不確実性ネットワーク(PUN)を推定するための新しい手法を用いて、QTAが前述した全ての状態におけるエージェントの不確実性を評価する。 我々はQTAが既存の方法よりも決定的なサンプル効率向上をもたらすことを示した。

関連論文リスト

• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• Adaptive Uncertainty Estimation via High-Dimensional Testing on Latent Representations [28.875819909902244]
  不確実性推定は、訓練されたディープニューラルネットワークの信頼性を評価することを目的としている。 既存の不確実性推定アプローチは、低次元分布仮定に依存している。 本研究では,不確実性推定のためのデータ適応型高次元仮説テストを用いた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-25T12:22:18Z)
• Discretization-Induced Dirichlet Posterior for Robust Uncertainty Quantification on Regression [17.49026509916207]
  不確実性定量化は、現実世界のアプリケーションにディープニューラルネットワーク(DNN)をデプロイするために重要である。 視覚回帰タスクでは、現在のAuxUE設計は、主にアレタリック不確実性推定に採用されている。 回帰タスクにおけるより堅牢な不確実性定量化のための一般化されたAuxUEスキームを提案する。
  論文  参考訳（メタデータ） (2023-08-17T15:54:11Z)
• Improving Out-of-Distribution Detection via Epistemic Uncertainty Adversarial Training [29.4569172720654]
  我々は,ドロップアウトアンサンブルによって予測される不確実性の攻撃を組み込んだ,単純な対向訓練手法を開発した。 本手法は,OOD検出性能を標準データ上で向上させる(逆向きではない)とともに,ほぼランダムな推定性能から$geq 0.75$まで,標準化された部分AUCを改善する。
  論文  参考訳（メタデータ） (2022-09-05T14:32:19Z)
• Bayesian autoencoders with uncertainty quantification: Towards trustworthy anomaly detection [78.24964622317634]
  本研究では, ベイズオートエンコーダ (BAEs) の定式化により, 全体の異常不確かさを定量化する。 不確実性の質を評価するために,不確実性の予測を拒否するオプションを追加して,異常を分類する作業を検討する。 本実験は,BAEと総異常不確かさが,ベンチマークデータセットと製造用実データセットのセットに与える影響を実証するものである。
  論文  参考訳（メタデータ） (2022-02-25T12:20:04Z)
• On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
  決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-07-01T17:59:07Z)
• Heterogeneous-Agent Trajectory Forecasting Incorporating Class Uncertainty [54.88405167739227]
  本稿では,エージェントのクラス確率を明示的に組み込んだヘテロジニアスエージェント軌道予測手法であるHAICUを提案する。 さらに,新たな挑戦的な実世界の自動運転データセットであるpupも紹介する。 軌道予測にクラス確率を組み込むことで,不確実性に直面した性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-04-26T10:28:34Z)
• DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
  認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。 一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T23:50:35Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。