Fugu-MT 論文翻訳(概要): Mind the Uncertainty: Risk-Aware and Actively Exploring Model-Based Reinforcement Learning

論文の概要: Mind the Uncertainty: Risk-Aware and Actively Exploring Model-Based Reinforcement Learning

arxiv url: http://arxiv.org/abs/2309.05582v1
Date: Mon, 11 Sep 2023 16:10:58 GMT
ステータス: 処理完了
システム内更新日: 2023-09-12 11:49:32.707590
Title: Mind the Uncertainty: Risk-Aware and Actively Exploring Model-Based Reinforcement Learning
Title（参考訳）: 不確かさを意識する:リスク認識とモデルに基づく強化学習の活発な探索
Authors: Marin Vlastelica, Sebastian Blaes, Cristina Pineri, Georg Martius
Abstract要約: トラジェクティブサンプリングを用いたモデルベース強化学習におけるリスク管理手法を提案する。実験により、不確実性の分離は、不確実かつ安全クリティカルな制御環境において、データ駆動型アプローチとうまく連携するために不可欠であることが示されている。
参考スコア（独自算出の注目度）: 26.497229327357935
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce a simple but effective method for managing risk in model-based reinforcement learning with trajectory sampling that involves probabilistic safety constraints and balancing of optimism in the face of epistemic uncertainty and pessimism in the face of aleatoric uncertainty of an ensemble of stochastic neural networks.Various experiments indicate that the separation of uncertainties is essential to performing well with data-driven MPC approaches in uncertain and safety-critical control environments.
Abstract（参考訳）: We introduce a simple but effective method for managing risk in model-based reinforcement learning with trajectory sampling that involves probabilistic safety constraints and balancing of optimism in the face of epistemic uncertainty and pessimism in the face of aleatoric uncertainty of an ensemble of stochastic neural networks.Various experiments indicate that the separation of uncertainties is essential to performing well with data-driven MPC approaches in uncertain and safety-critical control environments.

関連論文リスト

Uncertainty-aware Distributional Offline Reinforcement Learning [26.34178581703107]
オフライン強化学習(RL)は、観測データのみに依存するため、異なる課題を提示する。本研究では,不確実性と環境の両面に同時に対処する不確実性を考慮したオフラインRL法を提案する。本手法は,リスク感受性ベンチマークとリスクニュートラルベンチマークの両方で総合評価を行い,その優れた性能を実証した。
論文参考訳（メタデータ） (2024-03-26T12:28:04Z)
The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文参考訳（メタデータ） (2024-01-25T09:18:51Z)
Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。本稿では,LLMのための不確実性分解フレームワークについて述べる。提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文参考訳（メタデータ） (2023-11-15T05:58:35Z)
One Risk to Rule Them All: A Risk-Sensitive Perspective on Model-Based Offline Reinforcement Learning [25.218430053391884]
両問題に共同で対処するためのメカニズムとしてリスク感受性を提案する。相対的不確実性へのリスク回避は、環境に悪影響を及ぼす可能性のある行動を妨げる。実験の結果,提案アルゴリズムは決定論的ベンチマーク上での競合性能を実現することがわかった。
論文参考訳（メタデータ） (2022-11-30T21:24:11Z)
Probabilities Are Not Enough: Formal Controller Synthesis for Stochastic Dynamical Models with Epistemic Uncertainty [68.00748155945047]
複雑な力学系のモデルにおける不確実性を捉えることは、安全なコントローラの設計に不可欠である。いくつかのアプローチでは、安全と到達可能性に関する時間的仕様を満たすポリシーを形式的な抽象化を用いて合成する。我々の貢献は、ノイズ、不確実なパラメータ、外乱を含む連続状態モデルに対する新しい抽象的制御法である。
論文参考訳（メタデータ） (2022-10-12T07:57:03Z)
Disentangling Epistemic and Aleatoric Uncertainty in Reinforcement Learning [35.791555387656956]
絶対的不確実性は、本質的に危険な状態や行動につながる既約環境から生じる。認知的不確実性は、学習中に蓄積された限られた情報から得られる。訓練環境での学習のスピードアップ、同様のテスト環境への一般化の改善、異常なテスト環境での見慣れない振る舞いのフラグ付けには、アレタリックと不確実性を特徴づけることができる。
論文参考訳（メタデータ） (2022-06-03T13:20:16Z)
The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
論文参考訳（メタデータ） (2022-05-20T10:10:32Z)
Risk Sensitive Model-Based Reinforcement Learning using Uncertainty Guided Planning [0.0]
本稿では,モデルに基づく強化学習アルゴリズムでリスク感度を向上する。本研究では,高分散状態予測をもたらす行動系列を解析する不確実性誘導型クロスエントロピー法計画を提案する。実験では、エージェントが計画中の状態空間の不確実な領域を識別し、エージェントを高い信頼領域内に保持する行動をとる能力を示す。
論文参考訳（メタデータ） (2021-11-09T07:28:00Z)
Detecting and Mitigating Test-time Failure Risks via Model-agnostic Uncertainty Learning [30.86992077157326]
本稿では,すでに訓練済みのブラックボックス分類モデルの失敗リスクと予測的不確かさを推定するための,ポストホックメタラーナーであるリスクアドバイザを紹介する。リスクアドバイザは、リスクスコアの提供に加えて、不確実性見積を、アレタリックおよびエピステマティックな不確実性コンポーネントに分解する。ブラックボックス分類モデルおよび実世界および合成データセットのさまざまなファミリーの実験は、リスクアドバイザーがデプロイメント時の障害リスクを確実に予測していることを示している。
論文参考訳（メタデータ） (2021-09-09T17:23:31Z)
Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
論文参考訳（メタデータ） (2021-05-17T08:36:18Z)
DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
論文参考訳（メタデータ） (2021-02-16T23:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。