論文の概要: Safe reinforcement learning in uncertain contexts
- arxiv url: http://arxiv.org/abs/2401.05876v1
- Date: Thu, 11 Jan 2024 12:35:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-12 15:04:19.212303
- Title: Safe reinforcement learning in uncertain contexts
- Title（参考訳）: 不確かな文脈における安全強化学習
- Authors: Dominik Baumann and Thomas B. Sch\"on
- Abstract要約: 文脈変数を直接測定できない場合に、安全な学習を行う方法を示す。
マルチクラス分類における頻繁な保証を導出し、測定結果から現在の文脈を推定する。
実験を通してコンテキストを識別する手法を提案する。
- 参考スコア（独自算出の注目度）: 2.3171953687139997
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When deploying machine learning algorithms in the real world, guaranteeing
safety is an essential asset. Existing safe learning approaches typically
consider continuous variables, i.e., regression tasks. However, in practice,
robotic systems are also subject to discrete, external environmental changes,
e.g., having to carry objects of certain weights or operating on frozen, wet,
or dry surfaces. Such influences can be modeled as discrete context variables.
In the existing literature, such contexts are, if considered, mostly assumed to
be known. In this work, we drop this assumption and show how we can perform
safe learning when we cannot directly measure the context variables. To achieve
this, we derive frequentist guarantees for multi-class classification, allowing
us to estimate the current context from measurements. Further, we propose an
approach for identifying contexts through experiments. We discuss under which
conditions we can retain theoretical guarantees and demonstrate the
applicability of our algorithm on a Furuta pendulum with camera measurements of
different weights that serve as contexts.
- Abstract（参考訳）: 機械学習アルゴリズムを現実世界にデプロイする場合、安全性の保証は必須の資産である。
既存の安全な学習アプローチは、通常、連続変数、つまり回帰タスクを考慮する。
しかし実際には、ロボットシステムは、例えば特定の重量の物体を運んだり、凍ったり、濡れたり、乾いた表面を操作したりするといった、個別の外部環境の変化も受けている。
このような影響は、離散文脈変数としてモデル化することができる。
現存する文献では、そのような文脈は、考えれば、主に知られていると推定される。
本研究では,この仮定を廃止し,文脈変数を直接測定できない場合に,安全な学習を行う方法を示す。
これを実現するために,マルチクラス分類の頻繁な保証を導出し,測定結果から現在の文脈を推定する。
さらに,実験を通してコンテキストを識別する手法を提案する。
理論的な保証を保てる条件について検討し, コンテクストとして機能する重みの異なるカメラを用いた古田振り子上でのアルゴリズムの適用性を示す。
関連論文リスト
- Learning Controlled Stochastic Differential Equations [61.82896036131116]
本研究では,非一様拡散を伴う連続多次元非線形微分方程式のドリフト係数と拡散係数の両方を推定する新しい手法を提案する。
我々は、(L2)、(Linfty)の有限サンプル境界や、係数の正則性に適応する学習率を持つリスクメトリクスを含む、強力な理論的保証を提供する。
当社のメソッドはオープンソースPythonライブラリとして利用可能です。
論文 参考訳（メタデータ） (2024-11-04T11:09:58Z) - A computationally lightweight safe learning algorithm [1.9295598343317182]
確率論的安全保証を提供するが,ナダラヤ・ワトソン推定器を利用する安全な学習アルゴリズムを提案する。
提案手法は,シミュレーションした7自由度ロボットマニピュレータ上で,理論的保証を行い,それらを安全な学習アルゴリズムに組み込んだ数値実験を行う。
論文 参考訳（メタデータ） (2023-09-07T12:21:22Z) - Resilient Constrained Learning [94.27081585149836]
本稿では,学習課題を同時に解決しながら,要求に適応する制約付き学習手法を提案する。
我々はこの手法を、その操作を変更することで破壊に適応する生態システムを記述する用語に因んで、レジリエントな制約付き学習と呼ぶ。
論文 参考訳（メタデータ） (2023-06-04T18:14:18Z) - Safe Exploration Method for Reinforcement Learning under Existence of
Disturbance [1.1470070927586016]
我々は、障害の存在下での強化学習における安全な探索問題に対処する。
制御対象と外乱の部分的事前知識を用いた安全な探索手法を提案する。
逆振り子と4バー並列リンクロボットマニピュレータの数値シミュレーションにより,提案手法の有効性と有効性について述べる。
論文 参考訳（メタデータ） (2022-09-30T13:00:33Z) - Reinforcement Learning in Presence of Discrete Markovian Context
Evolution [7.467644044726776]
a) 直接観測不可能な文脈の未知の有限個の数、b) エピソード中に突然発生する(不連続な)文脈変化、c) マルコフ的文脈進化を特徴とする文脈依存強化学習環境を考える。
我々はモデル学習に先立って、粘着した階層的ディリクレプロセス(HDP)を適用する。
これら2つのコンポーネントの組み合わせによって、コンテキストの濃度仮定を扱うデータからコンテキストの数を推測することが可能である、と我々は主張する。
論文 参考訳（メタデータ） (2022-02-14T08:52:36Z) - Learning Uncertainty For Safety-Oriented Semantic Segmentation In
Autonomous Driving [77.39239190539871]
自律運転における安全クリティカル画像セグメンテーションを実現するために、不確実性推定をどのように活用できるかを示す。
相似性関数によって測定された不一致予測に基づく新しい不確実性尺度を導入する。
本研究では,提案手法が競合手法よりも推論時間において計算集約性が低いことを示す。
論文 参考訳（メタデータ） (2021-05-28T09:23:05Z) - Measuring and Increasing Context Usage in Context-Aware Machine
Translation [64.5726087590283]
機械翻訳モデルによるコンテキストの使用を定量的にするために、新しいメトリクス、条件付き相互情報を導入します。
次に,コンテキスト認識モデルによってコンテキストの使用量を増やすために,コンテキスト認識ワードドロップアウトという,新しい簡易なトレーニング手法を導入する。
論文 参考訳（メタデータ） (2021-05-07T19:55:35Z) - Safe Learning of Uncertain Environments for Nonlinear Control-Affine
Systems [10.918870296899245]
未知の添加不確実性を受ける非線形制御アフィン系における安全な学習の問題を検討する。
我々はガウス信号として不確実性をモデル化し、状態測定を用いて平均と共分散境界を学習する。
学習と制御が同時に行われる間、我々は任意に大きな確率で状態が安全なセットにとどまることを保証することができることを示しています。
論文 参考訳（メタデータ） (2021-03-02T01:58:02Z) - Deep Reinforcement Learning amidst Lifelong Non-Stationarity [67.24635298387624]
政治以外のRLアルゴリズムは、寿命の長い非定常性に対処できることを示す。
提案手法は潜在変数モデルを用いて,現在および過去の経験から環境表現を学習する。
また, 生涯の非定常性を示すシミュレーション環境もいくつか導入し, 環境変化を考慮しないアプローチを著しく上回っていることを実証的に確認した。
論文 参考訳（メタデータ） (2020-06-18T17:34:50Z) - Guided Uncertainty-Aware Policy Optimization: Combining Learning and
Model-Based Strategies for Sample-Efficient Policy Learning [75.56839075060819]
従来のロボットのアプローチは、環境の正確なモデル、タスクの実行方法の詳細な説明、現在の状態を追跡するための堅牢な認識システムに依存している。
強化学習アプローチは、タスクを記述するための報酬信号だけで、生の感覚入力から直接操作することができるが、非常にサンプル非効率で脆弱である。
本研究では,ロボットの知覚・運動パイプラインにおける不正確さを克服できる一般的な手法を得るために,モデルに基づく手法の強みと学習に基づく手法の柔軟性を組み合わせる。
論文 参考訳（メタデータ） (2020-05-21T19:47:05Z) - Contextual Policy Transfer in Reinforcement Learning Domains via Deep
Mixtures-of-Experts [24.489002406693128]
そこで本稿では,タスクのダイナミクスに関する状態依存的信念を学習するための,新しいミックス・オブ・エキスパートの定式化について紹介する。
我々は、このモデルを標準ポリシー再利用フレームワークに組み込む方法を示す。
論文 参考訳（メタデータ） (2020-02-29T07:58:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。