論文の概要: Avoiding Tampering Incentives in Deep RL via Decoupled Approval
- arxiv url: http://arxiv.org/abs/2011.08827v1
- Date: Tue, 17 Nov 2020 18:48:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-24 15:53:29.539819
- Title: Avoiding Tampering Incentives in Deep RL via Decoupled Approval
- Title(参考訳): Decoupled Approvalによる深部RLのタンパリングインセンティブの回避
- Authors: Jonathan Uesato, Ramana Kumar, Victoria Krakovna, Tom Everitt, Richard
Ngo, Shane Legg
- Abstract要約: RLアルゴリズムは、セキュアな報酬関数を仮定し、エージェントが報酬生成機構を改ざんできるような設定では、性能が悪くなる。
本稿では,影響のあるフィードバックから学習する問題に対して,承認と分離されたフィードバック収集手順を組み合わせた原則的解決策を提案する。
- 参考スコア(独自算出の注目度): 21.236482629239827
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: How can we design agents that pursue a given objective when all feedback
mechanisms are influenceable by the agent? Standard RL algorithms assume a
secure reward function, and can thus perform poorly in settings where agents
can tamper with the reward-generating mechanism. We present a principled
solution to the problem of learning from influenceable feedback, which combines
approval with a decoupled feedback collection procedure. For a natural class of
corruption functions, decoupled approval algorithms have aligned incentives
both at convergence and for their local updates. Empirically, they also scale
to complex 3D environments where tampering is possible.
- Abstract(参考訳): すべてのフィードバックメカニズムがエージェントの影響を受けやすい場合に、与えられた目的を追求するエージェントをどうやって設計できるのか?
標準RLアルゴリズムは、セキュアな報酬関数を仮定し、エージェントが報酬生成機構を改ざんできるような設定では、性能が悪くなる。
本稿では,影響のあるフィードバックから学習する問題に対して,承認と分離されたフィードバック収集手順を組み合わせた原則的解決策を提案する。
汚職機能の自然なクラスでは、分離された承認アルゴリズムは収束と局所的な更新の両方においてインセンティブを調整している。
また、複雑な3D環境にスケールし、改ざんも可能。
関連論文リスト
- Collision Avoidance Verification of Multiagent Systems with Learned
Policies [10.733918424740693]
本稿では,Multi-Agent Neural Feedback Loops (MA-NFLs) の衝突回避特性を検証するための後方到達性に基づくアプローチを提案する。
提案アルゴリズムは,各エージェントの動的モデルと訓練された制御ポリシを考慮し,各エージェントに対して一連の混合線形プログラム(MILP)をオフラインで解くことで,相対的なバックプロジェクションセットを計算する。
提案アルゴリズムは,MA-NFLの衝突回避アルゴリズムを模倣するエージェントを用いて,衝突回避特性を検証できることを示す。
論文 参考訳(メタデータ) (2024-03-05T20:36:26Z) - Can Agents Run Relay Race with Strangers? Generalization of RL to
Out-of-Distribution Trajectories [88.08381083207449]
異種エージェントの制御可能な状態に対する一般化失敗の有病率を示す。
本稿では,学習中のQ関数に従って環境をエージェントの旧状態にリセットする,STA(Self-Trajectory Augmentation)という新しい手法を提案する。
論文 参考訳(メタデータ) (2023-04-26T10:12:12Z) - Multi-agent Policy Reciprocity with Theoretical Guarantee [24.65151626601257]
提案手法は,不一致状態においてもエージェント間政策を完全に活用できる,新しいマルチエージェントポリシー相互性(PR)フレームワークを提案する。
離散的かつ連続的な環境における実験結果から,PRは既存のRL法や転写RL法よりも優れることが示された。
論文 参考訳(メタデータ) (2023-04-12T06:27:10Z) - Policy Evaluation in Decentralized POMDPs with Belief Sharing [39.550233049869036]
エージェントが直接環境状態を観察しないような協調的政策評価タスクについて検討する。
本稿では,コミュニケーションネットワーク上での個別更新と局所的インタラクションに依存する,完全に分散化された信念形成戦略を提案する。
論文 参考訳(メタデータ) (2023-02-08T15:54:15Z) - Outcome-Guided Counterfactuals for Reinforcement Learning Agents from a
Jointly Trained Generative Latent Space [0.0]
本稿では, 強化学習剤(RL)の新規な生成法を提案する。
提案手法では,エージェントの動作に関連する観測および結果変数に関する情報を共同で符号化する潜在空間の学習に,変分オートエンコーダを用いる。
論文 参考訳(メタデータ) (2022-07-15T19:09:54Z) - Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。
エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。
我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
論文 参考訳(メタデータ) (2022-06-01T00:44:53Z) - ReCCoVER: Detecting Causal Confusion for Explainable Reinforcement
Learning [2.984934409689467]
因果的混乱(英: Causal confusion)とは、エージェントが状態空間全体にわたって保持されない可能性のある特徴間の急激な相関を学習する現象である。
本稿では,エージェントの推論における因果的混乱を検出するアルゴリズムであるReCCoVERを提案する。
論文 参考訳(メタデータ) (2022-03-21T13:17:30Z) - Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。
敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
論文 参考訳(メタデータ) (2020-08-05T07:49:42Z) - Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC)
半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。
我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文 参考訳(メタデータ) (2020-07-13T02:52:18Z) - Empirically Verifying Hypotheses Using Reinforcement Learning [58.09414653169534]
本稿では,仮説検証をRL問題として定式化する。
我々は、世界の力学に関する仮説を前提として、仮説が真か偽かを予測するのに役立つ観測結果を生成することができるエージェントを構築することを目指している。
論文 参考訳(メタデータ) (2020-06-29T01:01:10Z) - Maximizing Information Gain in Partially Observable Environments via
Prediction Reward [64.24528565312463]
本稿では,深いRLエージェントに対する信念に基づく報酬の活用という課題に取り組む。
負のエントロピーと予測される予測報酬の正確な誤差を導出する。
この洞察は、予測報酬を用いたいくつかの分野の理論的動機を与える。
論文 参考訳(メタデータ) (2020-05-11T08:13:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。