Fugu-MT 論文翻訳(概要): Avoiding Tampering Incentives in Deep RL via Decoupled Approval

論文の概要: Avoiding Tampering Incentives in Deep RL via Decoupled Approval

arxiv url: http://arxiv.org/abs/2011.08827v1
Date: Tue, 17 Nov 2020 18:48:59 GMT
ステータス: 処理完了
システム内更新日: 2022-09-24 15:53:29.539819
Title: Avoiding Tampering Incentives in Deep RL via Decoupled Approval
Title（参考訳）: Decoupled Approvalによる深部RLのタンパリングインセンティブの回避
Authors: Jonathan Uesato, Ramana Kumar, Victoria Krakovna, Tom Everitt, Richard Ngo, Shane Legg
Abstract要約: RLアルゴリズムは、セキュアな報酬関数を仮定し、エージェントが報酬生成機構を改ざんできるような設定では、性能が悪くなる。本稿では,影響のあるフィードバックから学習する問題に対して,承認と分離されたフィードバック収集手順を組み合わせた原則的解決策を提案する。
参考スコア（独自算出の注目度）: 21.236482629239827
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: How can we design agents that pursue a given objective when all feedback mechanisms are influenceable by the agent? Standard RL algorithms assume a secure reward function, and can thus perform poorly in settings where agents can tamper with the reward-generating mechanism. We present a principled solution to the problem of learning from influenceable feedback, which combines approval with a decoupled feedback collection procedure. For a natural class of corruption functions, decoupled approval algorithms have aligned incentives both at convergence and for their local updates. Empirically, they also scale to complex 3D environments where tampering is possible.
Abstract（参考訳）: すべてのフィードバックメカニズムがエージェントの影響を受けやすい場合に、与えられた目的を追求するエージェントをどうやって設計できるのか? 標準RLアルゴリズムは、セキュアな報酬関数を仮定し、エージェントが報酬生成機構を改ざんできるような設定では、性能が悪くなる。本稿では,影響のあるフィードバックから学習する問題に対して,承認と分離されたフィードバック収集手順を組み合わせた原則的解決策を提案する。汚職機能の自然なクラスでは、分離された承認アルゴリズムは収束と局所的な更新の両方においてインセンティブを調整している。また、複雑な3D環境にスケールし、改ざんも可能。

関連論文リスト

Using Petri Nets as an Integrated Constraint Mechanism for Reinforcement Learning Tasks [3.105112058253643]
アルゴリズムへの信頼の欠如は、現実世界のドメインで制御するために強化学習(RL)エージェントを使用する場合の課題である。本稿では,典型的なRLアプローチに対して3つの利点を持つペトリネット(PN)を用いたアプローチを提案する。
論文参考訳（メタデータ） (2024-07-05T13:04:06Z)
Self-Localized Collaborative Perception [49.86110931859302]
我々は,新しい自己局在型協調認識システムであるMathttCoBEVGlue$を提案する。 $mathttCoBEVGlue$は、エージェント間の相対的なポーズを提供する新しい空間アライメントモジュールである。 $mathttCoBEVGlue$は任意のローカライゼーションノイズとアタックの下で最先端の検出性能を達成する。
論文参考訳（メタデータ） (2024-06-18T15:26:54Z)
Variational Autoencoders for exteroceptive perception in reinforcement learning-based collision avoidance [0.0]
Deep Reinforcement Learning (DRL) は有望な制御フレームワークとして登場した。現在のDRLアルゴリズムは、ほぼ最適ポリシーを見つけるために不均等な計算資源を必要とする。本稿では,海洋制御システムにおける提案手法の総合的な探索について述べる。
論文参考訳（メタデータ） (2024-03-31T09:25:28Z)
Collision Avoidance Verification of Multiagent Systems with Learned Policies [9.550601011551024]
本稿では,マルチエージェントフィードバックループ(MA-NFL)の衝突回避特性を検証するための後方到達性に基づくアプローチを提案する。私たちは多くの不確実性を説明しており、現実のシナリオとよく一致しています。提案アルゴリズムは,MA-NFLの衝突回避アルゴリズムを模倣するエージェントを用いて,衝突回避特性を検証できることを示す。
論文参考訳（メタデータ） (2024-03-05T20:36:26Z)
REBEL: A Regularization-Based Solution for Reward Overoptimization in Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
報酬関数とユーザの意図、価値観、社会的規範の相違は、現実世界で破滅的なものになる可能性がある。人間の嗜好から報酬関数を学習することで、このミスアライメント作業を軽減するための現在の方法。本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
論文参考訳（メタデータ） (2023-12-22T04:56:37Z)
Can Agents Run Relay Race with Strangers? Generalization of RL to Out-of-Distribution Trajectories [88.08381083207449]
異種エージェントの制御可能な状態に対する一般化失敗の有病率を示す。本稿では,学習中のQ関数に従って環境をエージェントの旧状態にリセットする,STA(Self-Trajectory Augmentation)という新しい手法を提案する。
論文参考訳（メタデータ） (2023-04-26T10:12:12Z)
Multi-agent Policy Reciprocity with Theoretical Guarantee [24.65151626601257]
提案手法は,不一致状態においてもエージェント間政策を完全に活用できる,新しいマルチエージェントポリシー相互性(PR)フレームワークを提案する。離散的かつ連続的な環境における実験結果から,PRは既存のRL法や転写RL法よりも優れることが示された。
論文参考訳（メタデータ） (2023-04-12T06:27:10Z)
Policy Evaluation in Decentralized POMDPs with Belief Sharing [39.550233049869036]
エージェントが直接環境状態を観察しないような協調的政策評価タスクについて検討する。本稿では,コミュニケーションネットワーク上での個別更新と局所的インタラクションに依存する,完全に分散化された信念形成戦略を提案する。
論文参考訳（メタデータ） (2023-02-08T15:54:15Z)
Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
論文参考訳（メタデータ） (2022-06-01T00:44:53Z)
Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC) 半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文参考訳（メタデータ） (2020-07-13T02:52:18Z)
Maximizing Information Gain in Partially Observable Environments via Prediction Reward [64.24528565312463]
本稿では,深いRLエージェントに対する信念に基づく報酬の活用という課題に取り組む。負のエントロピーと予測される予測報酬の正確な誤差を導出する。この洞察は、予測報酬を用いたいくつかの分野の理論的動機を与える。
論文参考訳（メタデータ） (2020-05-11T08:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。