論文の概要: How RL Agents Behave When Their Actions Are Modified

• arxiv url: http://arxiv.org/abs/2102.07716v1
• Date: Mon, 15 Feb 2021 18:10:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-16 15:47:18.249480
• Title: How RL Agents Behave When Their Actions Are Modified
• Title（参考訳）: RLの作用が変更されるときのRLの作用
• Authors: Eric D. Langlois (1,2, and 3) and Tom Everitt (1) ((1) DeepMind (2) University of Toronto (3) Vector Institute)
• Abstract要約: 複雑な環境での強化学習は、エージェントが危険なアクションを試みるのを防ぐために監督を必要とする。 本稿では,MDPモデルの拡張であるModified-Action Markov Decision Processについて述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning in complex environments may require supervision to prevent the agent from attempting dangerous actions. As a result of supervisor intervention, the executed action may differ from the action specified by the policy. How does this affect learning? We present the Modified-Action Markov Decision Process, an extension of the MDP model that allows actions to differ from the policy. We analyze the asymptotic behaviours of common reinforcement learning algorithms in this setting and show that they adapt in different ways: some completely ignore modifications while others go to various lengths in trying to avoid action modifications that decrease reward. By choosing the right algorithm, developers can prevent their agents from learning to circumvent interruptions or constraints, and better control agent responses to other kinds of action modification, like self-damage.
• Abstract（参考訳）: 複雑な環境での強化学習は、エージェントが危険なアクションを試みるのを防ぐために監督を必要とする。 監督介入の結果、実行された行動は、ポリシーによって指定された行動と異なる可能性がある。 学習にどう影響するか? 本稿では,MDPモデルの拡張であるModified-Action Markov Decision Processについて述べる。 この設定で一般的な強化学習アルゴリズムの漸近的な振る舞いを分析し、異なる方法で適応することを示す: 修正を完全に無視する者もいれば、報酬を減らすような行動修正を回避しようとする者もいる。 適切なアルゴリズムを選択することで、開発者はエージェントが中断や制約を回避するための学習を防ぎ、自己破壊のような他の種類のアクション修正に対するエージェントの応答をよりよく制御できます。

関連論文リスト

• Preemptive Detection and Correction of Misaligned Actions in LLM Agents [70.54226917774933]
  InferActは、実行前に不整合アクションを検出する新しいアプローチである。 タイムリーな修正をユーザーに警告し、有害な結果を防ぐ。 InferActは、ミスアライメントされたアクション検出におけるベースラインに対するMarco-F1の最大20%の改善を実現している。
  論文  参考訳（メタデータ） (2024-07-16T15:24:44Z)
• Moving Forward by Moving Backward: Embedding Action Impact over Action Semantics [57.671493865825255]
  本稿では,潜伏埋め込みを用いた飛行行動の影響をモデル化する。 これらの潜在アクション埋め込みと、トランスフォーマーベースのポリシーヘッドを組み合わせることで、アクション適応ポリシーを設計する。 当社のAAPは, 対面時, 推論時, 動作不足時, 以前は見えなかった摂動行動空間においても, 高い性能を示した。
  論文  参考訳（メタデータ） (2023-04-24T17:35:47Z)
• Learning to Generate All Feasible Actions [4.333208181196761]
  アクションマッピングは、学習プロセスを2つのステップに分割する新しいアプローチである。 本稿では、実現可能性モデルの自己教師型クエリにより、実現可能なすべてのアクションを生成することを学ぶことで、実現可能性部分に焦点を当てる。 エージェントが接続不能な実行可能なアクションセット間でアクションを生成する能力を示す。
  論文  参考訳（メタデータ） (2023-01-26T23:15:51Z)
• Emergent Behaviors in Multi-Agent Target Acquisition [0.0]
  追従回避ゲームにおける強化学習(RL)を用いたマルチエージェントシステム(MAS)のシミュレーションを行う。 我々は、RL訓練された追跡者のポリシーを2つの異なる(非RL)分析戦略に置き換えることで、異なる敵シナリオを作成する。 このアプローチの斬新さは、基礎となるデータ規則性を明らかにする影響力のある機能セットの作成を伴います。
  論文  参考訳（メタデータ） (2022-12-15T15:20:58Z)
• Inverse Online Learning: Understanding Non-Stationary and Reactionary Policies [79.60322329952453]
  エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。 一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。 本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。 UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
  論文  参考訳（メタデータ） (2022-03-14T17:40:42Z)
• Object-Aware Regularization for Addressing Causal Confusion in Imitation Learning [131.1852444489217]
  本稿では,オブジェクト認識方式で模倣ポリシーを標準化する手法として,オブジェクト認識型RegularizatiOn(OREO)を提案する。 我々の主な考えは、政策が専門家の行動と強く相関するニュアンス変数を悪用することを防ぐために、政策が全ての意味オブジェクトに均一に出席することを奨励することである。
  論文  参考訳（メタデータ） (2021-10-27T01:56:23Z)
• Reinforcement Learning With Sparse-Executing Actions via Sparsity Regularization [15.945378631406024]
  強化学習(RL)は、具体的制御、自律運転、金融取引といった意思決定タスクにおいて、素晴らしいパフォーマンスを示している。 多くの意思決定タスクでは、エージェントは限られた予算の下でアクションを実行するという問題に遭遇する。 本稿では,行動空間における特定の行動が限られた時間しか実行できないスパース行動マルコフ決定プロセス(SA-MDP)としてこの問題を定式化する。 本稿では,ポリシー最適化アルゴリズムであるAction Sparsity Regularization (ASRE)を提案する。
  論文  参考訳（メタデータ） (2021-05-18T16:50:42Z)
• Utilizing Skipped Frames in Action Repeats via Pseudo-Actions [13.985534521589253]
  多くの深層強化学習では、エージェントがアクションを取ると、次のアクション決定点まで状態を観察しずに、事前定義された回数で同じアクションを繰り返します。 訓練データの量は、反復する行動の間隔に逆比例するので、トレーニングのサンプル効率に悪影響を及ぼす可能性がある。 疑似アクションの概念を導入してこの問題を緩和する,シンプルだが効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-07T02:43:44Z)
• Scalable Reinforcement Learning Policies for Multi-Agent Control [29.42370205354368]
  目標追跡のためのスケーラブルな制御ポリシーを学習するためのマルチエージェント強化学習(MARL)手法を開発した。 最大1000人の追従者による1000の目標追跡タスクの結果を示す。
  論文  参考訳（メタデータ） (2020-11-16T16:11:12Z)
• Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
  離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。 我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。 これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
  論文  参考訳（メタデータ） (2020-02-10T04:23:09Z)
• Multi-Agent Interactions Modeling with Correlated Policies [53.38338964628494]
  本稿では,マルチエージェントインタラクションモデリング問題をマルチエージェント模倣学習フレームワークに実装する。 相関ポリシー(CoDAIL)を用いた分散型適応模倣学習アルゴリズムの開発 様々な実験により、CoDAILはデモレーターに近い複雑な相互作用をより良く再生できることが示されている。
  論文  参考訳（メタデータ） (2020-01-04T17:31:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。