論文の概要: Avoiding Side Effects By Considering Future Tasks

• arxiv url: http://arxiv.org/abs/2010.07877v1
• Date: Thu, 15 Oct 2020 16:55:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 03:06:44.919246
• Title: Avoiding Side Effects By Considering Future Tasks
• Title（参考訳）: 課題を考慮した副作用回避
• Authors: Victoria Krakovna, Laurent Orseau, Richard Ngo, Miljan Martic, Shane Legg
• Abstract要約: 副次効果をペナルティ化する補助報酬関数を自動生成するアルゴリズムを提案する。 この補助的目的は、エージェントが現在のタスク中に副作用を引き起こすと減少する将来のタスクを完了させる能力に報いる。 本手法は, 干渉を回避し, 副作用の回避に有効であることを示す。
• 参考スコア（独自算出の注目度）: 21.443513600055837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Designing reward functions is difficult: the designer has to specify what to do (what it means to complete the task) as well as what not to do (side effects that should be avoided while completing the task). To alleviate the burden on the reward designer, we propose an algorithm to automatically generate an auxiliary reward function that penalizes side effects. This auxiliary objective rewards the ability to complete possible future tasks, which decreases if the agent causes side effects during the current task. The future task reward can also give the agent an incentive to interfere with events in the environment that make future tasks less achievable, such as irreversible actions by other agents. To avoid this interference incentive, we introduce a baseline policy that represents a default course of action (such as doing nothing), and use it to filter out future tasks that are not achievable by default. We formally define interference incentives and show that the future task approach with a baseline policy avoids these incentives in the deterministic case. Using gridworld environments that test for side effects and interference, we show that our method avoids interference and is more effective for avoiding side effects than the common approach of penalizing irreversible actions.
• Abstract（参考訳）: 報酬関数の設計は難しい - デザイナーは何をするか(タスクを完了させる意味)、何をすべきか(タスクを完了させる際に避けるべき副作用)を指定しなければならない。 報酬設計者の負担を軽減するため,副次効果を補償する補助報酬関数を自動生成するアルゴリズムを提案する。 この補助的目的は、エージェントが現在のタスク中に副作用を引き起こすと減少する将来のタスクを完了させる能力に報いる。 将来のタスク報酬は、他のエージェントによる不可逆的なアクションなど、将来のタスクが達成不可能な環境におけるイベントを妨害するインセンティブを与える。 この干渉のインセンティブを避けるため、デフォルトのアクション(何もしないなど)を表す基本方針を導入し、それを使って、デフォルトで達成できない将来のタスクをフィルタリングする。 我々は、干渉インセンティブを形式的に定義し、ベースラインポリシーによる将来のタスクアプローチが決定論的ケースにおいてこれらのインセンティブを避けることを示す。 サイドエフェクトと干渉を検査するグリッドワールド環境を用いて,我々の手法は干渉を回避し,非可逆的な動作を罰する一般的なアプローチよりも副作用を回避するのに有効であることを示す。

関連論文リスト

• Behavior Alignment via Reward Function Optimization [23.92721220310242]
  設計者のドメイン知識と環境のプライマリ報酬を反映した補助報酬を統合する新しいフレームワークを導入する。 提案手法の有効性を,小型実験から高次元制御課題に至るまで,様々な課題に対して評価する。
  論文  参考訳（メタデータ） (2023-10-29T13:45:07Z)
• Formalizing the Problem of Side Effect Regularization [81.97441214404247]
  本稿では,補助ゲームフレームワークを用いたサイドエフェクト正規化のための公式な基準を提案する。 これらのゲームでは、エージェントは部分的に観測可能なマルコフ決定プロセスを解決する。 このPOMDPは、エージェントが将来的なタスクをこなす能力と、プロキシ報酬を交換することで解決されることを示す。
  論文  参考訳（メタデータ） (2022-06-23T16:36:13Z)
• The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models [85.68751244243823]
  RLエージェントが不特定報酬関数のギャップを悪用するリワードハッキングは広く観測されているが、体系的にはまだ研究されていない。 本稿では,モデル能力,行動空間分解能,観測空間雑音,訓練時間といったエージェント能力の関数としての報酬ハッキングについて検討する。 エージェントの動作が定性的にシフトする能力閾値は、真の報酬の急激な減少につながる。
  論文  参考訳（メタデータ） (2022-01-10T18:58:52Z)
• Admissible Policy Teaching through Reward Design [32.39785256112934]
  我々は、強化学習エージェントに報酬設計戦略を奨励し、許容可能な政策の集合から政策を採用するための報酬設計戦略について研究する。 報酬設計者の目標は、新たな報酬関数の下でのほぼ最適な決定的ポリシーが許容可能であることを保証しつつ、その基礎となる報酬関数をコスト効率良く修正することである。
  論文  参考訳（メタデータ） (2022-01-06T18:49:57Z)
• Learning to Be Cautious [71.9871661858886]
  強化学習の分野における重要な課題は、新しい状況下で慎重に行動するエージェントを開発することである。 注意深い行動がますます不要になるタスクのシーケンスと、システムが注意深いことを実証するアルゴリズムを提示する。
  論文  参考訳（メタデータ） (2021-10-29T16:52:45Z)
• Outcome-Driven Reinforcement Learning via Variational Inference [95.82770132618862]
  我々は、報酬を最大化する問題ではなく、望ましい結果を達成するための行動を推測する問題として、強化学習に関する新たな視点について論じる。 結果として得られる結果指向推論の問題を解決するため, 定型的報酬関数を導出する新しい変分推論定式を制定する。 我々は,この手法が報酬機能の設計を不要とし,効果的なゴール指向行動へと導くことを実証的に示す。
  論文  参考訳（メタデータ） (2021-04-20T18:16:21Z)
• Challenges for Using Impact Regularizers to Avoid Negative Side Effects [74.67972013102462]
  我々は、影響レギュレータの主な課題について論じ、それらを基本的な設計決定に関連付ける。 我々は、影響正則化器による負の副作用の防止における未解決課題を克服するための有望な方向を探究する。
  論文  参考訳（メタデータ） (2021-01-29T10:32:51Z)
• Counterfactual Credit Assignment in Model-Free Reinforcement Learning [47.79277857377155]
  強化学習における信用割当は、将来の報酬に対する行動の影響を測定する問題である。 我々は因果理論からモデルフリーなRL設定への反事実の概念を適応する。 我々は、将来の条件値関数をベースラインや批評家として使用するポリシーアルゴリズムのファミリーを定式化し、それらが明らかに低分散であることを示す。
  論文  参考訳（メタデータ） (2020-11-18T18:41:44Z)
• Avoiding Side Effects in Complex Environments [87.25064477073205]
  おもちゃの環境では、達成可能なユーティリティ保護は、ランダムに生成された目標を達成する能力のシフトを罰することによって副作用を避けた。 このアプローチをConwayのGame of Lifeに基づいて,大規模でランダムに生成された環境に拡張する。
  論文  参考訳（メタデータ） (2020-06-11T16:02:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。