論文の概要: Formalizing the Problem of Side-Effect Avoidance

• arxiv url: http://arxiv.org/abs/2206.11812v1
• Date: Thu, 23 Jun 2022 16:36:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-24 15:14:52.744218
• Title: Formalizing the Problem of Side-Effect Avoidance
• Title（参考訳）: 副作用回避問題の定式化
• Authors: Alexander Matt Turner, Aseem Saxena, Prasad Tadepalli
• Abstract要約: 本稿では,補助ゲームフレームワークを用いたサイドエフェクト正規化のための公式な基準を提案する。 これらのゲームでは、エージェントは部分的に観測可能なマルコフ決定プロセスを解決する。 このPOMDPは、エージェントが将来的なタスクをこなす能力と、プロキシ報酬を交換することで解決されることを示す。
• 参考スコア（独自算出の注目度）: 81.97441214404247
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI objectives are often hard to specify properly. Some approaches tackle this problem by regularizing the AI's side effects: Agents must weigh off "how much of a mess they make" with an imperfectly specified proxy objective. We propose a formal criterion for side effect regularization via the assistance game framework. In these games, the agent solves a partially observable Markov decision process (POMDP) representing its uncertainty about the objective function it should optimize. We consider the setting where the true objective is revealed to the agent at a later time step. We show that this POMDP is solved by trading off the proxy reward with the agent's ability to achieve a range of future tasks. We empirically demonstrate the reasonableness of our problem formalization via ground-truth evaluation in two gridworld environments.
• Abstract（参考訳）: aiの目的はしばしば適切な指定が難しい。 エージェントは、不完全に指定されたプロキシの目標で“どれだけ混乱させるか”を重み付ける必要があります。 補助ゲームフレームワークによる副作用正規化の形式的基準を提案する。 これらのゲームでは、エージェントは最適化すべき目的関数の不確実性を表す部分的に観測可能なマルコフ決定プロセス(POMDP)を解く。 我々は,次のステップで真の目的がエージェントに明らかにされるような設定を考える。 このPOMDPは、エージェントが将来的なタスクをこなす能力と、プロキシ報酬を交換することで解決されることを示す。 2つのグリッドワールド環境における地中評価を通じて問題形式化の合理的さを実証する。

関連論文リスト

• Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
  我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。 エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。 我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
  論文  参考訳（メタデータ） (2024-09-26T21:00:45Z)
• Online Decision Mediation [72.80902932543474]
  意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。 臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
  論文  参考訳（メタデータ） (2023-10-28T05:59:43Z)
• On Imperfect Recall in Multi-Agent Influence Diagrams [57.21088266396761]
  マルチエージェント・インフルエンス・ダイアグラム(MAID)はベイズネットワークに基づくゲーム理論モデルとして人気がある。 混合ポリシと2種類の相関平衡を用いて, 忘れ易いエージェントと不注意なエージェントでMAIDを解く方法を示す。 また,不完全なリコールがしばしば避けられないマルコフゲームやチーム状況へのMAIDの適用についても述べる。
  論文  参考訳（メタデータ） (2023-07-11T07:08:34Z)
• Goal Alignment: A Human-Aware Account of Value Alignment Problem [16.660807368368758]
  バリューアライメント問題は、AIエージェントの指定された目的がそのユーザの真の目的と一致しないシナリオで発生する。 ミスアライメントの根本的な原因は、エージェントの行動とエージェントが特定の目的のために生成する振る舞いに対する人間の期待に固有の非対称性である。 本稿では,価値アライメントに関わるいくつかの中心的課題に焦点をあてた,ゴールアライメント(ゴールアライメント)という,バリューアライメント問題の新たな定式化を提案する。
  論文  参考訳（メタデータ） (2023-02-02T01:18:57Z)
• On Avoiding Power-Seeking by Artificial Intelligence [93.9264437334683]
  私たちは、非常にインテリジェントなAIエージェントの振る舞いと人間の関心を協調する方法を知りません。 私は、世界に限られた影響を与え、自律的に力を求めないスマートAIエージェントを構築できるかどうか調査する。
  論文  参考訳（メタデータ） (2022-06-23T16:56:21Z)
• End-to-End Learning and Intervention in Games [60.41921763076017]
  ゲームにおける学習と介入のための統一的なフレームワークを提供する。 明示的および暗黙的な区別に基づく2つのアプローチを提案する。 分析結果は、実世界のいくつかの問題を用いて検証される。
  論文  参考訳（メタデータ） (2020-10-26T18:39:32Z)
• Tradeoff-Focused Contrastive Explanation for MDP Planning [7.929642367937801]
  実際の計画の応用では、計画エージェントの決定は、競合する目標間の複雑なトレードオフを伴う可能性がある。 エンドユーザは、目的値に基づいて、エージェントが特定の計画ソリューションを決定する理由を理解することは困難である。 本稿では,マルチオブジェクトのMDP計画エージェントが,そのトレードオフの合理性を伝達する手法として,その意思決定を説明できるアプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-27T17:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。