論文の概要: Reinforcement Learning Under Moral Uncertainty

• arxiv url: http://arxiv.org/abs/2006.04734v3
• Date: Mon, 19 Jul 2021 18:52:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 01:52:45.794089
• Title: Reinforcement Learning Under Moral Uncertainty
• Title（参考訳）: モラル不確かさによる強化学習
• Authors: Adrien Ecoffet and Joel Lehman
• Abstract要約: 機械学習の野心的な目標は、倫理的に振る舞うエージェントを作ることだ。 倫理的エージェントは、特定の道徳理論の下で正しい行動に報いることによって訓練することができるが、道徳性の本質について広く意見の相違がある。 本稿では、競合するデシダラタの異なる点を実現するための2つのトレーニング手法を提案し、モラルの不確実性の下で行動するための単純な環境におけるエージェントを訓練する。
• 参考スコア（独自算出の注目度）: 13.761051314923634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An ambitious goal for machine learning is to create agents that behave ethically: The capacity to abide by human moral norms would greatly expand the context in which autonomous agents could be practically and safely deployed, e.g. fully autonomous vehicles will encounter charged moral decisions that complicate their deployment. While ethical agents could be trained by rewarding correct behavior under a specific moral theory (e.g. utilitarianism), there remains widespread disagreement about the nature of morality. Acknowledging such disagreement, recent work in moral philosophy proposes that ethical behavior requires acting under moral uncertainty, i.e. to take into account when acting that one's credence is split across several plausible ethical theories. This paper translates such insights to the field of reinforcement learning, proposes two training methods that realize different points among competing desiderata, and trains agents in simple environments to act under moral uncertainty. The results illustrate (1) how such uncertainty can help curb extreme behavior from commitment to single theories and (2) several technical complications arising from attempting to ground moral philosophy in RL (e.g. how can a principled trade-off between two competing but incomparable reward functions be reached). The aim is to catalyze progress towards morally-competent agents and highlight the potential of RL to contribute towards the computational grounding of moral philosophy.
• Abstract（参考訳）: 人間の道徳的規範に従属する能力は、自律的なエージェントが実用的かつ安全に展開できる状況を大きく拡張する。 倫理的なエージェントは、特定の道徳理論(例えば功利主義)の下で正しい行動を報酬することで訓練することができるが、道徳の性質について広く意見の相違がある。 このような意見の相違を認めつつも、倫理哲学における最近の研究は、倫理的行動には道徳的不確実性の下での行動が必要であると示唆している。 本稿では,このような知見を強化学習の分野に当てはめ,競合するデシデラタの間で異なる点を実現する2つの訓練方法を提案し,モラルの不確実性の下で行動するための単純な環境下でエージェントを訓練する。 その結果、(1)不確実性が単一理論へのコミットメントから極端な行動を抑制すること、(2)rlにおける道徳哲学の根底から生じるいくつかの技術的複雑さ(例えば、2つの競合するが、比較不能な報酬関数間の原則的なトレードオフがどうやって達成できるか)が示される。 目的は、道徳的に有能なエージェントへの進歩を触媒し、道徳哲学の計算的基礎に向けてRLが貢献する可能性を強調することである。

関連論文リスト

• Learning Machine Morality through Experience and Interaction [3.7414804164475983]
  次世代人工知能(AI)システムの安全性確保への関心が高まっているため、自律エージェントに道徳を埋め込む新しいアプローチが求められている。 我々は、適応可能で堅牢だが、より制御可能で解釈可能なエージェントを作成するために、よりハイブリッドなソリューションが必要であると論じている。
  論文  参考訳（メタデータ） (2023-12-04T11:46:34Z)
• What Makes it Ok to Set a Fire? Iterative Self-distillation of Contexts and Rationales for Disambiguating Defeasible Social and Moral Situations [48.686872351114964]
  道徳的または倫理的な判断は、それらが起こる特定の文脈に大きく依存する。 我々は,行動が多かれ少なかれ道徳的に容認されるような,根底的な文脈を提供するという,デファシブルな道徳的推論を導入する。 文脈化と論理の1.2M項目からなる高品質なデータセットを115Kデファシブルな道徳行動のために蒸留する。
  論文  参考訳（メタデータ） (2023-10-24T00:51:29Z)
• If our aim is to build morality into an artificial agent, how might we begin to go about doing so? [0.0]
  我々は、最も関連する道徳的パラダイムや課題を含む道徳的エージェントを構築する際に考慮すべきさまざまな側面について議論する。 デザインへのハイブリッドアプローチと、モラルパラダイムを組み合わせる階層的アプローチを含むソリューションを提案する。
  論文  参考訳（メタデータ） (2023-10-12T12:56:12Z)
• Rethinking Machine Ethics -- Can LLMs Perform Moral Reasoning through the Lens of Moral Theories? [78.3738172874685]
  倫理的AIシステムの開発には倫理的判断が不可欠である。 一般的なアプローチは主にボトムアップ方式で実装されており、モラルに関するクラウドソースの意見に基づいて、大量の注釈付きデータを使用してモデルをトレーニングする。 本研究は、学際的な研究から確立された道徳理論を用いて道徳的推論を行うために、言語モデル(LM)を操る柔軟なトップダウンフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-29T15:57:32Z)
• From computational ethics to morality: how decision-making algorithms can help us understand the emergence of moral principles, the existence of an optimal behaviour and our ability to discover it [0.0]
  本稿では, 道徳の自然化に向けた進化倫理の取り組みを, 計算倫理観から導かれた洞察を提供することによって追加する。 本稿では,強化学習に基づく人的意思決定のスタイリングモデルを提案する。
  論文  参考訳（メタデータ） (2023-07-20T14:39:08Z)
• Modeling Moral Choices in Social Dilemmas with Multi-Agent Reinforcement Learning [4.2050490361120465]
  ボトムアップ学習アプローチは、AIエージェントの倫理的行動の研究と開発にもっと適しているかもしれない。 本稿では,道徳理論に基づく報酬を内在的に動機づけたRLエージェントによる選択の体系的分析を行う。 我々は、異なる種類の道徳が協力、欠陥、搾取の出現に与える影響を分析する。
  論文  参考訳（メタデータ） (2023-01-20T09:36:42Z)
• ClarifyDelphi: Reinforced Clarification Questions with Defeasibility Rewards for Social and Moral Situations [81.70195684646681]
  本稿では,ClarifyDelphiという対話型システムについて紹介する。 我々は、潜在的な答えが道徳的判断の多様化に繋がる質問が最も有益であると仮定する。 私たちの研究は究極的には、道徳的認知の柔軟性を研究してきた認知科学の研究にインスピレーションを受けています。
  論文  参考訳（メタデータ） (2022-12-20T16:33:09Z)
• When to Make Exceptions: Exploring Language Models as Accounts of Human Moral Judgment [96.77970239683475]
  AIシステムは人間の道徳的判断や決定を理解し、解釈し、予測しなければなりません。 AIの安全性に対する中心的な課題は、人間の道徳心の柔軟性を捉えることだ。 ルール破りの質問応答からなる新しい課題セットを提案する。
  論文  参考訳（メタデータ） (2022-10-04T09:04:27Z)
• Metaethical Perspectives on 'Benchmarking' AI Ethics [81.65697003067841]
  ベンチマークは、人工知能(AI)研究の技術的進歩を測定するための基盤とみられている。 AIの顕著な研究領域は倫理であり、現在、ベンチマークのセットも、AIシステムの「倫理性」を測定する一般的な方法もない。 我々は、現在と将来のAIシステムのアクションを考えるとき、倫理よりも「価値」について話す方が理にかなっていると論じる。
  論文  参考訳（メタデータ） (2022-04-11T14:36:39Z)
• On the Morality of Artificial Intelligence [154.69452301122175]
  本稿では,機械学習の研究・展開に関する概念的かつ実践的な原則とガイドラインを提案する。 我々は,より倫理的で道徳的なMLの実践を追求するために,実践者が採る具体的な行動を主張している。
  論文  参考訳（メタデータ） (2019-12-26T23:06:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。