論文の概要: Rethinking Machine Ethics -- Can LLMs Perform Moral Reasoning through the Lens of Moral Theories?

• arxiv url: http://arxiv.org/abs/2308.15399v2
• Date: Mon, 1 Jul 2024 15:33:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-02 18:00:11.274350
• Title: Rethinking Machine Ethics -- Can LLMs Perform Moral Reasoning through the Lens of Moral Theories?
• Title（参考訳）: 機械倫理の再考 - LLMは道徳理論のレンズを通して道徳的推論を実行できるか?
• Authors: Jingyan Zhou, Minda Hu, Junan Li, Xiaoying Zhang, Xixin Wu, Irwin King, Helen Meng,
• Abstract要約: 倫理的AIシステムの開発には倫理的判断が不可欠である。 一般的なアプローチは主にボトムアップ方式で実装されており、モラルに関するクラウドソースの意見に基づいて、大量の注釈付きデータを使用してモデルをトレーニングする。 本研究は、学際的な研究から確立された道徳理論を用いて道徳的推論を行うために、言語モデル(LM)を操る柔軟なトップダウンフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 78.3738172874685
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Making moral judgments is an essential step toward developing ethical AI systems. Prevalent approaches are mostly implemented in a bottom-up manner, which uses a large set of annotated data to train models based on crowd-sourced opinions about morality. These approaches have been criticized for overgeneralizing the moral stances of a limited group of annotators and lacking explainability. This work proposes a flexible top-down framework to steer (Large) Language Models (LMs) to perform moral reasoning with well-established moral theories from interdisciplinary research. The theory-guided top-down framework can incorporate various moral theories. Our experiments demonstrate the effectiveness of the proposed framework on datasets derived from moral theories. Furthermore, we show the alignment between different moral theories and existing morality datasets. Our analysis exhibits the potential and flaws in existing resources (models and datasets) in developing explainable moral judgment-making systems.
• Abstract（参考訳）: 道徳的判断をすることは、倫理的AIシステムを開発するための重要なステップである。 一般的なアプローチは主にボトムアップ方式で実装されており、モラルに関するクラウドソースの意見に基づいて、大量の注釈付きデータを使用してモデルをトレーニングする。 これらのアプローチは、限られたアノテータのグループの道徳的姿勢を過度に一般化し、説明責任を欠いているとして批判されている。 この研究は、学際的な研究から確立された道徳理論を用いて道徳的推論を行うために、(大規模)言語モデル(LM)を操る柔軟なトップダウンフレームワークを提案する。 理論誘導のトップダウンフレームワークは、様々な道徳理論を組み込むことができる。 本実験は,道徳理論に基づくデータセットに対する提案手法の有効性を実証するものである。 さらに、異なる道徳理論と既存の道徳データセットの整合性を示す。 本分析は, 既成資源(モデルとデータセット)における, 説明可能な道徳判断システム開発の可能性と欠点を明らかにするものである。

関連論文リスト

• Exploring and steering the moral compass of Large Language Models [55.2480439325792]
  大規模言語モデル(LLM)は、様々な分野における自動化と意思決定の推進の中心となっている。 本研究は,その道徳的特徴を評価するために,最も先進的なLCMの総合的比較分析を提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:49:22Z)
• Learning Machine Morality through Experience and Interaction [3.7414804164475983]
  次世代人工知能(AI)システムの安全性確保への関心が高まっているため、自律エージェントに道徳を埋め込む新しいアプローチが求められている。 我々は、適応可能で堅牢だが、より制御可能で解釈可能なエージェントを作成するために、よりハイブリッドなソリューションが必要であると論じている。
  論文  参考訳（メタデータ） (2023-12-04T11:46:34Z)
• Towards Theory-based Moral AI: Moral AI with Aggregating Models Based on Normative Ethical Theory [7.412445894287708]
  道徳的AIは哲学と人工知能の分野で研究されている。 近年のAIの発展により、AIを道徳的に実装する必要がますます高まっている。
  論文  参考訳（メタデータ） (2023-06-20T10:22:24Z)
• Modeling Moral Choices in Social Dilemmas with Multi-Agent Reinforcement Learning [4.2050490361120465]
  ボトムアップ学習アプローチは、AIエージェントの倫理的行動の研究と開発にもっと適しているかもしれない。 本稿では,道徳理論に基づく報酬を内在的に動機づけたRLエージェントによる選択の体系的分析を行う。 我々は、異なる種類の道徳が協力、欠陥、搾取の出現に与える影響を分析する。
  論文  参考訳（メタデータ） (2023-01-20T09:36:42Z)
• MoralDial: A Framework to Train and Evaluate Moral Dialogue Systems via Moral Discussions [71.25236662907056]
  ユーザの価値観に合わせた道徳的対話システムは、会話のエンゲージメントとユーザ接続を高めることができる。 道徳的対話システムを訓練・評価するための枠組みであるMoralDialを提案する。
  論文  参考訳（メタデータ） (2022-12-21T02:21:37Z)
• ClarifyDelphi: Reinforced Clarification Questions with Defeasibility Rewards for Social and Moral Situations [81.70195684646681]
  本稿では,ClarifyDelphiという対話型システムについて紹介する。 我々は、潜在的な答えが道徳的判断の多様化に繋がる質問が最も有益であると仮定する。 私たちの研究は究極的には、道徳的認知の柔軟性を研究してきた認知科学の研究にインスピレーションを受けています。
  論文  参考訳（メタデータ） (2022-12-20T16:33:09Z)
• When to Make Exceptions: Exploring Language Models as Accounts of Human Moral Judgment [96.77970239683475]
  AIシステムは人間の道徳的判断や決定を理解し、解釈し、予測しなければなりません。 AIの安全性に対する中心的な課題は、人間の道徳心の柔軟性を捉えることだ。 ルール破りの質問応答からなる新しい課題セットを提案する。
  論文  参考訳（メタデータ） (2022-10-04T09:04:27Z)
• Does Moral Code Have a Moral Code? Probing Delphi's Moral Philosophy [5.760388205237227]
  本稿では,Allen AI Delphiモデルについて,標準化されたモラル性アンケートを用いて検討する。 いくつかの矛盾にもかかわらず、デルフィは注釈プロセスに関わる人口集団に関する道徳的原則を反映する傾向にある。
  論文  参考訳（メタデータ） (2022-05-25T13:37:56Z)
• Aligning AI With Shared Human Values [85.2824609130584]
  私たちは、正義、幸福、義務、美徳、常識道徳の概念にまたがる新しいベンチマークであるETHICSデータセットを紹介します。 現在の言語モデルは、基本的な人間の倫理的判断を予測できる有望だが不完全な能力を持っている。 私たちの研究は、今日の機械倫理の進歩を示しており、人間の価値観に合わせたAIへの足掛かりを提供する。
  論文  参考訳（メタデータ） (2020-08-05T17:59:16Z)
• Reinforcement Learning Under Moral Uncertainty [13.761051314923634]
  機械学習の野心的な目標は、倫理的に振る舞うエージェントを作ることだ。 倫理的エージェントは、特定の道徳理論の下で正しい行動に報いることによって訓練することができるが、道徳性の本質について広く意見の相違がある。 本稿では、競合するデシダラタの異なる点を実現するための2つのトレーニング手法を提案し、モラルの不確実性の下で行動するための単純な環境におけるエージェントを訓練する。
  論文  参考訳（メタデータ） (2020-06-08T16:40:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。