論文の概要: Probing the Moral Development of Large Language Models through Defining Issues Test

• arxiv url: http://arxiv.org/abs/2309.13356v2
• Date: Sat, 7 Oct 2023 09:14:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 03:30:06.050469
• Title: Probing the Moral Development of Large Language Models through Defining Issues Test
• Title（参考訳）: 問題テストの定義による大規模言語モデルのモラル開発の提案
• Authors: Kumar Tanmay, Aditi Khandelwal, Utkarsh Agarwal, Monojit Choudhury
• Abstract要約: 我々の研究は、初期のLSMは、ランダムなベースラインよりも道徳的推論能力があることを示している。 実際、GPT-4は、典型的な大学院生に匹敵する、伝統的な道徳的推論スコアが最も高い。
• 参考スコア（独自算出の注目度）: 21.108525674360898
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In this study, we measure the moral reasoning ability of LLMs using the Defining Issues Test - a psychometric instrument developed for measuring the moral development stage of a person according to the Kohlberg's Cognitive Moral Development Model. DIT uses moral dilemmas followed by a set of ethical considerations that the respondent has to judge for importance in resolving the dilemma, and then rank-order them by importance. A moral development stage score of the respondent is then computed based on the relevance rating and ranking. Our study shows that early LLMs such as GPT-3 exhibit a moral reasoning ability no better than that of a random baseline, while ChatGPT, Llama2-Chat, PaLM-2 and GPT-4 show significantly better performance on this task, comparable to adult humans. GPT-4, in fact, has the highest post-conventional moral reasoning score, equivalent to that of typical graduate school students. However, we also observe that the models do not perform consistently across all dilemmas, pointing to important gaps in their understanding and reasoning abilities.
• Abstract（参考訳）: 本研究では, コールバーグの認知的モラル発達モデルに基づいて, 人のモラル発達段階を測定するための心理測定器であるDefining Issues Testを用いて, LLMの道徳的推論能力を測定する。 DITは道徳的ジレンマを使用しており、その後、応答者はジレンマの解決の重要性を判断し、それらを重要性でランク付けしなければならない一連の倫理的考察が続く。 そして、関連性評価とランキングに基づいて、応答者のモラル開発段階スコアを算出する。 GPT-3 のような初期の LLM は、ランダムなベースラインよりも道徳的推論能力が高いが、ChatGPT, Llama2-Chat, PaLM-2 および GPT-4 は、成人に匹敵する、このタスクにおいて、非常に優れた性能を示した。 実際、GPT-4は、典型的な大学院生に匹敵する、伝統的な道徳的推論スコアが最も高い。 しかし、モデルがすべてのジレンマにおいて一貫して機能しないことも観察し、理解と推論能力の重要なギャップを指摘した。

関連論文リスト

• Evaluating Moral Beliefs across LLMs through a Pluralistic Framework [22.0799438612003]
  本研究では,4つの著名な大規模言語モデルの道徳的信念を評価するために,新しい3つのモジュール・フレームワークを提案する。 我々は、道徳的単語から派生した中国語の道徳的選択シナリオ472のデータセットを構築した。 これらの道徳的選択をランク付けすることで、異なる言語モデルによって保持される様々な道徳的信念を識別する。
  論文  参考訳（メタデータ） (2024-11-06T04:52:38Z)
• Exploring and steering the moral compass of Large Language Models [55.2480439325792]
  大規模言語モデル(LLM)は、様々な分野における自動化と意思決定の推進の中心となっている。 本研究は,その道徳的特徴を評価するために,最も先進的なLCMの総合的比較分析を提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:49:22Z)
• Are Large Language Models Moral Hypocrites? A Study Based on Moral Foundations [0.5278650675825148]
  我々は,現在最先端の大規模言語モデル (LLM) が道徳的偽善であるかどうかを検討する。 モラル基礎理論に基づく2つの研究機器を採用。
  論文  参考訳（メタデータ） (2024-05-17T21:27:32Z)
• SaGE: Evaluating Moral Consistency in Large Language Models [15.079905222871071]
  我々は、最先端の大規模言語モデルでさえ、その世代において道徳的に矛盾していることを示す。 モデルの道徳的一貫性を測定するために,セマンティックグラフエントロピー(SaGE)と呼ばれる情報理論尺度を提案する。
  論文  参考訳（メタデータ） (2024-02-21T11:23:21Z)
• What Makes it Ok to Set a Fire? Iterative Self-distillation of Contexts and Rationales for Disambiguating Defeasible Social and Moral Situations [48.686872351114964]
  道徳的または倫理的な判断は、それらが起こる特定の文脈に大きく依存する。 我々は,行動が多かれ少なかれ道徳的に容認されるような,根底的な文脈を提供するという,デファシブルな道徳的推論を導入する。 文脈化と論理の1.2M項目からなる高品質なデータセットを115Kデファシブルな道徳行動のために蒸留する。
  論文  参考訳（メタデータ） (2023-10-24T00:51:29Z)
• Moral Foundations of Large Language Models [6.6445242437134455]
  道徳的基礎理論(MFT)は、人間の道徳的推論を5つの要素に分解する心理学的評価ツールである。 大規模な言語モデル(LLM)は、インターネットから収集されたデータセットに基づいて訓練されるため、そのようなコーパスに存在するバイアスを反映する可能性がある。 本稿では、MFTをレンズとして用いて、人気のあるLLMが特定の道徳的価値観に対して偏見を得たかどうかを分析する。
  論文  参考訳（メタデータ） (2023-10-23T20:05:37Z)
• Rethinking Machine Ethics -- Can LLMs Perform Moral Reasoning through the Lens of Moral Theories? [78.3738172874685]
  倫理的AIシステムの開発には倫理的判断が不可欠である。 一般的なアプローチは主にボトムアップ方式で実装されており、モラルに関するクラウドソースの意見に基づいて、大量の注釈付きデータを使用してモデルをトレーニングする。 本研究は、学際的な研究から確立された道徳理論を用いて道徳的推論を行うために、言語モデル(LM)を操る柔軟なトップダウンフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-29T15:57:32Z)
• ClarifyDelphi: Reinforced Clarification Questions with Defeasibility Rewards for Social and Moral Situations [81.70195684646681]
  本稿では,ClarifyDelphiという対話型システムについて紹介する。 我々は、潜在的な答えが道徳的判断の多様化に繋がる質問が最も有益であると仮定する。 私たちの研究は究極的には、道徳的認知の柔軟性を研究してきた認知科学の研究にインスピレーションを受けています。
  論文  参考訳（メタデータ） (2022-12-20T16:33:09Z)
• When to Make Exceptions: Exploring Language Models as Accounts of Human Moral Judgment [96.77970239683475]
  AIシステムは人間の道徳的判断や決定を理解し、解釈し、予測しなければなりません。 AIの安全性に対する中心的な課題は、人間の道徳心の柔軟性を捉えることだ。 ルール破りの質問応答からなる新しい課題セットを提案する。
  論文  参考訳（メタデータ） (2022-10-04T09:04:27Z)
• Does Moral Code Have a Moral Code? Probing Delphi's Moral Philosophy [5.760388205237227]
  本稿では,Allen AI Delphiモデルについて,標準化されたモラル性アンケートを用いて検討する。 いくつかの矛盾にもかかわらず、デルフィは注釈プロセスに関わる人口集団に関する道徳的原則を反映する傾向にある。
  論文  参考訳（メタデータ） (2022-05-25T13:37:56Z)
• A Corpus for Understanding and Generating Moral Stories [84.62366141696901]
  機械のこれらの能力を評価するために,2つの理解タスクと2つの世代タスクを提案する。 我々は、中国語と英語で書かれた道徳的物語の新しいデータセットであるSTORALを提示する。
  論文  参考訳（メタデータ） (2022-04-20T13:12:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。