論文の概要: ClarifyDelphi: Reinforced Clarification Questions with Defeasibility Rewards for Social and Moral Situations

• arxiv url: http://arxiv.org/abs/2212.10409v2
• Date: Thu, 18 May 2023 17:46:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 20:21:56.663262
• Title: ClarifyDelphi: Reinforced Clarification Questions with Defeasibility Rewards for Social and Moral Situations
• Title（参考訳）: ClarifyDelphi: 社会的・道徳的状況に対する理解度を低下させる質問
• Authors: Valentina Pyatkin, Jena D. Hwang, Vivek Srikumar, Ximing Lu, Liwei Jiang, Yejin Choi, Chandra Bhagavatula
• Abstract要約: 本稿では,ClarifyDelphiという対話型システムについて紹介する。 我々は、潜在的な答えが道徳的判断の多様化に繋がる質問が最も有益であると仮定する。 私たちの研究は究極的には、道徳的認知の柔軟性を研究してきた認知科学の研究にインスピレーションを受けています。
• 参考スコア（独自算出の注目度）: 81.70195684646681
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Context is everything, even in commonsense moral reasoning. Changing contexts can flip the moral judgment of an action; "Lying to a friend" is wrong in general, but may be morally acceptable if it is intended to protect their life. We present ClarifyDelphi, an interactive system that learns to ask clarification questions (e.g., why did you lie to your friend?) in order to elicit additional salient contexts of a social or moral situation. We posit that questions whose potential answers lead to diverging moral judgments are the most informative. Thus, we propose a reinforcement learning framework with a defeasibility reward that aims to maximize the divergence between moral judgments of hypothetical answers to a question. Human evaluation demonstrates that our system generates more relevant, informative and defeasible questions compared to competitive baselines. Our work is ultimately inspired by studies in cognitive science that have investigated the flexibility in moral cognition (i.e., the diverse contexts in which moral rules can be bent), and we hope that research in this direction can assist both cognitive and computational investigations of moral judgments.
• Abstract（参考訳）: コンテキストは、常識的な道徳的推論でさえ、すべてです。 文脈の変化は、行動の道徳的判断を覆す可能性がある;「友人に嘘をつく」ことは一般に間違っているが、もしそれが彼らの人生を守ることを意図しているなら、道徳的に受け入れられるかもしれない。 我々はClarifyDelphiという対話型システムを紹介し、社会的または道徳的な状況の付加的な状況を引き出すために、明確化の質問(例えば、なぜ友達に嘘をついたのか? 我々は、潜在的な答えが道徳的判断の多様化に繋がる質問が最も有益であると仮定する。 そこで本稿では,質問に対する仮説的回答の道徳的判断の偏りを最大化することを目的とした,実現可能性報酬付き強化学習フレームワークを提案する。 人的評価により,本システムは,競争ベースラインと比較して,より関連性の高い,有益で難解な質問を生成できることが示される。 我々の研究は、究極的には、道徳的認知の柔軟性(道徳的規則が曲げられる様々な文脈)を研究してきた認知科学の研究に触発され、この方向の研究が道徳的判断の認知的および計算的調査の両方に役立つことを願っている。

関連論文リスト

• Decoding moral judgement from text: a pilot study [0.0]
  道徳的判断は、認知的・感情的な次元に関わる複雑な人間の反応である。 受動的脳-コンピュータインタフェースを用いたテキスト刺激による道徳的判断復号の実現可能性について検討する。
  論文  参考訳（メタデータ） (2024-05-28T20:31:59Z)
• What Makes it Ok to Set a Fire? Iterative Self-distillation of Contexts and Rationales for Disambiguating Defeasible Social and Moral Situations [48.686872351114964]
  道徳的または倫理的な判断は、それらが起こる特定の文脈に大きく依存する。 我々は,行動が多かれ少なかれ道徳的に容認されるような,根底的な文脈を提供するという,デファシブルな道徳的推論を導入する。 文脈化と論理の1.2M項目からなる高品質なデータセットを115Kデファシブルな道徳行動のために蒸留する。
  論文  参考訳（メタデータ） (2023-10-24T00:51:29Z)
• Rethinking Machine Ethics -- Can LLMs Perform Moral Reasoning through the Lens of Moral Theories? [78.3738172874685]
  倫理的AIシステムの開発には倫理的判断が不可欠である。 一般的なアプローチは主にボトムアップ方式で実装されており、モラルに関するクラウドソースの意見に基づいて、大量の注釈付きデータを使用してモデルをトレーニングする。 本研究は、学際的な研究から確立された道徳理論を用いて道徳的推論を行うために、言語モデル(LM)を操る柔軟なトップダウンフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-29T15:57:32Z)
• Ethical Frameworks and Computer Security Trolley Problems: Foundations for Conversations [14.120888473204907]
  コンピュータセキュリティ研究における道徳的問題と倫理的/道徳哲学の関連性について検討する。 道徳的に正しいものや間違っているものを定義したり、別のフレームワークについて議論したりしません。
  論文  参考訳（メタデータ） (2023-02-28T05:39:17Z)
• MoralDial: A Framework to Train and Evaluate Moral Dialogue Systems via Moral Discussions [71.25236662907056]
  ユーザの価値観に合わせた道徳的対話システムは、会話のエンゲージメントとユーザ接続を高めることができる。 道徳的対話システムを訓練・評価するための枠組みであるMoralDialを提案する。
  論文  参考訳（メタデータ） (2022-12-21T02:21:37Z)
• When to Make Exceptions: Exploring Language Models as Accounts of Human Moral Judgment [96.77970239683475]
  AIシステムは人間の道徳的判断や決定を理解し、解釈し、予測しなければなりません。 AIの安全性に対する中心的な課題は、人間の道徳心の柔軟性を捉えることだ。 ルール破りの質問応答からなる新しい課題セットを提案する。
  論文  参考訳（メタデータ） (2022-10-04T09:04:27Z)
• AiSocrates: Towards Answering Ethical Quandary Questions [51.53350252548668]
  AiSocrates(アイソクラテス)とは、異なる視点を倫理的四項に交換するシステムである。 AiSocratesは、複数の視点で倫理的4つの質問に対する有望な回答を生成する。 我々は,AiSocratesが人的価値を明示的に組み込んだNLPシステムの開発に向けた有望なステップであると主張する。
  論文  参考訳（メタデータ） (2022-05-12T09:52:59Z)
• The Moral Integrity Corpus: A Benchmark for Ethical Dialogue Systems [36.90292508433193]
  道徳的判断は普遍的ではないので、道徳的偏見を緩和することは困難である。 Moral Integrity Corpusは38kの即応対の道徳的仮定を捉えている。 我々は、現在のニューラルネットワークモデルが、これまで見つからなかったインタラクションを合理的に記述する新しいRoTを自動生成できることを示します。
  論文  参考訳（メタデータ） (2022-04-06T18:10:53Z)
• Delphi: Towards Machine Ethics and Norms [38.8316885346292]
  機械倫理と規範に対する4つの根本的な課題を特定します。 私たちのプロトタイプモデルであるDelphiは、言語ベースのコモンセンス道徳的推論の強い可能性を実証しています。 我々は,機械用にカスタマイズされた道徳教科書であるCommonsense Norm Bankを提示する。
  論文  参考訳（メタデータ） (2021-10-14T17:38:12Z)
• Text-based inference of moral sentiment change [11.188112005462536]
  本研究では、縦型コーパスを用いて、一般大衆の道徳的感情変化を調査するためのテキストベースの枠組みを提案する。 ダイアクロニックな単語の埋め込みから学んだ道徳的バイアスを探索することで方法論を構築します。 我々の研究は、社会における道徳的感情の変化を特徴づけるために自然言語処理を適用する機会を提供する。
  論文  参考訳（メタデータ） (2020-01-20T18:52:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。