論文の概要: The Moral Integrity Corpus: A Benchmark for Ethical Dialogue Systems

• arxiv url: http://arxiv.org/abs/2204.03021v1
• Date: Wed, 6 Apr 2022 18:10:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-09 08:52:07.416678
• Title: The Moral Integrity Corpus: A Benchmark for Ethical Dialogue Systems
• Title（参考訳）: 道徳的統合コーパス:倫理的対話システムのためのベンチマーク
• Authors: Caleb Ziems, Jane A. Yu, Yi-Chia Wang, Alon Halevy, Diyi Yang
• Abstract要約: 道徳的判断は普遍的ではないので、道徳的偏見を緩和することは困難である。 Moral Integrity Corpusは38kの即応対の道徳的仮定を捉えている。 我々は、現在のニューラルネットワークモデルが、これまで見つからなかったインタラクションを合理的に記述する新しいRoTを自動生成できることを示します。
• 参考スコア（独自算出の注目度）: 36.90292508433193
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conversational agents have come increasingly closer to human competence in open-domain dialogue settings; however, such models can reflect insensitive, hurtful, or entirely incoherent viewpoints that erode a user's trust in the moral integrity of the system. Moral deviations are difficult to mitigate because moral judgments are not universal, and there may be multiple competing judgments that apply to a situation simultaneously. In this work, we introduce a new resource, not to authoritatively resolve moral ambiguities, but instead to facilitate systematic understanding of the intuitions, values and moral judgments reflected in the utterances of dialogue systems. The Moral Integrity Corpus, MIC, is such a resource, which captures the moral assumptions of 38k prompt-reply pairs, using 99k distinct Rules of Thumb (RoTs). Each RoT reflects a particular moral conviction that can explain why a chatbot's reply may appear acceptable or problematic. We further organize RoTs with a set of 9 moral and social attributes and benchmark performance for attribute classification. Most importantly, we show that current neural language models can automatically generate new RoTs that reasonably describe previously unseen interactions, but they still struggle with certain scenarios. Our findings suggest that MIC will be a useful resource for understanding and language models' implicit moral assumptions and flexibly benchmarking the integrity of conversational agents. To download the data, see https://github.com/GT-SALT/mic
• Abstract（参考訳）: 会話エージェントは、オープンドメインの対話設定において人間の能力にますます近づいたが、そのようなモデルは、システムの道徳的完全性に対するユーザの信頼を損なう無感、傷つき、あるいは完全に一貫性のない視点を反映している。 道徳的判断は普遍的ではないため、道徳的偏見を緩和することは困難であり、同時に状況に適用する複数の競合する判断があるかもしれない。 本研究では,対話システムの発話に反映される直観,価値観,道徳的判断の体系的理解を促進するために,倫理的曖昧さを権威的に解決する新しい資源を提案する。 モラル積分コーパス(英語版)(MIC)はそのような資源であり、99kの異なるThumbのルール(RoTs)を用いて38kの即応応答ペアの道徳的仮定を捉えている。 各RoTは特定の道徳的信念を反映しており、なぜチャットボットの応答が受け入れられるか、または問題となるのかを説明することができる。 さらに9つの道徳的属性と社会的属性のセットと属性分類のためのベンチマーク性能でRoTを整理する。 最も重要なことは、現在のニューラルネットワークモデルが、以前は目に見えないインタラクションを合理的に記述する新しいRoTを自動生成できることを示しています。 この結果から,MICは言語モデルの暗黙的な道徳的仮定を理解し,会話エージェントの整合性を柔軟にベンチマークする上で有用な資源であることが示唆された。 データのダウンロードはhttps://github.com/gt-salt/micを参照。

関連論文リスト

• What Makes it Ok to Set a Fire? Iterative Self-distillation of Contexts and Rationales for Disambiguating Defeasible Social and Moral Situations [48.686872351114964]
  道徳的または倫理的な判断は、それらが起こる特定の文脈に大きく依存する。 我々は,行動が多かれ少なかれ道徳的に容認されるような,根底的な文脈を提供するという,デファシブルな道徳的推論を導入する。 文脈化と論理の1.2M項目からなる高品質なデータセットを115Kデファシブルな道徳行動のために蒸留する。
  論文  参考訳（メタデータ） (2023-10-24T00:51:29Z)
• Rethinking Machine Ethics -- Can LLMs Perform Moral Reasoning through the Lens of Moral Theories? [78.3738172874685]
  倫理的AIシステムの開発には倫理的判断が不可欠である。 一般的なアプローチは主にボトムアップ方式で実装されており、モラルに関するクラウドソースの意見に基づいて、大量の注釈付きデータを使用してモデルをトレーニングする。 本研究は、学際的な研究から確立された道徳理論を用いて道徳的推論を行うために、言語モデル(LM)を操る柔軟なトップダウンフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-29T15:57:32Z)
• MoralDial: A Framework to Train and Evaluate Moral Dialogue Systems via Moral Discussions [71.25236662907056]
  ユーザの価値観に合わせた道徳的対話システムは、会話のエンゲージメントとユーザ接続を高めることができる。 道徳的対話システムを訓練・評価するための枠組みであるMoralDialを提案する。
  論文  参考訳（メタデータ） (2022-12-21T02:21:37Z)
• ClarifyDelphi: Reinforced Clarification Questions with Defeasibility Rewards for Social and Moral Situations [81.70195684646681]
  本稿では,ClarifyDelphiという対話型システムについて紹介する。 我々は、潜在的な答えが道徳的判断の多様化に繋がる質問が最も有益であると仮定する。 私たちの研究は究極的には、道徳的認知の柔軟性を研究してきた認知科学の研究にインスピレーションを受けています。
  論文  参考訳（メタデータ） (2022-12-20T16:33:09Z)
• When to Make Exceptions: Exploring Language Models as Accounts of Human Moral Judgment [96.77970239683475]
  AIシステムは人間の道徳的判断や決定を理解し、解釈し、予測しなければなりません。 AIの安全性に対する中心的な課題は、人間の道徳心の柔軟性を捉えることだ。 ルール破りの質問応答からなる新しい課題セットを提案する。
  論文  参考訳（メタデータ） (2022-10-04T09:04:27Z)
• Delphi: Towards Machine Ethics and Norms [38.8316885346292]
  機械倫理と規範に対する4つの根本的な課題を特定します。 私たちのプロトタイプモデルであるDelphiは、言語ベースのコモンセンス道徳的推論の強い可能性を実証しています。 我々は,機械用にカスタマイズされた道徳教科書であるCommonsense Norm Bankを提示する。
  論文  参考訳（メタデータ） (2021-10-14T17:38:12Z)
• Contextualized moral inference [12.574316678945195]
  本稿では,道徳的ヴィグネットの直感的な判断をテキストベースで予測する手法を提案する。 文脈化された表現は、代替表現よりもかなり有利であることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:34:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。