論文の概要: What Makes it Ok to Set a Fire? Iterative Self-distillation of Contexts and Rationales for Disambiguating Defeasible Social and Moral Situations

• arxiv url: http://arxiv.org/abs/2310.15431v2
• Date: Wed, 1 Nov 2023 04:39:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 16:40:17.104724
• Title: What Makes it Ok to Set a Fire? Iterative Self-distillation of Contexts and Rationales for Disambiguating Defeasible Social and Moral Situations
• Title（参考訳）: 火をつけるのに何が必要か 社会的・道徳的状況の明確化のための文脈と合理化の反復的自己蒸留
• Authors: Kavel Rao, Liwei Jiang, Valentina Pyatkin, Yuling Gu, Niket Tandon, Nouha Dziri, Faeze Brahman, Yejin Choi
• Abstract要約: 道徳的または倫理的な判断は、それらが起こる特定の文脈に大きく依存する。 我々は,行動が多かれ少なかれ道徳的に容認されるような,根底的な文脈を提供するという,デファシブルな道徳的推論を導入する。 文脈化と論理の1.2M項目からなる高品質なデータセットを115Kデファシブルな道徳行動のために蒸留する。
• 参考スコア（独自算出の注目度）: 48.686872351114964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Moral or ethical judgments rely heavily on the specific contexts in which they occur. Understanding varying shades of defeasible contextualizations (i.e., additional information that strengthens or attenuates the moral acceptability of an action) is critical to accurately represent the subtlety and intricacy of grounded human moral judgment in real-life scenarios. We introduce defeasible moral reasoning: a task to provide grounded contexts that make an action more or less morally acceptable, along with commonsense rationales that justify the reasoning. To elicit high-quality task data, we take an iterative self-distillation approach that starts from a small amount of unstructured seed knowledge from GPT-3 and then alternates between (1) self-distillation from student models; (2) targeted filtering with a critic model trained by human judgment (to boost validity) and NLI (to boost diversity); (3) self-imitation learning (to amplify the desired data quality). This process yields a student model that produces defeasible contexts with improved validity, diversity, and defeasibility. From this model we distill a high-quality dataset, \delta-Rules-of-Thumb, of 1.2M entries of contextualizations and rationales for 115K defeasible moral actions rated highly by human annotators 85.9% to 99.8% of the time. Using \delta-RoT we obtain a final student model that wins over all intermediate student models by a notable margin.
• Abstract（参考訳）: 道徳的または倫理的な判断は、それらが起こる特定の文脈に大きく依存する。 様々なデファシブルな文脈化の陰(つまり、行動の道徳的受容性を強化するまたは弱める付加的な情報)を理解することは、現実のシナリオにおける人間の道徳的判断の微妙さと複雑さを正確に表すために重要である。 我々は,行動が多かれ少なかれ道徳的に容認されるような基礎的な文脈を提供することと,その推論を正当化する常識的理性を導入する。 高品質なタスクデータを抽出するために,GPT-3から少量の未構造化シード知識から始まる反復的自己蒸留アプローチを,(1)学生モデルからの自己蒸留,(2)人間による判断(妥当性向上)とNLI(多様性向上)によって訓練された批評家モデルによるターゲットフィルタリング,(3)自己シミュレーション学習(データ品質の増幅)とを交互に行う。 このプロセスは、妥当性、多様性、デファシビリティを改善したデファシブルコンテキストを生成する学生モデルを生成する。 このモデルから、人間のアノテータの85.9%から99.8%で評価された115Kデファシブルな道徳行動の文脈化と合理性の1.2M項目からなる高品質なデータセット \delta-Rules-of-Thumb を蒸留する。 \delta-RoT を用いて、すべての中間学生モデルに顕著なマージンで勝利する最終学生モデルを得る。

関連論文リスト

• MoralBERT: A Fine-Tuned Language Model for Capturing Moral Values in Social Discussions [4.747987317906765]
  道徳的価値は、情報を評価し、意思決定し、重要な社会問題に関する判断を形成する上で、基本的な役割を担います。 自然言語処理(NLP)の最近の進歩は、人文コンテンツにおいて道徳的価値を測ることができることを示している。 本稿では、社会談話における道徳的感情を捉えるために微調整された言語表現モデルであるMoralBERTを紹介する。
  論文  参考訳（メタデータ） (2024-03-12T14:12:59Z)
• Rethinking Machine Ethics -- Can LLMs Perform Moral Reasoning through the Lens of Moral Theories? [78.3738172874685]
  倫理的AIシステムの開発には倫理的判断が不可欠である。 一般的なアプローチは主にボトムアップ方式で実装されており、モラルに関するクラウドソースの意見に基づいて、大量の注釈付きデータを使用してモデルをトレーニングする。 本研究は、学際的な研究から確立された道徳理論を用いて道徳的推論を行うために、言語モデル(LM)を操る柔軟なトップダウンフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-29T15:57:32Z)
• When to Make Exceptions: Exploring Language Models as Accounts of Human Moral Judgment [96.77970239683475]
  AIシステムは人間の道徳的判断や決定を理解し、解釈し、予測しなければなりません。 AIの安全性に対する中心的な課題は、人間の道徳心の柔軟性を捉えることだ。 ルール破りの質問応答からなる新しい課題セットを提案する。
  論文  参考訳（メタデータ） (2022-10-04T09:04:27Z)
• Does Moral Code Have a Moral Code? Probing Delphi's Moral Philosophy [5.760388205237227]
  本稿では,Allen AI Delphiモデルについて,標準化されたモラル性アンケートを用いて検討する。 いくつかの矛盾にもかかわらず、デルフィは注釈プロセスに関わる人口集団に関する道徳的原則を反映する傾向にある。
  論文  参考訳（メタデータ） (2022-05-25T13:37:56Z)
• A Corpus for Understanding and Generating Moral Stories [84.62366141696901]
  機械のこれらの能力を評価するために,2つの理解タスクと2つの世代タスクを提案する。 我々は、中国語と英語で書かれた道徳的物語の新しいデータセットであるSTORALを提示する。
  論文  参考訳（メタデータ） (2022-04-20T13:12:36Z)
• The Moral Integrity Corpus: A Benchmark for Ethical Dialogue Systems [36.90292508433193]
  道徳的判断は普遍的ではないので、道徳的偏見を緩和することは困難である。 Moral Integrity Corpusは38kの即応対の道徳的仮定を捉えている。 我々は、現在のニューラルネットワークモデルが、これまで見つからなかったインタラクションを合理的に記述する新しいRoTを自動生成できることを示します。
  論文  参考訳（メタデータ） (2022-04-06T18:10:53Z)
• Delphi: Towards Machine Ethics and Norms [38.8316885346292]
  機械倫理と規範に対する4つの根本的な課題を特定します。 私たちのプロトタイプモデルであるDelphiは、言語ベースのコモンセンス道徳的推論の強い可能性を実証しています。 我々は,機械用にカスタマイズされた道徳教科書であるCommonsense Norm Bankを提示する。
  論文  参考訳（メタデータ） (2021-10-14T17:38:12Z)
• Scruples: A Corpus of Community Ethical Judgments on 32,000 Real-Life Anecdotes [72.64975113835018]
  記述倫理に動機づけられた我々は、機械倫理に対する新しいデータ駆動アプローチを調査する。 Scruplesは、625,000の倫理的判断を持つ最初の大規模データセットで、32,000の実生活の逸話について紹介する。 我々のデータセットは最先端のニューラルネットワークモデルに対して大きな課題を示し、改善の余地を残しています。
  論文  参考訳（メタデータ） (2020-08-20T17:34:15Z)
• Aligning AI With Shared Human Values [85.2824609130584]
  私たちは、正義、幸福、義務、美徳、常識道徳の概念にまたがる新しいベンチマークであるETHICSデータセットを紹介します。 現在の言語モデルは、基本的な人間の倫理的判断を予測できる有望だが不完全な能力を持っている。 私たちの研究は、今日の機械倫理の進歩を示しており、人間の価値観に合わせたAIへの足掛かりを提供する。
  論文  参考訳（メタデータ） (2020-08-05T17:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。