論文の概要: Some Issues in Predictive Ethics Modeling: An Annotated Contrast Set of "Moral Stories"

• arxiv url: http://arxiv.org/abs/2407.05244v1
• Date: Sun, 7 Jul 2024 03:22:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 20:37:03.753269
• Title: Some Issues in Predictive Ethics Modeling: An Annotated Contrast Set of "Moral Stories"
• Title（参考訳）: 予測倫理モデリングの諸問題:「モラルストーリー」の注釈付きコントラストセット
• Authors: Ben Fitzgerald,
• Abstract要約: 本稿では、道徳的ジレンマをテキストベース入力に変換する際の問題を特定することによって、倫理モデリングの総合的指標としての正確性に挑戦する。 我々は,データ誤表現の特定形態が分類器の精度をどの程度損なうかの具体的な推定値を得る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Models like Delphi have been able to label ethical dilemmas as moral or immoral with astonishing accuracy. This paper challenges accuracy as a holistic metric for ethics modeling by identifying issues with translating moral dilemmas into text-based input. It demonstrates these issues with contrast sets that substantially reduce the performance of classifiers trained on the dataset Moral Stories. Ultimately, we obtain concrete estimates for how much specific forms of data misrepresentation harm classifier accuracy. Specifically, label-changing tweaks to the descriptive content of a situation (as small as 3-5 words) can reduce classifier accuracy to as low as 51%, almost half the initial accuracy of 99.8%. Associating situations with a misleading social norm lowers accuracy to 98.8%, while adding textual bias (i.e. an implication that a situation already fits a certain label) lowers accuracy to 77%. These results suggest not only that many ethics models have substantially overfit, but that several precautions are required to ensure that input accurately captures a moral dilemma. This paper recommends re-examining the structure of a social norm, training models to ask for context with defeasible reasoning, and filtering input for textual bias. Doing so not only gives us the first concrete estimates of the average cost to accuracy of misrepresenting ethics data, but gives researchers practical tips for considering these estimates in research.
• Abstract（参考訳）: デルフィのようなモデルは、倫理的ジレンマを驚くほどの正確さで道徳的または不道徳であるとラベル付けすることができた。 本稿では、道徳的ジレンマをテキストベース入力に変換する際の問題を特定することによって、倫理モデリングの総合的指標としての正確性に挑戦する。 これは、データセットMoral Storiesでトレーニングされた分類器のパフォーマンスを大幅に低下させるコントラストセットでこれらの問題を実証する。 最終的に、データ表現の特定の形態が分類器の精度を損なうかの具体的な推定値を得る。 具体的には、ラベル変更による状況の記述内容の変更(3～5ワードまで)は、分類器の精度を51%、初期精度は99.8%に低下させる。 誤解を招く社会的規範による状況の関連付けは、精度を98.8%まで下げる一方で、テキストバイアス(つまり、ある状況がすでにあるラベルに適合しているという意味)を加えることで、精度を77%まで下げる。 これらの結果は、多くの倫理モデルが実質的に過度に適合しているだけでなく、入力が道徳的ジレンマを正確に捉えるためにいくつかの予防措置が必要であることを示唆している。 本稿では,社会的規範の構造の再検討,非現実的推論による文脈要求モデルの構築,テキストバイアスに対する入力のフィルタリングを推奨する。 そうすることで、倫理データの誤表現の正確さに対する平均コストに関する最初の具体的な見積もりが得られるだけでなく、研究者はこれらの見積もりを研究で考えるための実用的なヒントを与えてくれる。

関連論文リスト

• Beyond Labels: Aligning Large Language Models with Human-like Reasoning [6.76844617716829]
  我々は,言語モデルの整合化を支援するために,DFAR(Aligning Reasons)のための倫理データセットをキュレートした。 データセットには倫理的非倫理的なラベルとそれに対応する理由が記載されている。 本研究では,倫理ラベルとそれに対応する理由を利用した,独特で斬新な微調整アプローチを採用した。
  論文  参考訳（メタデータ） (2024-08-20T17:44:51Z)
• Employing Label Models on ChatGPT Answers Improves Legal Text Entailment Performance [5.484345596034158]
  ChatGPTは多くの自然言語処理タスクにおいて堅牢である。 ラベルモデルを用いて、ChatGPTによる仮回答を統合ラベルに統合する。 実験の結果、このアプローチは76.15%の精度を達成でき、従来の最先端ベンチマークに比べて8.26%の大幅な改善が達成された。
  論文  参考訳（メタデータ） (2024-01-31T15:04:01Z)
• Pre-training and Diagnosing Knowledge Base Completion Models [58.07183284468881]
  我々は,事実の集合から他の集合への知識伝達へのアプローチを,エンティティや関係マッチングを必要とせずに導入し,分析する。 主な貢献は、構造化されていないテキストから収集された事実の大規模事前学習を利用する方法である。 得られた事前学習モデルをよりよく理解するために,オープン知識ベースコンプリートのための事前学習モデルの解析のための新しいデータセットを導入する。
  論文  参考訳（メタデータ） (2024-01-27T15:20:43Z)
• What Makes it Ok to Set a Fire? Iterative Self-distillation of Contexts and Rationales for Disambiguating Defeasible Social and Moral Situations [48.686872351114964]
  道徳的または倫理的な判断は、それらが起こる特定の文脈に大きく依存する。 我々は,行動が多かれ少なかれ道徳的に容認されるような,根底的な文脈を提供するという,デファシブルな道徳的推論を導入する。 文脈化と論理の1.2M項目からなる高品質なデータセットを115Kデファシブルな道徳行動のために蒸留する。
  論文  参考訳（メタデータ） (2023-10-24T00:51:29Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)
• BBQ: A Hand-Built Bias Benchmark for Question Answering [25.108222728383236]
  NLPモデルは、世界に存在する社会的バイアスを学習することは十分に文書化されているが、これらのバイアスが、質問応答(QA)のような適用されたタスクに対して、実際のモデルアウトプットにどのように現れるかを示す研究はほとんど行われていない。 筆者らによって構築された質問セットからなるデータセットであるBias Benchmark for QA (BBQ)を導入し、米国英語の文脈に関連する9つの異なる社会的次元に沿って、保護されたクラスに属する人々に対するテキストテストされた社会的偏見を強調した。 文脈が曖昧であるとき、モデルはステレオタイプに強く依存していることが分かり、つまり、モデルの出力は、この設定において有害なバイアスを一貫して再現する。
  論文  参考訳（メタデータ） (2021-10-15T16:43:46Z)
• On the Importance of Adaptive Data Collection for Extremely Imbalanced Pairwise Tasks [94.23884467360521]
  我々は、QQPとWikiQAでトレーニングされた最先端技術モデルが、現実的に不均衡なテストデータで評価された場合、それぞれ平均精度が2.4%しか持たないことを示した。 より有益なネガティブな例でバランスのとれたトレーニングデータを作成することで、アクティブラーニングは平均精度をQQPで32.5%、WikiQAで20.1%に大幅に改善する。
  論文  参考訳（メタデータ） (2020-10-10T21:56:27Z)
• Scruples: A Corpus of Community Ethical Judgments on 32,000 Real-Life Anecdotes [72.64975113835018]
  記述倫理に動機づけられた我々は、機械倫理に対する新しいデータ駆動アプローチを調査する。 Scruplesは、625,000の倫理的判断を持つ最初の大規模データセットで、32,000の実生活の逸話について紹介する。 我々のデータセットは最先端のニューラルネットワークモデルに対して大きな課題を示し、改善の余地を残しています。
  論文  参考訳（メタデータ） (2020-08-20T17:34:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。