論文の概要: Automate or Assist? The Role of Computational Models in Identifying Gendered Discourse in US Capital Trial Transcripts
- arxiv url: http://arxiv.org/abs/2407.12500v2
- Date: Sat, 27 Jul 2024 00:52:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-30 20:41:58.204911
- Title: Automate or Assist? The Role of Computational Models in Identifying Gendered Discourse in US Capital Trial Transcripts
- Title（参考訳）: オートメイトかアシストか?米国資本裁判における性談話の特定における計算モデルの役割
- Authors: Andrea W Wen-Yi, Kathryn Adamson, Nathalie Greenfield, Rachel Goldberg, Sandra Babcock, David Mimno, Allison Koenecke,
- Abstract要約: 本稿では,女性被告に対する米国資本裁判において,ジェンダーバイアス言語を同定する,複雑な問題に計算モデルを加えるケーススタディを提案する。
多くの典型的なNLPタスクとは異なり、数ヶ月の資本裁判で性別バイアスに注釈を付けることは複雑であり、多くの個人による判断が要求される。
この経験は、専門家を複雑なアノテーションの計算モデルに置き換えることが非現実的で望ましくないことを示唆している。
- 参考スコア（独自算出の注目度）: 2.790550055247773
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The language used by US courtroom actors in criminal trials has long been studied for biases. However, systematic studies for bias in high-stakes court trials have been difficult, due to the nuanced nature of bias and the legal expertise required. Large language models offer the possibility to automate annotation. But validating the computational approach requires both an understanding of how automated methods fit in existing annotation workflows and what they really offer. We present a case study of adding a computational model to a complex and high-stakes problem: identifying gender-biased language in US capital trials for women defendants. Our team of experienced death-penalty lawyers and NLP technologists pursue a three-phase study: first annotating manually, then training and evaluating computational models, and finally comparing expert annotations to model predictions. Unlike many typical NLP tasks, annotating for gender bias in months-long capital trials is complicated, with many individual judgment calls. Contrary to standard arguments for automation that are based on efficiency and scalability, legal experts find the computational models most useful in providing opportunities to reflect on their own bias in annotation and to build consensus on annotation rules. This experience suggests that seeking to replace experts with computational models for complex annotation is both unrealistic and undesirable. Rather, computational models offer valuable opportunities to assist the legal experts in annotation-based studies.
- Abstract（参考訳）: 米国の法廷弁護士が刑事裁判で用いた言語は、長い間偏見について研究されてきた。
しかし、偏見の微妙な性質と法的な専門性のために、高等法廷裁判における偏見に関する体系的な研究は困難であった。
大規模な言語モデルはアノテーションを自動化できる。
しかし、計算アプローチを検証するには、自動化されたメソッドが既存のアノテーションワークフローにどのように適合するかと、それらが本当に提供しているものの両方を理解する必要があります。
本稿では, 女性被告に対する米国資本裁判において, ジェンダーバイアス言語を同定する, 複雑かつ高精度な問題に, 計算モデルを加えるケーススタディを提案する。
まず、手動で注釈を付け、次に計算モデルのトレーニングと評価を行い、最後に専門家のアノテーションとモデル予測を比較しました。
多くの典型的なNLPタスクとは異なり、数ヶ月の資本裁判で性別バイアスに注釈を付けることは複雑であり、多くの個人による判断が要求される。
効率性とスケーラビリティに基づく自動化の標準的な議論とは対照的に、法の専門家は、アノテーションにおける自身のバイアスを反映し、アノテーションルールに基づいたコンセンサスを構築する機会を提供するのに、計算モデルが最も有用であると考えている。
この経験は、専門家を複雑なアノテーションの計算モデルに置き換えることが非現実的で望ましくないことを示唆している。
むしろ、計算モデルは、アノテーションに基づく研究で法の専門家を支援する貴重な機会を提供する。
関連論文リスト
- Whither Bias Goes, I Will Go: An Integrative, Systematic Review of Algorithmic Bias Mitigation [1.0470286407954037]
機械学習(ML)モデルは不平等をバイアスし、持続し、悪化させる可能性があるという懸念が高まっている。
本稿では,MLアセスメントを開発し,バイアス軽減手法を適用した4段階モデルを提案する。
論文 参考訳（メタデータ） (2024-10-21T02:32:14Z) - Revisiting the Superficial Alignment Hypothesis [0.9831489366502302]
表面アライメント仮説(英語版)は、言語モデルの能力と知識のほとんど全てが事前訓練中に学習されていることを示唆している。
我々はこれらの主張を再検討し、微調整例の増加とともにポストトレーニングのスケーリング行動を研究する。
論文 参考訳（メタデータ） (2024-09-27T22:14:10Z) - The Art of Saying No: Contextual Noncompliance in Language Models [123.383993700586]
本稿では,ユーザの要求に従わないモデルについて,コンテキスト非準拠の包括的分類を導入する。
我々の分類は、不完全、不完全、不完全、不決定、人為的要求を含む幅広いカテゴリーにまたがる。
言語モデルの非準拠性をテストするために,1000個の非準拠プロンプトの新たな評価スイートを開発するために,この分類法を用いる。
論文 参考訳（メタデータ） (2024-07-02T07:12:51Z) - Auditing the Use of Language Models to Guide Hiring Decisions [2.949890760187898]
アルゴリズムバイアスから保護するための規制努力は、大規模言語モデルで急速に進歩した緊急性を高めている。
現在の規制と科学文献は、これらの評価の実施方法に関するガイダンスをほとんど提供していない。
本稿では,監査アルゴリズムの1つのアプローチとして,対応実験を提案する。
論文 参考訳（メタデータ） (2024-04-03T22:01:26Z) - Self-Debiasing Large Language Models: Zero-Shot Recognition and
Reduction of Stereotypes [73.12947922129261]
ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。
自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。
この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
論文 参考訳（メタデータ） (2024-02-03T01:40:11Z) - Modeling Legal Reasoning: LM Annotation at the Edge of Human Agreement [3.537369004801589]
我々は法学哲学に基づく法学推論の分類について研究する。
我々は、ドメインの専門家チームによって注釈付けされた、アメリカ合衆国最高裁判所の歴史的意見の新しいデータセットを使用します。
生成モデルは、人間のアノテーションに提示される命令と同等の命令が与えられた場合、性能が良くないことがわかった。
論文 参考訳（メタデータ） (2023-10-27T19:27:59Z) - Evaluating Language Models for Mathematics through Interactions [116.67206980096513]
大型言語モデル(LLM)と対話し,評価するためのプロトタイププラットフォームであるCheckMateを紹介した。
我々はCheckMateと共同で3つの言語モデル(InstructGPT, ChatGPT, GPT-4)を、学部レベルの数学の証明支援として評価する研究を行った。
我々は、人間の行動の分類を導き、概して肯定的な相関にもかかわらず、正しさと知覚的有用性の間に顕著な相違点があることを明らかにする。
論文 参考訳（メタデータ） (2023-06-02T17:12:25Z) - Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。
偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。
人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
論文 参考訳（メタデータ） (2023-05-24T04:27:40Z) - Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。
ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。
そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
論文 参考訳（メタデータ） (2023-03-23T12:28:25Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - On the Basis of Sex: A Review of Gender Bias in Machine Learning
Applications [0.0]
まず、機械学習のジェンダーバイアスの実践例をいくつか紹介する。
次に、機械学習モデルをより公平にする方法に対処するために、最も広く使われているフェアネスの形式化を詳述する。
論文 参考訳（メタデータ） (2021-04-06T14:11:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。