論文の概要: Automate or Assist? The Role of Computational Models in Identifying Gendered Discourse in US Capital Trial Transcripts
- arxiv url: http://arxiv.org/abs/2407.12500v2
- Date: Sat, 27 Jul 2024 00:52:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-30 20:41:58.204911
- Title: Automate or Assist? The Role of Computational Models in Identifying Gendered Discourse in US Capital Trial Transcripts
- Title(参考訳): オートメイトかアシストか?米国資本裁判における性談話の特定における計算モデルの役割
- Authors: Andrea W Wen-Yi, Kathryn Adamson, Nathalie Greenfield, Rachel Goldberg, Sandra Babcock, David Mimno, Allison Koenecke,
- Abstract要約: 本稿では,女性被告に対する米国資本裁判において,ジェンダーバイアス言語を同定する,複雑な問題に計算モデルを加えるケーススタディを提案する。
多くの典型的なNLPタスクとは異なり、数ヶ月の資本裁判で性別バイアスに注釈を付けることは複雑であり、多くの個人による判断が要求される。
この経験は、専門家を複雑なアノテーションの計算モデルに置き換えることが非現実的で望ましくないことを示唆している。
- 参考スコア(独自算出の注目度): 2.790550055247773
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The language used by US courtroom actors in criminal trials has long been studied for biases. However, systematic studies for bias in high-stakes court trials have been difficult, due to the nuanced nature of bias and the legal expertise required. Large language models offer the possibility to automate annotation. But validating the computational approach requires both an understanding of how automated methods fit in existing annotation workflows and what they really offer. We present a case study of adding a computational model to a complex and high-stakes problem: identifying gender-biased language in US capital trials for women defendants. Our team of experienced death-penalty lawyers and NLP technologists pursue a three-phase study: first annotating manually, then training and evaluating computational models, and finally comparing expert annotations to model predictions. Unlike many typical NLP tasks, annotating for gender bias in months-long capital trials is complicated, with many individual judgment calls. Contrary to standard arguments for automation that are based on efficiency and scalability, legal experts find the computational models most useful in providing opportunities to reflect on their own bias in annotation and to build consensus on annotation rules. This experience suggests that seeking to replace experts with computational models for complex annotation is both unrealistic and undesirable. Rather, computational models offer valuable opportunities to assist the legal experts in annotation-based studies.
- Abstract(参考訳): 米国の法廷弁護士が刑事裁判で用いた言語は、長い間偏見について研究されてきた。
しかし、偏見の微妙な性質と法的な専門性のために、高等法廷裁判における偏見に関する体系的な研究は困難であった。
大規模な言語モデルはアノテーションを自動化できる。
しかし、計算アプローチを検証するには、自動化されたメソッドが既存のアノテーションワークフローにどのように適合するかと、それらが本当に提供しているものの両方を理解する必要があります。
本稿では, 女性被告に対する米国資本裁判において, ジェンダーバイアス言語を同定する, 複雑かつ高精度な問題に, 計算モデルを加えるケーススタディを提案する。
まず、手動で注釈を付け、次に計算モデルのトレーニングと評価を行い、最後に専門家のアノテーションとモデル予測を比較しました。
多くの典型的なNLPタスクとは異なり、数ヶ月の資本裁判で性別バイアスに注釈を付けることは複雑であり、多くの個人による判断が要求される。
効率性とスケーラビリティに基づく自動化の標準的な議論とは対照的に、法の専門家は、アノテーションにおける自身のバイアスを反映し、アノテーションルールに基づいたコンセンサスを構築する機会を提供するのに、計算モデルが最も有用であると考えている。
この経験は、専門家を複雑なアノテーションの計算モデルに置き換えることが非現実的で望ましくないことを示唆している。
むしろ、計算モデルは、アノテーションに基づく研究で法の専門家を支援する貴重な機会を提供する。
関連論文リスト
- Auditing the Use of Language Models to Guide Hiring Decisions [2.949890760187898]
アルゴリズムバイアスから保護するための規制努力は、大規模言語モデルで急速に進歩した緊急性を高めている。
現在の規制と科学文献は、これらの評価の実施方法に関するガイダンスをほとんど提供していない。
本稿では,監査アルゴリズムの1つのアプローチとして,対応実験を提案する。
論文 参考訳(メタデータ) (2024-04-03T22:01:26Z) - Self-Debiasing Large Language Models: Zero-Shot Recognition and
Reduction of Stereotypes [73.12947922129261]
ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。
自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。
この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
論文 参考訳(メタデータ) (2024-02-03T01:40:11Z) - Modeling Legal Reasoning: LM Annotation at the Edge of Human Agreement [3.537369004801589]
我々は法学哲学に基づく法学推論の分類について研究する。
我々は、ドメインの専門家チームによって注釈付けされた、アメリカ合衆国最高裁判所の歴史的意見の新しいデータセットを使用します。
生成モデルは、人間のアノテーションに提示される命令と同等の命令が与えられた場合、性能が良くないことがわかった。
論文 参考訳(メタデータ) (2023-10-27T19:27:59Z) - Fast Model Debias with Machine Unlearning [54.32026474971696]
ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。
既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。
バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
論文 参考訳(メタデータ) (2023-10-19T08:10:57Z) - Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳(メタデータ) (2023-10-09T07:27:15Z) - Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。
偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。
人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
論文 参考訳(メタデータ) (2023-05-24T04:27:40Z) - BAD: BiAs Detection for Large Language Models in the context of
candidate screening [6.47452771256903]
本研究の目的は、ChatGPTや他のOpenAI LLMにおける社会的偏見の事例を候補検定の文脈で定量化することである。
これらのモデルの使用が、採用プロセスにおける既存のバイアスや不平等を持続させる方法を示します。
論文 参考訳(メタデータ) (2023-05-17T17:47:31Z) - Testing Occupational Gender Bias in Language Models: Towards Robust Measurement and Zero-Shot Debiasing [98.07536837448293]
大規模言語モデル(LLM)は、様々な人口層に対して有害で人間らしいバイアスを示すことが示されている。
生成言語モデルにおけるバイアスを頑健に測定するためのdesiderataのリストを紹介する。
次に、このベンチマークを使用して、Llama、Mistral、およびそれらの命令チューニングバージョンを含む、最先端のオープンソースLLMをテストします。
論文 参考訳(メタデータ) (2022-12-20T22:41:24Z) - Fair Representation Learning for Heterogeneous Information Networks [35.80367469624887]
公平なHIN表現学習のための包括的非バイアス化手法を提案する。
これらのアルゴリズムの挙動,特にフェアネスと予測精度のトレードオフをバランスさせる能力について検討した。
キャリアカウンセリングの自動化アプリケーションにおいて,提案手法の性能を評価する。
論文 参考訳(メタデータ) (2021-04-18T08:28:18Z) - Individual Explanations in Machine Learning Models: A Survey for
Practitioners [69.02688684221265]
社会的関連性の高い領域の決定に影響を与える洗練された統計モデルの使用が増加しています。
多くの政府、機関、企業は、アウトプットが人間の解釈可能な方法で説明しにくいため、採用に消極的です。
近年,機械学習モデルに解釈可能な説明を提供する方法として,学術文献が多数提案されている。
論文 参考訳(メタデータ) (2021-04-09T01:46:34Z) - Fairness-Aware Online Personalization [16.320648868892526]
個人格付けを含むオンラインパーソナライズ設定における公平性について検討する。
最初に、オンラインパーソナライゼーションが、ユーザが応答に偏っている場合、モデルが不公平に行動することを学ぶことを実証する。
次に、公正な制約の下でパーソナライズされたモデルを学習する問題を定式化し、機械学習におけるバイアスを軽減するための正規化に基づくアプローチを提案する。
論文 参考訳(メタデータ) (2020-07-30T07:16:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。