論文の概要: Questioning Biases in Case Judgment Summaries: Legal Datasets or Large
Language Models?
- arxiv url: http://arxiv.org/abs/2312.00554v1
- Date: Fri, 1 Dec 2023 13:00:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 14:44:16.869413
- Title: Questioning Biases in Case Judgment Summaries: Legal Datasets or Large
Language Models?
- Title(参考訳): 事例判断におけるバイアス:法的データセットか大規模言語モデルか?
- Authors: Aniket Deroy, Subhankar Maity
- Abstract要約: 本研究は,法的なデータセットと大規模言語モデルによる判断要約におけるバイアスについて検討する。
本研究は, これらの要約における偏見の正確性, 公平性, 含意を問うことによって, 法的文脈における技術の役割のより深い理解に寄与する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The evolution of legal datasets and the advent of large language models
(LLMs) have significantly transformed the legal field, particularly in the
generation of case judgment summaries. However, a critical concern arises
regarding the potential biases embedded within these summaries. This study
scrutinizes the biases present in case judgment summaries produced by legal
datasets and large language models. The research aims to analyze the impact of
biases on legal decision making. By interrogating the accuracy, fairness, and
implications of biases in these summaries, this study contributes to a better
understanding of the role of technology in legal contexts and the implications
for justice systems worldwide. In this study, we investigate biases wrt
Gender-related keywords, Race-related keywords, Keywords related to crime
against women, Country names and religious keywords. The study shows
interesting evidences of biases in the outputs generated by the large language
models and pre-trained abstractive summarization models. The reasoning behind
these biases needs further studies.
- Abstract(参考訳): 法的データセットの進化と大規模言語モデル(LLM)の出現は、特に判例判断の要約の生成において、法分野を大きく変えた。
しかし、これらの要約に埋め込まれた潜在的なバイアスについて重要な懸念が生じる。
本研究は,法的なデータセットと大規模言語モデルによる判断要約におけるバイアスについて検討する。
この研究は、法的意思決定に対するバイアスの影響を分析することを目的としている。
本研究は,これらの要約における偏見の正確性,公平性,含意を問うことによって,法的文脈における技術の役割と,世界中の司法システムへの影響をより深く理解することに貢献した。
本研究では,ジェンダー関連キーワード,レース関連キーワード,女性に対する犯罪関連キーワード,国名,宗教的キーワードについて検討した。
この研究は、大きな言語モデルと事前学習された抽象的要約モデルによって生成された出力のバイアスの興味深い証拠を示す。
これらのバイアスの背後にある理由は、さらなる研究が必要である。
関連論文リスト
- LLM vs. Lawyers: Identifying a Subset of Summary Judgments in a Large UK
Case Law Dataset [0.0]
本研究は, 英国裁判所判決の大規模コーパスから, 判例, 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、
我々は、ケンブリッジ法コーパス356,011英国の裁判所決定を用いて、大きな言語モデルは、キーワードに対して重み付けされたF1スコアが0.94対0.78であると判断する。
我々は,3,102件の要約判断事例を同定し抽出し,その分布を時間的範囲の様々な英国裁判所にマップできるようにする。
論文 参考訳(メタデータ) (2024-03-04T10:13:30Z) - What's in a Name? Auditing Large Language Models for Race and Gender
Bias [49.28899492966893]
我々は、GPT-4を含む最先端の大規模言語モデルのバイアスを調査するために監査設計を採用する。
このアドバイスは、一般的に人種的マイノリティや女性に結びついている名前に系統的に不利であることがわかった。
論文 参考訳(メタデータ) (2024-02-21T18:25:25Z) - Bias in Opinion Summarisation from Pre-training to Adaptation: A Case
Study in Political Bias [4.964212137957899]
オピニオン要約は、製品レビュー、ディスカッションフォーラム、ソーシャルメディアのテキストなどの文書で提示される健全な情報と意見を要約することを目的としている。
偏見のある要約を作ることは 世論を揺さぶるリスクがあります
論文 参考訳(メタデータ) (2024-02-01T04:15:59Z) - Social Bias Probing: Fairness Benchmarking for Language Models [48.5644008956526]
本稿では,社会的バイアスに対する言語モデル探索のための独自のフレームワークを提案する。
我々は,言語モデルの一般関連を分析するための探索データセットを収集し,社会的カテゴリ,アイデンティティ,ステレオタイプなどの軸に沿って収集する。
論文 参考訳(メタデータ) (2023-11-15T16:35:59Z) - Navigating the Ocean of Biases: Political Bias Attribution in Language
Models via Causal Structures [58.059631072902356]
我々は、LLMの価値観を批判したり、検証したりせず、どのようにして「良い議論」を解釈し、偏見づけるかを見極めることを目的としている。
本研究では,活動依存ネットワーク(ADN)を用いてLCMの暗黙的基準を抽出する。
人-AIアライメントとバイアス緩和について,本研究の結果について考察した。
論文 参考訳(メタデータ) (2023-11-15T00:02:25Z) - Gender Bias in News Summarization: Measures, Pitfalls and Corpora [5.8088738147746914]
本稿では,要約モデルにおけるバイアス付き行動の定義と実用運用について紹介する。
本稿では,階層属性を慎重に制御した入力文書を生成する手法を提案する。
目的合成モデルと汎用チャットモデルの両方で生成された英語要約における性別バイアスを測定する。
論文 参考訳(メタデータ) (2023-09-14T22:20:27Z) - Unveiling Gender Bias in Terms of Profession Across LLMs: Analyzing and
Addressing Sociological Implications [0.0]
この研究は、AI言語モデルにおけるジェンダーバイアスに関する既存の研究を調査し、現在の知識のギャップを特定する。
この結果は,大規模言語モデルのアウトプットに存在する,ジェンダー付き単語関連,言語使用,偏見付き物語に光を当てた。
本稿では,アルゴリズムアプローチやデータ拡張手法など,LSMにおける性別バイアスを低減するための戦略を提案する。
論文 参考訳(メタデータ) (2023-07-18T11:38:45Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳(メタデータ) (2022-11-07T16:19:42Z) - SF-PATE: Scalable, Fair, and Private Aggregation of Teacher Ensembles [50.90773979394264]
本稿では、個人の機密情報のプライバシーを保護しつつ、差別的でない予測者の学習を可能にするモデルについて検討する。
提案モデルの主な特徴は、プライバシ保護とフェアモデルを作成するために、オフ・ザ・セルフと非プライベートフェアモデルの採用を可能にすることである。
論文 参考訳(メタデータ) (2022-04-11T14:42:54Z) - Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。
テキスト生成における社会的バイアスを軽減するためのステップを提案する。
我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
論文 参考訳(メタデータ) (2021-06-24T17:52:43Z) - Inflating Topic Relevance with Ideology: A Case Study of Political
Ideology Bias in Social Topic Detection Models [16.279854003220418]
トレーニングデータにおける政治的イデオロギーバイアスの影響について検討する。
私たちの研究は、人間の選択した入力からバイアスを伝達する、大規模で複雑なモデルの受容性を強調します。
偏見を緩和する手段として,政治的イデオロギーに不変なテキスト表現の学習を提案する。
論文 参考訳(メタデータ) (2020-11-29T05:54:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。