論文の概要: Questioning Biases in Case Judgment Summaries: Legal Datasets or Large Language Models?

• arxiv url: http://arxiv.org/abs/2312.00554v1
• Date: Fri, 1 Dec 2023 13:00:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 14:44:16.869413
• Title: Questioning Biases in Case Judgment Summaries: Legal Datasets or Large Language Models?
• Title（参考訳）: 事例判断におけるバイアス:法的データセットか大規模言語モデルか?
• Authors: Aniket Deroy, Subhankar Maity
• Abstract要約: 本研究は,法的なデータセットと大規模言語モデルによる判断要約におけるバイアスについて検討する。 本研究は, これらの要約における偏見の正確性, 公平性, 含意を問うことによって, 法的文脈における技術の役割のより深い理解に寄与する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The evolution of legal datasets and the advent of large language models (LLMs) have significantly transformed the legal field, particularly in the generation of case judgment summaries. However, a critical concern arises regarding the potential biases embedded within these summaries. This study scrutinizes the biases present in case judgment summaries produced by legal datasets and large language models. The research aims to analyze the impact of biases on legal decision making. By interrogating the accuracy, fairness, and implications of biases in these summaries, this study contributes to a better understanding of the role of technology in legal contexts and the implications for justice systems worldwide. In this study, we investigate biases wrt Gender-related keywords, Race-related keywords, Keywords related to crime against women, Country names and religious keywords. The study shows interesting evidences of biases in the outputs generated by the large language models and pre-trained abstractive summarization models. The reasoning behind these biases needs further studies.
• Abstract（参考訳）: 法的データセットの進化と大規模言語モデル(LLM)の出現は、特に判例判断の要約の生成において、法分野を大きく変えた。 しかし、これらの要約に埋め込まれた潜在的なバイアスについて重要な懸念が生じる。 本研究は,法的なデータセットと大規模言語モデルによる判断要約におけるバイアスについて検討する。 この研究は、法的意思決定に対するバイアスの影響を分析することを目的としている。 本研究は,これらの要約における偏見の正確性,公平性,含意を問うことによって,法的文脈における技術の役割と,世界中の司法システムへの影響をより深く理解することに貢献した。 本研究では,ジェンダー関連キーワード,レース関連キーワード,女性に対する犯罪関連キーワード,国名,宗教的キーワードについて検討した。 この研究は、大きな言語モデルと事前学習された抽象的要約モデルによって生成された出力のバイアスの興味深い証拠を示す。 これらのバイアスの背後にある理由は、さらなる研究が必要である。

関連論文リスト

• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• High Risk of Political Bias in Black Box Emotion Inference Models [0.0]
  本稿では、社会科学研究における感情分析(SA)に使用される機械学習モデルにおける政治的バイアスの存在について検討する。 ポーランドの感情分析モデルを用いた偏見調査を行った。 以上の結果から, 人間のラテンダーによるアノテーションは, モデルの予測に政治的偏見を伝播させることが示唆された。
  論文  参考訳（メタデータ） (2024-07-18T20:31:07Z)
• Topic Modelling Case Law Using a Large Language Model and a New Taxonomy for UK Law: AI Insights into Summary Judgment [0.0]
  本稿では,英国における要約判断事例をモデル化するための新しい分類法の開発と適用について述べる。 要約判断事例のキュレートされたデータセットを用いて,Large Language Model Claude 3 Opusを用いて,機能的トピックとトレンドを探索する。 クロード3オプスはこのトピックを87.10%の精度で正しく分類した。
  論文  参考訳（メタデータ） (2024-05-21T16:30:25Z)
• DELTA: Pre-train a Discriminative Encoder for Legal Case Retrieval via Structural Word Alignment [55.91429725404988]
  判例検索のための識別モデルであるDELTAを紹介する。 我々は浅層デコーダを利用して情報ボトルネックを作り、表現能力の向上を目指しています。 本手法は, 判例検索において, 既存の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2024-03-27T10:40:14Z)
• What's in a Name? Auditing Large Language Models for Race and Gender Bias [49.28899492966893]
  我々は、GPT-4を含む最先端の大規模言語モデルのバイアスを調査するために監査設計を採用する。 このアドバイスは、一般的に人種的マイノリティや女性に結びついている名前に系統的に不利であることがわかった。
  論文  参考訳（メタデータ） (2024-02-21T18:25:25Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Bias in News Summarization: Measures, Pitfalls and Corpora [4.917075909999548]
  本稿では,要約モデルにおけるバイアス付き行動の定義と実用運用について紹介する。 目的合成モデルと汎用チャットモデルの両方で生成された英語要約における性別バイアスを測定する。 単一文書要約におけるコンテンツ選択は、性バイアスの影響をほとんど受けていないが、幻覚は偏見の証拠である。
  論文  参考訳（メタデータ） (2023-09-14T22:20:27Z)
• Unveiling Gender Bias in Terms of Profession Across LLMs: Analyzing and Addressing Sociological Implications [0.0]
  この研究は、AI言語モデルにおけるジェンダーバイアスに関する既存の研究を調査し、現在の知識のギャップを特定する。 この結果は,大規模言語モデルのアウトプットに存在する,ジェンダー付き単語関連,言語使用,偏見付き物語に光を当てた。 本稿では,アルゴリズムアプローチやデータ拡張手法など,LSMにおける性別バイアスを低減するための戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-18T11:38:45Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)
• Inflating Topic Relevance with Ideology: A Case Study of Political Ideology Bias in Social Topic Detection Models [16.279854003220418]
  トレーニングデータにおける政治的イデオロギーバイアスの影響について検討する。 私たちの研究は、人間の選択した入力からバイアスを伝達する、大規模で複雑なモデルの受容性を強調します。 偏見を緩和する手段として,政治的イデオロギーに不変なテキスト表現の学習を提案する。
  論文  参考訳（メタデータ） (2020-11-29T05:54:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。