論文の概要: Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models

• arxiv url: http://arxiv.org/abs/2401.01301v2
• Date: Fri, 21 Jun 2024 15:32:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 20:08:09.350458
• Title: Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models
• Title（参考訳）: 大規模法的フィクション:大規模言語モデルにおける法的な幻覚のプロファイリング
• Authors: Matthew Dahl, Varun Magesh, Mirac Suzgun, Daniel E. Ho,
• Abstract要約: 大規模言語モデル(LLM)は、法律の実践、教育、研究の強化にますます利用されている。 幻覚に関する最初の体系的な証拠を提示し, LLMの管轄区域, 裁判所, 期間, 事件にまたがる様々な業績を報告した。 また,ChatGPT 4では58%,Llama 2では88%であった。
• 参考スコア（独自算出の注目度）: 8.04008608493335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Do large language models (LLMs) know the law? These models are increasingly being used to augment legal practice, education, and research, yet their revolutionary potential is threatened by the presence of hallucinations -- textual output that is not consistent with legal facts. We present the first systematic evidence of these hallucinations, documenting LLMs' varying performance across jurisdictions, courts, time periods, and cases. Our work makes four key contributions. First, we develop a typology of legal hallucinations, providing a conceptual framework for future research in this area. Second, we find that legal hallucinations are alarmingly prevalent, occurring between 58% of the time with ChatGPT 4 and 88% with Llama 2, when these models are asked specific, verifiable questions about random federal court cases. Third, we illustrate that LLMs often fail to correct a user's incorrect legal assumptions in a contra-factual question setup. Fourth, we provide evidence that LLMs cannot always predict, or do not always know, when they are producing legal hallucinations. Taken together, our findings caution against the rapid and unsupervised integration of popular LLMs into legal tasks. Even experienced lawyers must remain wary of legal hallucinations, and the risks are highest for those who stand to benefit from LLMs the most -- pro se litigants or those without access to traditional legal resources.
• Abstract（参考訳）: 大きな言語モデル(LLM)は法則を知っていますか? これらのモデルは、法律の実践、教育、研究を強化するためにますます使われていますが、その革命的なポテンシャルは、法的な事実と一致しないテキスト出力である幻覚の存在によって脅かされています。 われわれはこれらの幻覚に関する最初の体系的な証拠を提示し, LLMの管轄区域, 裁判所, 期間, 事件にまたがる様々な業績を報告した。 私たちの仕事は4つの重要な貢献をします。 まず, 法的な幻覚の類型論を開発し, この領域における将来の研究のための概念的枠組みを提供する。 第2に,ChatGPT 4 の場合の 58% と Llama 2 の場合の 88% の間において,これらのモデルが無作為な連邦裁判所事件に関して,具体的な,検証可能な疑問を呈している。 第3に,LLMは,非現実的な質問設定において,ユーザの誤った法的仮定の修正に失敗することが多いことを示す。 第4に,LLMが法的な幻覚を発生させるとき,常に予測できないこと,あるいは常に知っているとは限らないことの証拠を提供する。 本研究は,LLMの迅速かつ教師なしな法的統合に注意を払っている。 経験豊富な弁護士でさえ、法的な幻覚に警戒し続けなければならず、LLMの恩恵を受けようとする人々にとって最もリスクが高い。

関連論文リスト

• FaithBench: A Diverse Hallucination Benchmark for Summarization by Modern LLMs [2.871226288151562]
  本稿では,10の現代LSMによる難解な幻覚を含む要約幻覚ベンチマークであるFaithBenchを紹介する。 その結果, GPT-4o と GPT-3.5-Turbo が最も幻覚が少ないことが判明した。 最高の幻覚検出モデルでさえ、FaithBenchには50%近い精度があり、将来の改善の余地がたくさんあることを示している。
  論文  参考訳（メタデータ） (2024-10-17T04:30:46Z)
• MedHalu: Hallucinations in Responses to Healthcare Queries by Large Language Models [26.464489158584463]
  患者からのリアルタイム医療クエリに対するLCM生成反応における幻覚の先駆的な研究を行う。 MedHaluは、健康関連トピックが多種多様である、注意深く構築された医療幻覚データセットである。 MedHaluDetect フレームワークを導入し,幻覚検出における様々な LLM の機能を評価する。
  論文  参考訳（メタデータ） (2024-09-29T00:09:01Z)
• WildHallucinations: Evaluating Long-form Factuality in LLMs with Real-World Entity Queries [64.239202960816]
  事実性を評価するベンチマークであるWildHallucinationsを紹介する。 それは、大きな言語モデルに、ユーザーとチャットボットの会話から抽出されたエンティティに関する情報を生成するよう促すことによって実現している。 我々は15個のLDMから7,919個のエンティティ上で118,785世代を評価した。
  論文  参考訳（メタデータ） (2024-07-24T17:59:05Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• Do LLMs Know about Hallucination? An Empirical Investigation of LLM's Hidden States [19.343629282494774]
  大きな言語モデル(LLM)は、現実ではない答えを補うことができ、幻覚として知られている。 本研究の目的は, LLM が幻覚をどの程度認識しているか, どのように, どの程度の程度で確認することである。
  論文  参考訳（メタデータ） (2024-02-15T06:14:55Z)
• Hallucination Detection and Hallucination Mitigation: An Investigation [13.941799495842776]
  大規模言語モデル(LLM)は、過去2年間に様々なアプリケーションで顕著な成功を収めてきた。 本報告は,幻覚検出と幻覚軽減の両面において,現在の文献を包括的にレビューすることを目的としている。
  論文  参考訳（メタデータ） (2024-01-16T13:36:07Z)
• The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
  幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。 幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。 本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
  論文  参考訳（メタデータ） (2024-01-06T12:40:45Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models [116.01843550398183]
  大規模言語モデル(LLM)は、様々な下流タスクで顕著な機能を示している。 LLMは時折、ユーザ入力から分岐するコンテンツを生成し、以前生成されたコンテキストと矛盾する。
  論文  参考訳（メタデータ） (2023-09-03T16:56:48Z)
• HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models [146.87696738011712]
  大型言語モデル(LLM)は幻覚を生成する傾向があり、すなわち、ソースと矛盾したり、事実の知識によって検証できないコンテンツである。 言語モデル(HaluEval)のための幻覚評価ベンチマーク(Halucination Evaluation benchmark)を導入する。
  論文  参考訳（メタデータ） (2023-05-19T15:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。