論文の概要: Large Legal Fictions: Profiling Legal Hallucinations in Large Language
Models
- arxiv url: http://arxiv.org/abs/2401.01301v1
- Date: Tue, 2 Jan 2024 17:28:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 13:27:17.486915
- Title: Large Legal Fictions: Profiling Legal Hallucinations in Large Language
Models
- Title(参考訳): 大規模法的フィクション:大規模言語モデルにおける法的幻覚のプロファイリング
- Authors: Matthew Dahl, Varun Magesh, Mirac Suzgun, Daniel E. Ho
- Abstract要約: 大規模言語モデル(LLM)は、法律の実践を変革する可能性を持っているが、法的な幻覚の存在によって、このポテンシャルは脅かされている。
そこで本研究では,これらの幻覚の程度を,法的な問合せを用いて検討する。
また,ChatGPT 3.5では69%,Llama 2では88%であった。
- 参考スコア(独自算出の注目度): 8.783216451943524
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have the potential to transform the practice of
law, but this potential is threatened by the presence of legal hallucinations
-- responses from these models that are not consistent with legal facts. We
investigate the extent of these hallucinations using an original suite of legal
queries, comparing LLMs' responses to structured legal metadata and examining
their consistency. Our work makes four key contributions: (1) We develop a
typology of legal hallucinations, providing a conceptual framework for future
research in this area. (2) We find that legal hallucinations are alarmingly
prevalent, occurring between 69% of the time with ChatGPT 3.5 and 88% with
Llama 2, when these models are asked specific, verifiable questions about
random federal court cases. (3) We illustrate that LLMs often fail to correct a
user's incorrect legal assumptions in a contra-factual question setup. (4) We
provide evidence that LLMs cannot always predict, or do not always know, when
they are producing legal hallucinations. Taken together, these findings caution
against the rapid and unsupervised integration of popular LLMs into legal
tasks. Even experienced lawyers must remain wary of legal hallucinations, and
the risks are highest for those who stand to benefit from LLMs the most -- pro
se litigants or those without access to traditional legal resources.
- Abstract(参考訳): 大規模言語モデル(llm)は、法律の実践を変革する可能性を秘めているが、この可能性は法的な幻覚の存在によって脅かされている。
そこで本研究では,これらの幻覚の程度を,従来の法的クエリを用いて検討し,構造化された法的メタデータに対するLSMの応答を比較し,一貫性を検討する。
本研究は,(1)法的な幻覚の類型化を開発し,今後の研究のための概念的枠組みを提供する。
2)chatgpt 3.5では69%、llama 2では88%、無作為な連邦裁判所事件については特定の検証可能な質問がなされている。
3) llmは, 反事実的質問設定において, ユーザの誤った法的仮定を訂正できないことが多い。
(4) 法的な幻覚を発生させるとき, LLM が常に予測できないこと, あるいは常に知ることができないことの証拠を提供する。
これらの知見は,LLMの迅速かつ教師なしな法的統合に注意を払っている。
経験豊富な弁護士でさえ、法的な幻覚を警戒しなければならず、llmの利益を最も多く得ている人、または伝統的な法的な資源にアクセスできない人にとって、リスクは高い。
関連論文リスト
- On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。
正しい解答知識を持つLLMの現象を推論力学の観点から検討する。
我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
論文 参考訳(メタデータ) (2024-03-29T06:48:30Z) - RAGged Edges: The Double-Edged Sword of Retrieval-Augmented Chatbots [5.174023161939957]
ChatGPTの幻覚(もっともらしいが偽の情報を生み出す)は大きな課題となる。
本稿では、外部知識をプロンプトと統合することにより、検索・拡張生成が幻覚にどのように対処できるかを考察する。
以上の結果から,RAGの精度は向上するが,事前学習されたモデル理解と直接矛盾する場合は,まだ誤解が残る可能性がある。
論文 参考訳(メタデータ) (2024-03-02T12:19:04Z) - Do LLMs Know about Hallucination? An Empirical Investigation of LLM's
Hidden States [19.343629282494774]
大きな言語モデル(LLM)は、現実ではない答えを補うことができ、幻覚として知られている。
本研究の目的は, LLM が幻覚をどの程度認識しているか, どのように, どの程度の程度で確認することである。
論文 参考訳(メタデータ) (2024-02-15T06:14:55Z) - Hallucination Detection and Hallucination Mitigation: An Investigation [13.941799495842776]
大規模言語モデル(LLM)は、過去2年間に様々なアプリケーションで顕著な成功を収めてきた。
本報告は,幻覚検出と幻覚軽減の両面において,現在の文献を包括的にレビューすることを目的としている。
論文 参考訳(メタデータ) (2024-01-16T13:36:07Z) - The Dawn After the Dark: An Empirical Study on Factuality Hallucination
in Large Language Models [134.6697160940223]
幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。
幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。
本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
論文 参考訳(メタデータ) (2024-01-06T12:40:45Z) - Alleviating Hallucinations of Large Language Models through Induced
Hallucinations [67.35512483340837]
大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。
幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
論文 参考訳(メタデータ) (2023-12-25T12:32:49Z) - LLM Lies: Hallucinations are not Bugs, but Features as Adversarial
Examples [15.528923770249774]
ランダムなトークンからなるナンセンスなプロンプトは、幻覚に反応するLLMも引き起こせることを示す。
この現象は、幻覚が敵の例の別の見方であるかもしれないことを再考させる。
本研究では,幻覚攻撃として自動幻覚誘発法を対角的に定式化する。
論文 参考訳(メタデータ) (2023-10-02T17:01:56Z) - Siren's Song in the AI Ocean: A Survey on Hallucination in Large
Language Models [116.01843550398183]
大規模言語モデル(LLM)は、様々な下流タスクで顕著な機能を示している。
LLMは時折、ユーザ入力から分岐するコンテンツを生成し、以前生成されたコンテキストと矛盾する。
論文 参考訳(メタデータ) (2023-09-03T16:56:48Z) - Evaluation and Analysis of Hallucination in Large Vision-Language Models [49.19829480199372]
LVLM(Large Vision-Language Models)は近年大きな成功を収めている。
LVLMは今でも幻覚に悩まされている。
幻覚とは、視覚入力に存在しないLVLMの応答の情報を指す。
論文 参考訳(メタデータ) (2023-08-29T08:51:24Z) - HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large
Language Models [146.87696738011712]
大型言語モデル(LLM)は幻覚を生成する傾向があり、すなわち、ソースと矛盾したり、事実の知識によって検証できないコンテンツである。
言語モデル(HaluEval)のための幻覚評価ベンチマーク(Halucination Evaluation benchmark)を導入する。
論文 参考訳(メタデータ) (2023-05-19T15:36:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。