論文の概要: Caveat Lector: Large Language Models in Legal Practice
- arxiv url: http://arxiv.org/abs/2403.09163v1
- Date: Thu, 14 Mar 2024 08:19:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-15 21:26:58.552331
- Title: Caveat Lector: Large Language Models in Legal Practice
- Title(参考訳): Caveat Lector: 法律実務における大規模言語モデル
- Authors: Eliza Mik,
- Abstract要約: 大規模な言語モデルへの関心は、多くのユーザーが生成したテキストの品質を評価するための専門知識を欠いているという事実から来ている。
急流と表面的可視性の危険な組み合わせは、生成されたテキストを信頼する誘惑を招き、過信のリスクを生じさせる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The current fascination with large language models, or LLMs, derives from the fact that many users lack the expertise to evaluate the quality of the generated text. LLMs may therefore appear more capable than they actually are. The dangerous combination of fluency and superficial plausibility leads to the temptation to trust the generated text and creates the risk of overreliance. Who would not trust perfect legalese? Relying recent findings in both technical and legal scholarship, this Article counterbalances the overly optimistic predictions as to the role of LLMs in legal practice. Integrating LLMs into legal workstreams without a better comprehension of their limitations, will create inefficiencies if not outright risks. Notwithstanding their unprecedented ability to generate text, LLMs do not understand text. Without the ability to understand meaning, LLMs will remain unable to use language, to acquire knowledge and to perform complex reasoning tasks. Trained to model language on the basis of stochastic word predictions, LLMs cannot distinguish fact from fiction. Their knowledge of the law is limited to word strings memorized in their parameters. It is also incomplete and largely incorrect. LLMs operate at the level of word distributions, not at the level of verified facts. The resulting propensity to hallucinate, to produce statements that are incorrect but appear helpful and relevant, is alarming in high-risk areas like legal services. At present, lawyers should beware of relying on text generated by LLMs.
- Abstract(参考訳): 大規模言語モデル(LLM)への現在の関心は、多くのユーザーが生成されたテキストの品質を評価する専門知識を持っていないという事実から来ている。
したがって、LLMは実際よりも能力が高いように見える。
急流と表面的可視性の危険な組み合わせは、生成されたテキストを信頼する誘惑を招き、過信のリスクを生じさせる。
誰が完璧な法学者を信用しないのか。
本条は, 技術・法学両分野における最近の知見を踏まえ, 法律実務におけるLLMの役割について, 過度に楽観的な予測と相反するものである。
LLMを法的な作業ストリームに統合し、その制限をより理解することなく、完全なリスクを伴わないような非効率性を生み出す。
テキストを生成するという前例のない能力にもかかわらず、LLMはテキストを理解していない。
意味を理解する能力がなければ、LLMは言語を使い続けることができず、知識を取得し、複雑な推論タスクを実行することができる。
確率的単語予測に基づいて言語をモデル化するために訓練されたLLMは、事実とフィクションを区別することはできない。
彼らの法則に関する知識は、それらのパラメータに記憶された単語文字列に限られている。
また、不完全であり、ほとんど正しくない。
LLMは、検証された事実のレベルではなく、単語の分布のレベルで動作する。
幻覚を起こそうとすると、不正確だが役に立ち、関連性のある発言が生まれ、法律サービスのようなリスクの高い領域で警戒されている。
現在、弁護士はLLMが生成したテキストに依存することに留意すべきである。
関連論文リスト
- LLMs' Understanding of Natural Language Revealed [0.0]
大規模言語モデル(LLM)は、大規模言語におけるボトムアップ、データ駆動のリバースエンジニアリングにおける大規模な実験の結果である。
私たちはLLMの言語理解能力、彼らが想定する砦をテストすることに重点を置きます。
論文 参考訳(メタデータ) (2024-07-29T01:21:11Z) - Scaling Laws for Fact Memorization of Large Language Models [67.94080978627363]
我々は,大規模言語モデルにおける事実知識のスケーリング法則と,異なる種類の事実を記憶する行動について分析する。
LLMの事実知識能力は,モデルサイズや訓練のエポックと線形かつ負の指数法則関係を持つことがわかった。
本研究は,LLMのファクト・ナレッジ・ナレッジ・ラーニングの能力と特徴を明らかにし,LLMのファクト・ナレッジ・アジュメンテーションの方向性を示した。
論文 参考訳(メタデータ) (2024-06-22T03:32:09Z) - Semantically Diverse Language Generation for Uncertainty Estimation in Language Models [5.8034373350518775]
大規模言語モデル(LLM)は、テキストを生成する際に幻覚に悩まされることがある。
現在のLLMは、テキストトークンを予測および付加することにより、自動回帰形式でテキストを生成する。
LLMの予測不確かさを定量化するために,Semantically Diverse Language Generationを導入する。
論文 参考訳(メタデータ) (2024-06-06T17:53:34Z) - Potential and Limitations of LLMs in Capturing Structured Semantics: A Case Study on SRL [78.80673954827773]
大きな言語モデル(LLM)は、言語理解を高め、解釈可能性を改善し、バイアスを減らすために構造化セマンティクスをキャプチャする上で重要な役割を果たす。
セマンティック・ロール・ラベルリング(SRL)を,構造化意味論を抽出するLLMの能力を探るための基本課題として用いることを提案する。
LLMは実際にセマンティック構造をキャプチャすることができ、スケールアップは常にポテンシャルを反映するわけではない。
エラーのかなりの重複は、LLMと訓練されていない人間の両方によって行われ、全てのエラーの約30%を占めることに私たちは驚いています。
論文 参考訳(メタデータ) (2024-05-10T11:44:05Z) - AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
Alignedcotは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。
ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。
数学的推論とコモンセンス推論の実験を行う。
論文 参考訳(メタデータ) (2023-11-22T17:24:21Z) - LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。
本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。
実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
論文 参考訳(メタデータ) (2023-11-14T01:38:02Z) - Large Language Models: The Need for Nuance in Current Debates and a
Pragmatic Perspective on Understanding [1.3654846342364308]
LLM(Large Language Models)は、文法的に正しい、流動的なテキストを生成する能力において、非並列である。
本論文は,LLM能力の批判において再発する3点を批判的に評価する。
LLMにおける現実の理解と意図の問題に関する実践的な視点を概説する。
論文 参考訳(メタデータ) (2023-10-30T15:51:04Z) - Improving Factual Consistency of Text Summarization by Adversarially
Decoupling Comprehension and Embellishment Abilities of LLMs [67.56087611675606]
大規模言語モデル(LLM)は、本来の記事と現実的に矛盾する要約を生成する。
これらの幻覚は、従来の方法による検出が困難である。
LLM(DECENT)の能力を阻害する逆デカップリング法を提案する。
論文 参考訳(メタデータ) (2023-10-30T08:40:16Z) - Why LLMs Hallucinate, and How to Get (Evidential) Closure: Perceptual,
Intensional, and Extensional Learning for Faithful Natural Language
Generation [0.0]
LLMは、その出力がそれらが証拠を持つ主張と同義であることに制約されないため、幻覚的であることを示す。
次に, LLM を制約して, 明らかな閉包を満たす出力を生成する方法を示す。
論文 参考訳(メタデータ) (2023-10-23T20:35:52Z) - LawBench: Benchmarking Legal Knowledge of Large Language Models [35.2812008533622]
大規模言語モデル(LLM)は様々な面で強力な能力を示している。
法的知識がどの程度あるか、そして法的関連タスクを確実に実行できるかは不明だ。
ローベンチは、3つの認知レベルからLLMの法的な能力を正確に評価するために細心の注意を払って設計されている。
論文 参考訳(メタデータ) (2023-09-28T09:35:59Z) - DoLa: Decoding by Contrasting Layers Improves Factuality in Large
Language Models [79.01926242857613]
大型言語モデル(LLM)は幻覚を起こす傾向があり、事前訓練中に見られる事実から逸脱した内容を生成する。
事前学習したLLMによる幻覚を低減するための簡単な復号法を提案する。
コントラスティング・レイヤ(DoLa)アプローチによるこのデコーディングは,事実知識をよりよく提示し,誤った事実の生成を減らすことができる。
論文 参考訳(メタデータ) (2023-09-07T17:45:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。