論文の概要: Evaluation of Large Language Models in Legal Applications: Challenges, Methods, and Future Directions
- arxiv url: http://arxiv.org/abs/2601.15267v1
- Date: Wed, 21 Jan 2026 18:51:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-22 21:27:50.50138
- Title: Evaluation of Large Language Models in Legal Applications: Challenges, Methods, and Future Directions
- Title（参考訳）: 法律応用における大規模言語モデルの評価--課題,方法,今後の方向性
- Authors: Yiran Hu, Huanghai Liu, Chong Wang, Kunran Li, Tien-Hsuan Wu, Haitao Li, Xinran Xu, Siqing Huo, Weihang Su, Ning Zheng, Siyuan Zheng, Qingyao Ai, Yun Liu, Renjun Bian, Yiqun Liu, Charles L. A. Clarke, Weixing Shen, Ben Kao,
- Abstract要約: 大規模言語モデル(LLM)は、法的アプリケーションにますます統合されている。
本調査は,LLMを現実の法的実践に基づく法的課題として評価する上で重要な課題を明らかにするものである。
- 参考スコア（独自算出の注目度）: 34.91946661563455
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are being increasingly integrated into legal applications, including judicial decision support, legal practice assistance, and public-facing legal services. While LLMs show strong potential in handling legal knowledge and tasks, their deployment in real-world legal settings raises critical concerns beyond surface-level accuracy, involving the soundness of legal reasoning processes and trustworthy issues such as fairness and reliability. Systematic evaluation of LLM performance in legal tasks has therefore become essential for their responsible adoption. This survey identifies key challenges in evaluating LLMs for legal tasks grounded in real-world legal practice. We analyze the major difficulties involved in assessing LLM performance in the legal domain, including outcome correctness, reasoning reliability, and trustworthiness. Building on these challenges, we review and categorize existing evaluation methods and benchmarks according to their task design, datasets, and evaluation metrics. We further discuss the extent to which current approaches address these challenges, highlight their limitations, and outline future research directions toward more realistic, reliable, and legally grounded evaluation frameworks for LLMs in legal domains.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、司法判断支援、法律実務支援、公的な法的サービスなど、法的応用にますます統合されている。
LLMは法的な知識やタスクを扱う強力な可能性を示しているが、現実の法的な環境への展開は、法的な推論プロセスの健全性や公正さや信頼性といった信頼できる問題を含む、表面的な精度以上の重要な懸念を引き起こす。
そのため、法的タスクにおけるLLM性能の体系的評価は、その採用に欠かせないものとなっている。
本調査は,LLMを現実の法的実践に基づく法的課題として評価する上で重要な課題を明らかにするものである。
法域におけるLCMの性能評価における主な課題として,結果の正当性,信頼性,信頼性について分析する。
これらの課題に基づいて、タスク設計、データセット、評価指標に基づいて既存の評価方法とベンチマークをレビューし、分類する。
さらに、これらの課題にどのように対処するかを議論し、その限界を強調し、法域におけるLSMのより現実的で信頼性があり、法的に根ざした評価フレームワークに向けた今後の研究の方向性を概説する。
関連論文リスト
- LeMAJ (Legal LLM-as-a-Judge): Bridging Legal Reasoning and LLM Evaluation [6.783926395409993]
本稿では,弁護士が法的回答をどのように評価するかを反映した,新たな基準フリー評価手法を提案する。
提案手法は,人間の専門家による評価とより密接に関連し,アノテーション間合意の改善に有効であることを示す。
論文 参考訳（メタデータ） (2025-10-08T17:10:47Z) - GLARE: Agentic Reasoning for Legal Judgment Prediction [60.13483016810707]
法学分野では、法的判断予測(LJP)がますます重要になっている。
既存の大規模言語モデル (LLM) には、法的な知識が不足しているため、推論に不十分な重大な問題がある。
GLAREは,異なるモジュールを呼び出し,重要な法的知識を動的に獲得するエージェント的法的推論フレームワークである。
論文 参考訳（メタデータ） (2025-08-22T13:38:12Z) - AUTOLAW: Enhancing Legal Compliance in Large Language Models via Case Law Generation and Jury-Inspired Deliberation [5.732271982985626]
AutoLawは、ドメイン固有の大規模言語モデル(LLM)のための新しい違反検出フレームワークである。
LLMの法的コンプライアンスを強化するために、敵対的なデータ生成と陪審に触発された審議プロセスを組み合わせる。
本研究は, 法的不一致を適応的に調査し, 信頼性の高い文脈対応の判断を下すフレームワークの能力を強調した。
論文 参考訳（メタデータ） (2025-05-20T07:09:13Z) - LegalAgentBench: Evaluating LLM Agents in Legal Domain [53.70993264644004]
LegalAgentBenchは、中国の法律領域でLLMエージェントを評価するために特別に設計されたベンチマークである。
LegalAgentBenchには、現実世界の法的シナリオから17のコーパスが含まれており、外部知識と対話するための37のツールを提供している。
論文 参考訳（メタデータ） (2024-12-23T04:02:46Z) - Legal Evalutions and Challenges of Large Language Models [42.51294752406578]
我々は,OPENAI o1モデルを事例研究として,法律規定の適用における大規模モデルの性能評価に利用した。
我々は、オープンソース、クローズドソース、および法律ドメインのために特別に訓練された法律固有のモデルを含む、最先端のLLMを比較します。
論文 参考訳（メタデータ） (2024-11-15T12:23:12Z) - Optimizing Numerical Estimation and Operational Efficiency in the Legal Domain through Large Language Models [13.067312163677933]
本稿では,Large Language Modelsと特殊設計のプロンプトを統合して,法的な人工知能(LegalAI)アプリケーションにおける精度要件に対処する手法を提案する。
本手法を検証するために,精度指向の LegalAI タスクに適したキュレートデータセットを提案する。
論文 参考訳（メタデータ） (2024-07-26T18:46:39Z) - A Survey on Large Language Models for Critical Societal Domains: Finance, Healthcare, and Law [65.87885628115946]
大規模言語モデル(LLM)は、金融、医療、法律の展望に革命をもたらしている。
我々は、医療における診断・治療方法論の強化、財務分析の革新、法的解釈・コンプライアンス戦略の精査におけるLCMの役割を強調した。
これらの分野におけるLLMアプリケーションの倫理を批判的に検討し、既存の倫理的懸念と透明で公平で堅牢なAIシステムの必要性を指摘した。
論文 参考訳（メタデータ） (2024-05-02T22:43:02Z) - A Comprehensive Evaluation of Large Language Models on Legal Judgment
Prediction [60.70089334782383]
大規模言語モデル(LLM)は、ドメイン固有のアプリケーションに大きな可能性を示している。
GPT-4の法律評価をめぐる近年の論争は、現実の法的タスクにおけるパフォーマンスに関する疑問を提起している。
我々は,LLMに基づく実践的ベースラインソリューションを設計し,法的判断予測の課題を検証した。
論文 参考訳（メタデータ） (2023-10-18T07:38:04Z) - LAiW: A Chinese Legal Large Language Models Benchmark [17.66376880475554]
一般および法的ドメイン LLM は LegalAI の様々なタスクにおいて高いパフォーマンスを示している。
われわれは、法的な実践の論理に基づいて、中国の法的LLMベンチマークLAiWを最初に構築しました。
論文 参考訳（メタデータ） (2023-10-09T11:19:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。