論文の概要: What out-of-the-box LLMs can(t) do in law? A Turing test in Italian exams for lawyers, judges and notaries
- arxiv url: http://arxiv.org/abs/2608.06166v1
- Date: Thu, 06 Aug 2026 15:33:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 17:43:06.782052
- Title: What out-of-the-box LLMs can(t) do in law? A Turing test in Italian exams for lawyers, judges and notaries
- Title（参考訳）: LLMは法律で何ができるのか? 弁護士、裁判官、公証人のためのイタリアの試験におけるチューリング試験
- Abstract要約: この論文は、盲目チューリングテストの実験について報告し、イタリアの3つの法律専門家試験において、先導的なLLMのパフォーマンスを評価している。
この研究は、タスク固有の強み、制限、そして繰り返し起こる法的な失敗パターンを特定します。
- 参考スコア（独自算出の注目度）: 0.8415089854734883
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The article reports on a blind Turing Test experiment, assessing the performance of out-of-the-box leading LLMs on three Italian legal professional exams: the Bar, Judges and Notary exams. Leading LLMs were asked to generate full written exam papers, which were made indistinguishable from human submissions and anonymously evaluated by expert examiners, using the same criteria applied in real examinations. Results reveal marked differences across both models and tasks. While some LLMs match or exceed top human performance in adversarial legal argumentation and doctrinal analysis, all models fail in the notary exam, which requires goal-directed legal planning under strict formal and substantive constraints. Beyond ranking models, the study identifies task-specific strengths, limitations and recurring legal failure patterns. Although limited to out-of-the-box systems, the findings provide qualitative evidence on the current scope and boundaries of the legal competence of LLMs across distinct professional tasks.
- Abstract（参考訳）: この論文は盲目チューリングテストの実験について報告し、バー、審査員、公証人試験という3つのイタリアの法律専門家試験において、先導的なLLMのパフォーマンスを評価している。
先行するLSMは、実際の試験で適用されたのと同じ基準を用いて、人間の提出と区別がつかず、専門家検査官によって匿名で評価された完全な試験論文を作成するよう求められた。
結果は、モデルとタスクの両方で顕著な違いを示します。
一部のLDMは、敵対的な法的議論や教義的分析において、最高の人間のパフォーマンスと一致または上回っているが、全てのモデルは、厳格な形式的および実質的な制約の下で、目標指向の法的計画を必要とする公証試験で失敗する。
ランキングモデル以外にも、この研究はタスク固有の強み、制限、そして繰り返し起こる法的失敗パターンを特定している。
アウト・オブ・ザ・ボックス(英語版)システムに限定されているが、この発見は、異なる専門業務におけるLLMの法的能力の現在の範囲と境界に関する質的な証拠を提供する。
関連論文リスト
- Expert Evaluation of LLM's Open-Ended Legal Reasoning on the Japanese Bar Exam Writing Task [10.316445397110291]
大規模言語モデル(LLM)は、バー試験の複数選択要素を含む、法的なベンチマークで強いパフォーマンスを示している。
本研究は, LLMの開放的法的推論性能を評価するために設計された最初のデータセットである。
論文 参考訳（メタデータ） (2026-04-26T14:15:43Z) - Examining Reasoning LLMs-as-Judges in Non-Verifiable LLM Post-Training [75.98427023288052]
LLM(Reasoning LLMs-as-Judges)は、推論モデルの成功を検証不可能な領域に拡張するための有望な道を提供する。
本研究では、強化学習に基づくLLMアライメントにおける非推論および推論判断の実際の影響について検討した。
我々は,高い効率の対向出力を生成することを学ぶことによって,理性判断訓練された政策が,そのような高い性能を達成することを見出した。
論文 参考訳（メタデータ） (2026-03-12T17:57:06Z) - PLawBench: A Rubric-Based Benchmark for Evaluating LLMs in Real-World Legal Practice [67.71760070255425]
本稿では,大規模言語モデル (LLM) を評価するための実践的ベンチマークであるPLawBenchを紹介する。
PLawBenchは、13の実践的な法的シナリオにわたる850の質問で構成され、各質問には専門家が設計した評価ルーブが伴っている。
人間の専門的判断に合わせたLLMに基づく評価器を用いて,10種類の最先端のLLMを評価した。
論文 参考訳（メタデータ） (2026-01-23T11:36:10Z) - LexGenius: An Expert-Level Benchmark for Large Language Models in Legal General Intelligence [74.05988707492058]
法務総合知能(ぎょうげんがく、英語: Legal General Intelligence, GI)とは、法的な理解、推論、意思決定を含む人工知能(AI)のこと。
既存のベンチマークは結果指向であり、大規模言語モデル(LLM)の法的なインテリジェンスを体系的に評価することができない。
我々は、LLMにおける法GIを評価するための専門家レベルの中国の法定ベンチマークであるLexGeniusを提案する。
論文 参考訳（メタデータ） (2025-12-04T08:48:02Z) - LLM-as-a-Judge is Bad, Based on AI Attempting the Exam Qualifying for the Member of the Polish National Board of Appeal [34.008574054602356]
本報告では,公益調達法に関する知識試験と判決書を含む試験の構造について述べる。
いくつかのLCMはクローズドブックと様々なRetrieval-Augmented Generation設定でテストされた。
その結果,本モデルは知識テストで満足度を達成できたが,実用書面の通過しきい値には達しなかった。
論文 参考訳（メタデータ） (2025-11-06T09:11:20Z) - Are LLMs Court-Ready? Evaluating Frontier Models on Indian Legal Reasoning [0.5308136763388956]
私たちは、インドの公的な司法試験を透明な代理として利用しています。
私たちのベンチマークは、国家試験と国家試験の客観的な画面をまとめたものです。
我々はまた、最高裁判所のAdvocate-on-Record試験による長文の回答について、弁護士に格付けされた、ペアの書面による研究も含んでいる。
論文 参考訳（メタデータ） (2025-10-19T10:04:29Z) - Evaluating the Role of Large Language Models in Legal Practice in India [0.0]
人工知能の法的職業への統合は、重要な法的タスクを実行するための大規模言語モデルの能力に関する重要な疑問を提起する。
私は、GPT、Claude、LlamaといったLCMが、インドにおける重要な法的タスクをいかにうまく実行しているかを実証的に評価します。
LLMは特定の法的タスクを増強できるが、人間の専門知識は、ニュアンスな推論と法律の正確な適用に不可欠である、と私は結論づける。
論文 参考訳（メタデータ） (2025-08-13T11:04:48Z) - LEXam: Benchmarking Legal Reasoning on 340 Law Exams [76.3521146499006]
textscLEXamは,法科116科の法科試験を対象とする340件の法科試験を対象とする,新しいベンチマークである。
このデータセットは、英語とドイツ語で4,886の法試験質問で構成されており、その中には2,841の長文のオープンエンド質問と2,045の多重選択質問が含まれている。
この結果から,モデル間の差分化におけるデータセットの有効性が示唆された。
論文 参考訳（メタデータ） (2025-05-19T08:48:12Z) - A Law Reasoning Benchmark for LLM with Tree-Organized Structures including Factum Probandum, Evidence and Experiences [76.73731245899454]
本稿では,階層的なファクトラム,証拠,暗黙的な経験に富む透明な法理推論スキーマを提案する。
このスキーマにインスパイアされた課題は、テキストのケース記述を取り込み、最終決定を正当化する階層構造を出力する。
このベンチマークは、Intelligent Courtにおける透明で説明可能なAI支援法推論の道を開く」。
論文 参考訳（メタデータ） (2025-03-02T10:26:54Z) - Legal Evalutions and Challenges of Large Language Models [42.51294752406578]
我々は,OPENAI o1モデルを事例研究として,法律規定の適用における大規模モデルの性能評価に利用した。
我々は、オープンソース、クローズドソース、および法律ドメインのために特別に訓練された法律固有のモデルを含む、最先端のLLMを比較します。
論文 参考訳（メタデータ） (2024-11-15T12:23:12Z) - BLT: Can Large Language Models Handle Basic Legal Text? [44.89873147675516]
GPT-4とClaudeは、基本的な法的テキスト処理では性能が良くない。
ベンチマークの粗悪なパフォーマンスは、法的慣行の信頼性を疑うものだ。
トレーニングセットの微調整は、小さなモデルでもほぼ完璧なパフォーマンスをもたらす。
論文 参考訳（メタデータ） (2023-11-16T09:09:22Z) - A Comprehensive Evaluation of Large Language Models on Legal Judgment
Prediction [60.70089334782383]
大規模言語モデル(LLM)は、ドメイン固有のアプリケーションに大きな可能性を示している。
GPT-4の法律評価をめぐる近年の論争は、現実の法的タスクにおけるパフォーマンスに関する疑問を提起している。
我々は,LLMに基づく実践的ベースラインソリューションを設計し,法的判断予測の課題を検証した。
論文 参考訳（メタデータ） (2023-10-18T07:38:04Z) - Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。
判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
論文 参考訳（メタデータ） (2021-05-09T09:39:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。