論文の概要: Expert Evaluation of LLM's Open-Ended Legal Reasoning on the Japanese Bar Exam Writing Task
- arxiv url: http://arxiv.org/abs/2604.23730v1
- Date: Sun, 26 Apr 2026 14:15:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:07.525559
- Title: Expert Evaluation of LLM's Open-Ended Legal Reasoning on the Japanese Bar Exam Writing Task
- Title（参考訳）: LLMのオープンエンディング法理推論の専門的評価
- Abstract要約: 大規模言語モデル(LLM)は、バー試験の複数選択要素を含む、法的なベンチマークで強いパフォーマンスを示している。
本研究は, LLMの開放的法的推論性能を評価するために設計された最初のデータセットである。
- 参考スコア（独自算出の注目度）: 10.316445397110291
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have shown strong performance on legal benchmarks, including multiple-choice components of bar exams. However, their capacity for generating open-ended legal reasoning in realistic scenarios remains insufficiently explored. Notably, to our best knowledge, there are no prior studies or datasets addressing this issue in the Japanese context. This study presents the first dataset designed to evaluate the open-ended legal reasoning performance of LLMs within the Japanese jurisdiction. The dataset is based on the writing component of the Japanese bar examination, which requires examinees to identify multiple legal issues from long narratives and to construct structured legal arguments in free text format. Our key contribution is the manual evaluation of LLMs' generated responses by legal experts, which reveals limitations and challenges in legal reasoning. Moreover, we conducted a manual analysis of hallucinations to characterize when and how the models introduce content not supported by precedent or law. Our real exam questions, model-generated responses, and expert evaluations reveal the milestones of current LLMs in the Japanese legal domain. Our dataset and relevant resources will be available online.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、バー試験の複数選択要素を含む、法的なベンチマークで強いパフォーマンスを示している。
しかし、現実的なシナリオにおいて、オープンエンドな法的推論を生成する能力は、まだ十分に検討されていない。
特に、我々の知る限りでは、日本の文脈でこの問題に対処する先行研究やデータセットは存在しない。
本研究は, LLMの開放的法的推論性能を評価するために設計された最初のデータセットである。
本データセットは,長文から複数の法的問題を識別し,自由テキスト形式で構造化された法的議論を構築するために,日本語のバー試験の書き方に基づいている。
我々の主要な貢献は、法律専門家によるLSMの生成した応答を手動で評価することであり、法的推論における限界と課題を明らかにします。
さらに,前例や法律で支持されないコンテンツをいつ,どのように導入するかを特徴付けるために,幻覚を手動で分析した。
実際の試験質問,モデル生成応答,専門家評価は,日本の法律領域における現在のLLMのマイルストーンを明らかにします。
データセットと関連するリソースはオンラインで提供されます。
関連論文リスト
- What out-of-the-box LLMs can(t) do in law? A Turing test in Italian exams for lawyers, judges and notaries [0.8415089854734883]
この論文は、盲目チューリングテストの実験について報告し、イタリアの3つの法律専門家試験において、先導的なLLMのパフォーマンスを評価している。
この研究は、タスク固有の強み、制限、そして繰り返し起こる法的な失敗パターンを特定します。
論文 参考訳（メタデータ） (2026-08-06T15:33:21Z) - WisdomInterrogatory (LuWen): An Open-Source Legal Large Language Model Technical Report [55.27414605169639]
Wesdom Interrogatory (LuWen)は,バイチュン基礎モデルに基づいて構築された,オープンソースの中国語の法律モデルである。
予測と生成の両方にまたがる5つの代表的な法的課題についてLuWenを評価する。
論文 参考訳（メタデータ） (2026-04-08T06:59:07Z) - PLawBench: A Rubric-Based Benchmark for Evaluating LLMs in Real-World Legal Practice [67.71760070255425]
本稿では,大規模言語モデル (LLM) を評価するための実践的ベンチマークであるPLawBenchを紹介する。
PLawBenchは、13の実践的な法的シナリオにわたる850の質問で構成され、各質問には専門家が設計した評価ルーブが伴っている。
人間の専門的判断に合わせたLLMに基づく評価器を用いて,10種類の最先端のLLMを評価した。
論文 参考訳（メタデータ） (2026-01-23T11:36:10Z) - LeMAJ (Legal LLM-as-a-Judge): Bridging Legal Reasoning and LLM Evaluation [6.783926395409993]
本稿では,弁護士が法的回答をどのように評価するかを反映した,新たな基準フリー評価手法を提案する。
提案手法は,人間の専門家による評価とより密接に関連し,アノテーション間合意の改善に有効であることを示す。
論文 参考訳（メタデータ） (2025-10-08T17:10:47Z) - ClaimGen-CN: A Large-scale Chinese Dataset for Legal Claim Generation [56.79698529022327]
法的な主張は、事件における原告の要求を言及し、法的理由づけと事件解決を導くのに不可欠である。
本稿では,その事例の事実に基づく法的クレーム生成の問題について考察する。
われわれは,中国法定クレーム生成タスクの最初のデータセットであるClaymGen-CNを構築した。
論文 参考訳（メタデータ） (2025-08-24T07:19:25Z) - LLMs for Legal Subsumption in German Employment Contracts [3.3916160303055567]
本研究では,ドイツの雇用契約における節の合法性を評価するために,大規模言語モデルと文脈内学習の利用について検討する。
我々の研究は、異なるLLMが3つの法的文脈変化の下で、節を「無効」、「不公平」、または「ボイド」に分類する能力を評価する。
その結果,全文ソースでは性能が適度に向上し,検査ガイドラインでは空白節のリコールや重み付きF1スコアが80%に向上した。
論文 参考訳（メタデータ） (2025-07-02T14:07:54Z) - LEXam: Benchmarking Legal Reasoning on 340 Law Exams [76.3521146499006]
textscLEXamは,法科116科の法科試験を対象とする340件の法科試験を対象とする,新しいベンチマークである。
このデータセットは、英語とドイツ語で4,886の法試験質問で構成されており、その中には2,841の長文のオープンエンド質問と2,045の多重選択質問が含まれている。
この結果から,モデル間の差分化におけるデータセットの有効性が示唆された。
論文 参考訳（メタデータ） (2025-05-19T08:48:12Z) - Legal Evalutions and Challenges of Large Language Models [42.51294752406578]
我々は,OPENAI o1モデルを事例研究として,法律規定の適用における大規模モデルの性能評価に利用した。
我々は、オープンソース、クローズドソース、および法律ドメインのために特別に訓練された法律固有のモデルを含む、最先端のLLMを比較します。
論文 参考訳（メタデータ） (2024-11-15T12:23:12Z) - LexEval: A Comprehensive Chinese Legal Benchmark for Evaluating Large Language Models [17.90483181611453]
大規模言語モデル (LLM) は自然言語処理タスクにおいて大きな進歩を遂げており、法的領域においてかなりの可能性を示している。
既存のLLMを法制度に適用し、その可能性や限界を慎重に評価することなく適用することは、法律実務において重大なリスクをもたらす可能性がある。
我々は、標準化された総合的な中国の法律ベンチマークLexEvalを紹介する。
論文 参考訳（メタデータ） (2024-09-30T13:44:00Z) - InternLM-Law: An Open Source Chinese Legal Large Language Model [72.2589401309848]
InternLM-Lawは、中国法に関する様々な法的クエリに対処するための特殊なLLMである。
われわれは、中国法域に100万以上のクエリを含むデータセットを慎重に構築する。
InternLM-LawはLawBench上で最高の平均性能を達成し、20サブタスク中13サブタスクでGPT-4を含む最先端モデルを上回っている。
論文 参考訳（メタデータ） (2024-06-21T06:19:03Z) - Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。
判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
論文 参考訳（メタデータ） (2021-05-09T09:39:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。