論文の概要: DLawBench: Evaluating LLMs Through Multi-Turn Legal Consultation
- arxiv url: http://arxiv.org/abs/2606.13931v1
- Date: Thu, 11 Jun 2026 21:50:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 16:00:42.661427
- Title: DLawBench: Evaluating LLMs Through Multi-Turn Legal Consultation
- Title（参考訳）: DLawBench: マルチターン法務コンサルテーションによるLCMの評価
- Abstract要約: 実世界の法律コンサルティングの診断ベンチマークであるDLawBenchを紹介する。
我々は,弁護士と弁護士の相互作用を,協力,従属,引き抜き,逆境の4つのタイプに分類する。
DLawBenchは、中国とアメリカの法律から461件のケース、5,532件の事実エントリ、3,411件の調査ルーリック、3,348件の問題解決ルーリックで構成されている。
- 参考スコア（独自算出の注目度）: 20.00846915357947
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Lawyer-client consultation is a critical starting point for legal services. Effective legal assistance hinges on eliciting sufficient and truthful information from clients in order to devise strategies that best protect their interests. This task requires Large Language Models (LLMs) not only to perform robust legal reasoning, but also to strategically elicit material facts through multi-turn interactions and effectively guide clients with diverse personalities. Yet existing legal benchmarks overlook this interactive capability. To fill this gap, we introduce DLawBench, a diagnostic benchmark for real-world legal consultation. Drawing on realistic client behavior, we characterize lawyer-client interactions into four types: Cooperative, Dependent, Withdrawn, and Adversarial. Using dialogues grounded in real cases, DLawBench evaluates whether LLMs can effectively conduct legal consultation under realistic conditions. DLawBench comprises 461 cases from Chinese and U.S. law, 5,532 paired fact entries, 3,411 inquiry rubrics, and 3,348 issue-resolution rubrics, and evaluates 26 representative LLMs. Systematic experiments show substantial headroom: the best-performing model, GPT-5.5, achieves only 0.562 on consultation-grounded legal reasoning. More importantly, DLawBench exposes both sycophancy in legal consultation and a paradox: models perform worse when clients need guidance most.
- Abstract（参考訳）: 弁護士主導の協議は、法律サービスにとって重要な出発点である。
効果的な法的援助は、顧客の利益を最も保護する戦略を考案するために、顧客から十分な情報と真正な情報を引き出すことに頼っている。
このタスクは、ロバストな法的推論を行うだけでなく、マルチターンインタラクションを通じて物質的事実を戦略的に引き起こし、多様な個性を持つクライアントを効果的に導くために、LLM(Large Language Models)を必要とする。
しかし、既存の法的なベンチマークはこのインタラクティブな能力を見落としている。
このギャップを埋めるために、実世界の法律コンサルティングの診断ベンチマークであるDLawBenchを紹介する。
現実的な顧客行動に基づいて、我々は、弁護士と弁護士の相互作用を、協力、依存、無関心、逆境の4つのタイプに特徴づける。
DLawBenchは実例に基づく対話を用いて、LLMが現実的な条件下で効果的に法的相談を行うことができるかどうかを評価する。
DLawBenchは、中国とアメリカの法律で461件、ペアの事実エントリ5,532件、調査用ルーリック3,411件、課題解決用ルーリック3,348件で構成され、26件の代表LSMを評価している。
優れた性能のモデルであるGPT-5.5は、コンサルテーションに基づく法的推論において0.562しか達成していない。
さらに重要なのは、DLawBenchは、法的相談における薬局とパラドックスの両方を公開していることだ。
関連論文リスト
- WisdomInterrogatory (LuWen): An Open-Source Legal Large Language Model Technical Report [55.27414605169639]
Wesdom Interrogatory (LuWen)は,バイチュン基礎モデルに基づいて構築された,オープンソースの中国語の法律モデルである。
予測と生成の両方にまたがる5つの代表的な法的課題についてLuWenを評価する。
論文 参考訳（メタデータ） (2026-04-08T06:59:07Z) - LegalOne: A Family of Foundation Models for Reliable Legal Reasoning [54.57434222018289]
我々は、中国の法律ドメインに特化された基礎モデルのファミリーであるLegalOneを紹介します。
LegalOneは、法的推論をマスターするために設計された包括的な3フェーズパイプラインを通じて開発されている。
LegalOneの重み付けとLegalKit評価フレームワークを公開して、Legal AIの分野を前進させます。
論文 参考訳（メタデータ） (2026-01-31T10:18:32Z) - PLawBench: A Rubric-Based Benchmark for Evaluating LLMs in Real-World Legal Practice [67.71760070255425]
本稿では,大規模言語モデル (LLM) を評価するための実践的ベンチマークであるPLawBenchを紹介する。
PLawBenchは、13の実践的な法的シナリオにわたる850の質問で構成され、各質問には専門家が設計した評価ルーブが伴っている。
人間の専門的判断に合わせたLLMに基づく評価器を用いて,10種類の最先端のLLMを評価した。
論文 参考訳（メタデータ） (2026-01-23T11:36:10Z) - Large Language Models' Complicit Responses to Illicit Instructions across Socio-Legal Contexts [54.15982476754607]
大規模言語モデル(LLM)が前例のない規模に展開され、毎日のタスクで数百万のユーザを支援している。
本研究は、複雑なファシリテーションを、不正なユーザ指示を可能にするガイダンスやサポートの提供として定義する。
実世界の訴訟と確立された法的枠組みを用いて、269件の違法なシナリオと50件の違法な意図にまたがる評価ベンチマークを構築した。
論文 参考訳（メタデータ） (2025-11-25T16:01:31Z) - Assessing the Reliability of Large Language Models in the Bengali Legal Context: A Comparative Evaluation Using LLM-as-Judge and Legal Experts [0.0]
OpenAI GPT-4.1 Mini、Gemini 2.0 Flash、Meta Llama 370B、DeepSeek R1などの生成AIモデルは、法的援助を民主化する可能性がある。
本研究では,Facebookグループ「Know Your Rights」から250の真正な法的質問を収集した。
我々は,AIが生成する各応答を,事実的正確性,法的適切性,完全性,明確性という4つの重要な側面で評価した。
論文 参考訳（メタデータ） (2025-11-07T02:44:00Z) - GLARE: Agentic Reasoning for Legal Judgment Prediction [60.13483016810707]
法学分野では、法的判断予測(LJP)がますます重要になっている。
既存の大規模言語モデル (LLM) には、法的な知識が不足しているため、推論に不十分な重大な問題がある。
GLAREは,異なるモジュールを呼び出し,重要な法的知識を動的に獲得するエージェント的法的推論フレームワークである。
論文 参考訳（メタデータ） (2025-08-22T13:38:12Z) - LeCoDe: A Benchmark Dataset for Interactive Legal Consultation Dialogue Evaluation [68.26911563519162]
法的協議は、個人の権利を保護し、司法へのアクセスを確保するために不可欠である。
現在のシステムは、現実世界のコンサルティングの対話的かつ知識集約的な性質を扱うのに不足している。
LeCoDeは3,696件の法的相談対話と110,008件の対話を含む実世界のマルチターンベンチマークデータセットである。
論文 参考訳（メタデータ） (2025-05-26T08:24:32Z) - LawLuo: A Multi-Agent Collaborative Framework for Multi-Round Chinese Legal Consultation [1.9857357818932064]
LawLuoは、マルチターン中国の法律相談のためのマルチエージェントフレームワークである。
LawLuoには、ユーザの意図を評価して弁護士エージェントを選択する受付エージェントと、ユーザと対話する弁護士エージェントと、会話記録を整理して相談報告を生成する秘書エージェントと、4つのエージェントが含まれている。
これらのエージェントの相互作用は、実際の法律事務所の運営を模倣している。
論文 参考訳（メタデータ） (2024-07-23T07:40:41Z) - LegalBench: A Collaboratively Built Benchmark for Measuring Legal
Reasoning in Large Language Models [15.98468948605927]
LegalBenchは6種類の法的推論をカバーする162のタスクからなるベンチマークである。
本稿では、LegalBenchについて述べるとともに、20のオープンソースおよび商用LCMの実証的な評価を行い、LegalBenchがもたらす研究のタイプについて説明する。
論文 参考訳（メタデータ） (2023-08-20T22:08:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。