論文の概要: DLawBench: Evaluating LLMs Through Multi-Turn Legal Consultation

• arxiv url: http://arxiv.org/abs/2606.13931v1
• Date: Thu, 11 Jun 2026 21:50:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.661427
• Title: DLawBench: Evaluating LLMs Through Multi-Turn Legal Consultation
• Title（参考訳）: DLawBench: マルチターン法務コンサルテーションによるLCMの評価
• Authors: Li Zhang, Yuzhen Shi, Yiran Hu, Jingwen Zhang, Wenbo Lv, Yubo Ma, Wei Wang, Rongyao Shi, Yuanyang Qiu, Xinran Xu, Yuemeng Qi, Linlin Miao, Jaromir Savelka, Yun Liu, Kevin Ashley, Bing Zhao, Hu Wei, Lin Qu,
• Abstract要約: 実世界の法律コンサルティングの診断ベンチマークであるDLawBenchを紹介する。 我々は,弁護士と弁護士の相互作用を,協力,従属,引き抜き,逆境の4つのタイプに分類する。 DLawBenchは、中国とアメリカの法律から461件のケース、5,532件の事実エントリ、3,411件の調査ルーリック、3,348件の問題解決ルーリックで構成されている。
• 参考スコア（独自算出の注目度）: 20.00846915357947
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Lawyer-client consultation is a critical starting point for legal services. Effective legal assistance hinges on eliciting sufficient and truthful information from clients in order to devise strategies that best protect their interests. This task requires Large Language Models (LLMs) not only to perform robust legal reasoning, but also to strategically elicit material facts through multi-turn interactions and effectively guide clients with diverse personalities. Yet existing legal benchmarks overlook this interactive capability. To fill this gap, we introduce DLawBench, a diagnostic benchmark for real-world legal consultation. Drawing on realistic client behavior, we characterize lawyer-client interactions into four types: Cooperative, Dependent, Withdrawn, and Adversarial. Using dialogues grounded in real cases, DLawBench evaluates whether LLMs can effectively conduct legal consultation under realistic conditions. DLawBench comprises 461 cases from Chinese and U.S. law, 5,532 paired fact entries, 3,411 inquiry rubrics, and 3,348 issue-resolution rubrics, and evaluates 26 representative LLMs. Systematic experiments show substantial headroom: the best-performing model, GPT-5.5, achieves only 0.562 on consultation-grounded legal reasoning. More importantly, DLawBench exposes both sycophancy in legal consultation and a paradox: models perform worse when clients need guidance most.
• Abstract（参考訳）: 弁護士主導の協議は、法律サービスにとって重要な出発点である。 効果的な法的援助は、顧客の利益を最も保護する戦略を考案するために、顧客から十分な情報と真正な情報を引き出すことに頼っている。 このタスクは、ロバストな法的推論を行うだけでなく、マルチターンインタラクションを通じて物質的事実を戦略的に引き起こし、多様な個性を持つクライアントを効果的に導くために、LLM(Large Language Models)を必要とする。 しかし、既存の法的なベンチマークはこのインタラクティブな能力を見落としている。 このギャップを埋めるために、実世界の法律コンサルティングの診断ベンチマークであるDLawBenchを紹介する。 現実的な顧客行動に基づいて、我々は、弁護士と弁護士の相互作用を、協力、依存、無関心、逆境の4つのタイプに特徴づける。 DLawBenchは実例に基づく対話を用いて、LLMが現実的な条件下で効果的に法的相談を行うことができるかどうかを評価する。 DLawBenchは、中国とアメリカの法律で461件、ペアの事実エントリ5,532件、調査用ルーリック3,411件、課題解決用ルーリック3,348件で構成され、26件の代表LSMを評価している。 優れた性能のモデルであるGPT-5.5は、コンサルテーションに基づく法的推論において0.562しか達成していない。 さらに重要なのは、DLawBenchは、法的相談における薬局とパラドックスの両方を公開していることだ。

関連論文リスト

• WisdomInterrogatory (LuWen): An Open-Source Legal Large Language Model Technical Report [55.27414605169639]
  Wesdom Interrogatory (LuWen)は,バイチュン基礎モデルに基づいて構築された,オープンソースの中国語の法律モデルである。 予測と生成の両方にまたがる5つの代表的な法的課題についてLuWenを評価する。
  論文  参考訳（メタデータ） (2026-04-08T06:59:07Z)
• LegalOne: A Family of Foundation Models for Reliable Legal Reasoning [54.57434222018289]
  我々は、中国の法律ドメインに特化された基礎モデルのファミリーであるLegalOneを紹介します。 LegalOneは、法的推論をマスターするために設計された包括的な3フェーズパイプラインを通じて開発されている。 LegalOneの重み付けとLegalKit評価フレームワークを公開して、Legal AIの分野を前進させます。
  論文  参考訳（メタデータ） (2026-01-31T10:18:32Z)
• PLawBench: A Rubric-Based Benchmark for Evaluating LLMs in Real-World Legal Practice [67.71760070255425]
  本稿では,大規模言語モデル (LLM) を評価するための実践的ベンチマークであるPLawBenchを紹介する。 PLawBenchは、13の実践的な法的シナリオにわたる850の質問で構成され、各質問には専門家が設計した評価ルーブが伴っている。 人間の専門的判断に合わせたLLMに基づく評価器を用いて,10種類の最先端のLLMを評価した。
  論文  参考訳（メタデータ） (2026-01-23T11:36:10Z)
• LeCoDe: A Benchmark Dataset for Interactive Legal Consultation Dialogue Evaluation [68.26911563519162]
  法的協議は、個人の権利を保護し、司法へのアクセスを確保するために不可欠である。 現在のシステムは、現実世界のコンサルティングの対話的かつ知識集約的な性質を扱うのに不足している。 LeCoDeは3,696件の法的相談対話と110,008件の対話を含む実世界のマルチターンベンチマークデータセットである。
  論文  参考訳（メタデータ） (2025-05-26T08:24:32Z)
• LawLuo: A Multi-Agent Collaborative Framework for Multi-Round Chinese Legal Consultation [1.9857357818932064]
  LawLuoは、マルチターン中国の法律相談のためのマルチエージェントフレームワークである。 LawLuoには、ユーザの意図を評価して弁護士エージェントを選択する受付エージェントと、ユーザと対話する弁護士エージェントと、会話記録を整理して相談報告を生成する秘書エージェントと、4つのエージェントが含まれている。 これらのエージェントの相互作用は、実際の法律事務所の運営を模倣している。
  論文  参考訳（メタデータ） (2024-07-23T07:40:41Z)
• LegalBench: A Collaboratively Built Benchmark for Measuring Legal Reasoning in Large Language Models [15.98468948605927]
  LegalBenchは6種類の法的推論をカバーする162のタスクからなるベンチマークである。 本稿では、LegalBenchについて述べるとともに、20のオープンソースおよび商用LCMの実証的な評価を行い、LegalBenchがもたらす研究のタイプについて説明する。
  論文  参考訳（メタデータ） (2023-08-20T22:08:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。