論文の概要: LexPilot: Benchmarking the Proactive Interaction Ability of Legal LLMs with Laypeople in Chinese Civil Case Consultation

• arxiv url: http://arxiv.org/abs/2610.23141v1
• Date: Fri, 16 Oct 2026 08:38:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.832697
• Title: LexPilot: Benchmarking the Proactive Interaction Ability of Legal LLMs with Laypeople in Chinese Civil Case Consultation
• Title（参考訳）: LexPilot:中国の民事訴訟協議における法的LLMとレイピーの積極的な相互作用能力のベンチマーク
• Abstract要約: LexPilot(レックスパイロット)は、中国の真正な民事判決を用いて、前向きな法的相互作用とクレームレベルの評決予測をリンクするベンチマークである。 私たちの研究は、よりユーザー中心の法的なAIが公衆に役立てる必要性を強調しています。
• 参考スコア（独自算出の注目度）: 41.49999303803168
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have greatly assisted legal professionals. However, our empirical studies reveal that, when faced with underspecified consultations from non-experts, current LLMs often produce irresponsible responses with limited utility despite lacking sufficient case details for definitive conclusions. To better assist laypeople, legal LLMs must identify focal points of dispute and proactively elicit crucial context from users. Unfortunately, existing data resources often focus on interaction and response quality, offering limited insight into how proactive interaction affects LLMs' downstream claim-level judgment prediction in actual civil cases. To address this gap, we introduce \textbf{LexPilot}, a benchmark linking proactive legal interaction to claim-level verdict prediction using authentic Chinese civil judgments. Constructed from 432 real-world judgments across 36 common causes of action, LexPilot comprises expert-reviewed pairs of complete and underspecified consultation histories with corresponding court verdicts. Experiments reveal that current LLMs struggle with proactive legal interactions in underspecified consultations, with downstream judgment prediction substantially underperforming that in the fully specified consultation setup (-23.84% on average). Further analysis identifies critical bottlenecks hindering these capabilities. Our work highlights the urgent need for more user-centered legal AI to better serve the public.
• Abstract（参考訳）: LLM(Large Language Models)は、法律専門家を大いに支援している。 しかし, 実証実験の結果, 非専門家による不特定な相談に直面すると, 結論に十分なケース詳細が欠如しているにもかかわらず, 現行のLCMは, 限られた効用を有する無責任な応答を生じることが判明した。 一般の人々を支援するためには、法的LLMは紛争の焦点を特定し、ユーザから重要なコンテキストを積極的に引き出す必要がある。 残念ながら、既存のデータリソースは、しばしば相互作用と応答品質に重点を置いており、実際の民事事件におけるLLMの下流のクレームレベルの判断予測に、プロアクティブな相互作用がどのように影響するかについての限られた洞察を与えている。 このギャップに対処するために,中国民事裁判の正当性を用いた請求レベルの評定予測に積極的に法的相互作用をリンクするベンチマークである「textbf{LexPilot}」を導入する。 LexPilotは、36の共通の行動原因にわたる432の現実世界の判断から構成され、専門家がレビューした、完全かつ未特定な協議履歴と、対応する裁判所の判決からなる。 実験により、現在のLLMは、未特定の協議において積極的な法的相互作用に苦しむことが明らかとなり、下流の判断予測は、完全に規定されたコンサルティング設定において(平均で-23.84%)、実質的に過小評価されている。 さらなる分析により、これらの能力を妨げる重要なボトルネックが特定される。 私たちの研究は、よりユーザー中心の法的なAIが公衆に役立てる必要性を強調しています。

関連論文リスト

• LexRubric: A Rubric-Guided Diagnostic Benchmark for Open-Ended Legal Tasks [42.88450102623113]
  オープンな中国の法的タスクを評価するためのルーブリックベースのベンチマークであるLexRubricを紹介した。 これには、日々の法的要求と専門的な法的理由の両方を反映した、法的協議と司法試験からの649の事例が含まれる。 また、12,337人の専門家による原子鑑定基準を、統一された6次元フレームワークの下で構成している。
  論文  参考訳（メタデータ） (2026-06-08T12:04:47Z)
• LexGenius: An Expert-Level Benchmark for Large Language Models in Legal General Intelligence [74.05988707492058]
  法務総合知能(ぎょうげんがく、英語: Legal General Intelligence, GI)とは、法的な理解、推論、意思決定を含む人工知能(AI)のこと。 既存のベンチマークは結果指向であり、大規模言語モデル(LLM)の法的なインテリジェンスを体系的に評価することができない。 我々は、LLMにおける法GIを評価するための専門家レベルの中国の法定ベンチマークであるLexGeniusを提案する。
  論文  参考訳（メタデータ） (2025-12-04T08:48:02Z)
• Large Language Models' Complicit Responses to Illicit Instructions across Socio-Legal Contexts [54.15982476754607]
  大規模言語モデル(LLM)が前例のない規模に展開され、毎日のタスクで数百万のユーザを支援している。 本研究は、複雑なファシリテーションを、不正なユーザ指示を可能にするガイダンスやサポートの提供として定義する。 実世界の訴訟と確立された法的枠組みを用いて、269件の違法なシナリオと50件の違法な意図にまたがる評価ベンチマークを構築した。
  論文  参考訳（メタデータ） (2025-11-25T16:01:31Z)
• LeCoDe: A Benchmark Dataset for Interactive Legal Consultation Dialogue Evaluation [68.26911563519162]
  法的協議は、個人の権利を保護し、司法へのアクセスを確保するために不可欠である。 現在のシステムは、現実世界のコンサルティングの対話的かつ知識集約的な性質を扱うのに不足している。 LeCoDeは3,696件の法的相談対話と110,008件の対話を含む実世界のマルチターンベンチマークデータセットである。
  論文  参考訳（メタデータ） (2025-05-26T08:24:32Z)
• Leveraging Large Language Models for Relevance Judgments in Legal Case Retrieval [16.29803062332164]
  本稿では,大規模言語モデルによる専門家による関連判断の生成を支援する,数ショットのアプローチを提案する。 提案手法は,人間のアノテータのワークフローを模倣して,判断過程をいくつかの段階に分解する。 また、解釈可能なデータラベリングを保証し、関連性評価プロセスにおける透明性と明確性を提供します。
  論文  参考訳（メタデータ） (2024-03-27T09:46:56Z)
• (A)I Am Not a Lawyer, But...: Engaging Legal Experts towards Responsible LLM Policies for Legal Advice [8.48013392781081]
  大規模言語モデル(LLM)は、法的なアドバイスを含む幅広い専門分野のアドバイスをユーザに提供しやすくなっている。 ケースベース推論にインスパイアされた手法を用いて,20名の法律専門家とワークショップを行った。 以上より,無許可の法律実務,機密性,不正確な助言に対する責任など,新たな法的考慮事項が明らかになった。
  論文  参考訳（メタデータ） (2024-02-02T19:35:34Z)
• A Comprehensive Evaluation of Large Language Models on Legal Judgment Prediction [60.70089334782383]
  大規模言語モデル(LLM)は、ドメイン固有のアプリケーションに大きな可能性を示している。 GPT-4の法律評価をめぐる近年の論争は、現実の法的タスクにおけるパフォーマンスに関する疑問を提起している。 我々は,LLMに基づく実践的ベースラインソリューションを設計し,法的判断予測の課題を検証した。
  論文  参考訳（メタデータ） (2023-10-18T07:38:04Z)
• Perspectives on Large Language Models for Relevance Judgment [56.935731584323996]
  大型言語モデル(LLM)は、関連判断を支援することができると主張している。 自動判定が検索システムの評価に確実に利用できるかどうかは不明である。
  論文  参考訳（メタデータ） (2023-04-13T13:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。