論文の概要: InsufficiencyBench: Evaluating LLM legal advice on underspecified user queries
- arxiv url: http://arxiv.org/abs/2608.20220v1
- Date: Thu, 20 Aug 2026 16:14:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.633424
- Title: InsufficiencyBench: Evaluating LLM legal advice on underspecified user queries
- Title（参考訳）: InsufficiencyBench: 未特定ユーザクエリに対するLDM法的なアドバイスの評価
- Abstract要約: InsufficiencyBenchは、クエリサイドの障害をターゲットとする最初の法定ベンチマークです。
我々は3つの構造的故障モードにまたがる8つの標準的欠落要素カテゴリーの分類を定式化する。
完全なクエリを直接処理しながら、不十分なクエリに対する応答を識別し、資格付けするモデルはありません。
- 参考スコア（独自算出の注目度）: 18.0624065854059
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Legal AI systems are increasingly used to answer legal questions, yet existing benchmarks assume queries arrive fully specified. In practice, users omit facts that materially determine the legal outcome. We introduce InsufficiencyBench, the first legal benchmark targeting query-side insufficiency: whether a model recognizes when a query lacks legally material information, identifies what is missing, and refrains from premature conclusions. We formalize a taxonomy of eight canonical missing-element categories across three structural failure modes---switch, gating, and fatal prerequisite--- and construct 202 benchmark items (58 base queries, 144 deficient variants) spanning six legal domains and 24 US jurisdictions and annotated by practising attorneys. Evaluating ten frontier models, we find that no model exceeds F2 = 0.46 on missing-element identification and that the median recall is 0.44. Models either hedge indiscriminately or answer silently under fabricated presumptions. No model both identifies and qualifies responses to deficient queries while directly addressing complete ones.
- Abstract（参考訳）: 法的なAIシステムは、法的質問に答えるためにますます使われていますが、既存のベンチマークでは、クエリが完全に特定されると仮定しています。
実際には、ユーザーは法的結果を実質的に決定する事実を省略する。
InsufficiencyBenchは、クエリサイドの非十分性をターゲットとする最初の法的なベンチマークである。
我々は,3つの構造的障害モード-スウィッチ,ゲーティング,致命的前提条件-の8つの標準的欠落要素カテゴリーの分類を定式化し,6つの法域と24の米国司法管轄区域にまたがる202のベンチマーク項目(58のベースクエリ,144の欠陥変種)を構築し,弁護士によって注釈を付した。
10つのフロンティアモデルを評価すると、欠落要素識別においてF2 = 0.46を超えるモデルはなく、中央値リコールは 0.44 である。
モデルは無差別にヘッジするか、製造された推定の下で静かに答える。
完全なクエリを直接処理しながら、不十分なクエリに対する応答を識別し、資格付けするモデルはありません。
関連論文リスト
- IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。
提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。
IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
論文 参考訳（メタデータ） (2026-09-09T17:59:04Z) - How AI Models Manage Epistemic Authority: A Taxonomy and Comparative Analysis of Responses to User Disagreement [0.573978744524696]
ユーザが回答に挑戦すると、モデルがどのように権威を管理し、ここでは知識、能力、あるいは助言する権利を主張する。
我々は,14モデルから2,310個の制御された課題シナリオと32,340個の応答のデータセットを構築した。
反応の85%でユーザを検証するが、元のクレームは65%で維持する。
論文 参考訳（メタデータ） (2026-09-07T15:47:29Z) - LexRubric: A Rubric-Guided Diagnostic Benchmark for Open-Ended Legal Tasks [42.88450102623113]
オープンな中国の法的タスクを評価するためのルーブリックベースのベンチマークであるLexRubricを紹介した。
これには、日々の法的要求と専門的な法的理由の両方を反映した、法的協議と司法試験からの649の事例が含まれる。
また、12,337人の専門家による原子鑑定基準を、統一された6次元フレームワークの下で構成している。
論文 参考訳（メタデータ） (2026-06-08T12:04:47Z) - CaseFacts: A Benchmark for Legal Fact-Checking and Precedent Retrieval [5.305110876082343]
CaseFactsは、アメリカ合衆国最高裁判所の判例に対する法的主張を検証するためのベンチマークである。
データセットは、Supported、Refuted、Overruledに分類される6,294のクレームで構成されている。
論文 参考訳（メタデータ） (2026-01-23T23:41:46Z) - AppellateGen: A Benchmark for Appellate Legal Judgment Generation [30.9030336647868]
7,351対のケースペアからなる第2のインスタンス法定判断生成のためのベンチマークであるAppellateGenを紹介する。
このタスクは、最初の評決と明らかな更新について推論することで、法的に拘束力のある判断を起草するモデルを必要とする。
本稿では,SOPに基づく法的マルチエージェントシステム(SLMAS)を提案し,その生成過程を個別の課題識別,検索,起草の段階に分解する。
論文 参考訳（メタデータ） (2026-01-04T02:15:17Z) - Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
既存のベンチマークは、主に質問レベルで質問をキュレートする。
ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
論文 参考訳（メタデータ） (2025-12-31T13:55:54Z) - Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。
25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。
私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
論文 参考訳（メタデータ） (2025-10-01T07:59:03Z) - ClaimGen-CN: A Large-scale Chinese Dataset for Legal Claim Generation [56.79698529022327]
法的な主張は、事件における原告の要求を言及し、法的理由づけと事件解決を導くのに不可欠である。
本稿では,その事例の事実に基づく法的クレーム生成の問題について考察する。
われわれは,中国法定クレーム生成タスクの最初のデータセットであるClaymGen-CNを構築した。
論文 参考訳（メタデータ） (2025-08-24T07:19:25Z) - LegalSearchLM: Rethinking Legal Case Retrieval as Legal Elements Generation [9.894351313663874]
LCR(Lawal Case Retrieval)は、法律専門家の基本的な課題である。
LCRに関する既存の研究は2つの大きな制限に直面している。
まず,比較的小規模な検索コーパスを用いて評価を行った。
第二に、埋め込み方式や語彙マッチング方式への依存は、しばしば限定的な表現と法的に無関係な一致をもたらす。
論文 参考訳（メタデータ） (2025-05-28T09:02:41Z) - LEXam: Benchmarking Legal Reasoning on 340 Law Exams [76.3521146499006]
textscLEXamは,法科116科の法科試験を対象とする340件の法科試験を対象とする,新しいベンチマークである。
このデータセットは、英語とドイツ語で4,886の法試験質問で構成されており、その中には2,841の長文のオープンエンド質問と2,045の多重選択質問が含まれている。
この結果から,モデル間の差分化におけるデータセットの有効性が示唆された。
論文 参考訳（メタデータ） (2025-05-19T08:48:12Z) - The Art of Saying No: Contextual Noncompliance in Language Models [123.383993700586]
本稿では,ユーザの要求に従わないモデルについて,コンテキスト非準拠の包括的分類を導入する。
我々の分類は、不完全、不完全、不完全、不決定、人為的要求を含む幅広いカテゴリーにまたがる。
言語モデルの非準拠性をテストするために,1000個の非準拠プロンプトの新たな評価スイートを開発するために,この分類法を用いる。
論文 参考訳（メタデータ） (2024-07-02T07:12:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。