論文の概要: Legal LLM Hallucination Should Be Evaluated as Failure of Legal Warrant
- arxiv url: http://arxiv.org/abs/2609.17546v1
- Date: Wed, 15 Jul 2026 09:15:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.550387
- Title: Legal LLM Hallucination Should Be Evaluated as Failure of Legal Warrant
- Title（参考訳）: 法的なLLMの幻覚は、法的な警告の失敗として評価されるべきである
- Abstract要約: 法的なLLMの幻覚は、事実的不正確性や引用的失敗よりも、法的令状の失敗として評価されるべきである。
我々は,クレーム-オーソリティ令状を,関連する司法管轄区域に該当し,分析の日付の現在であり,システムに代表される法的地位を有し,主張する主張を支持する,連続的法的クレームと権限の間の文脈依存的な関係として定義する。
- 参考スコア（独自算出の注目度）: 13.301902879196478
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this position paper, we argue that legal LLMs' hallucinations should be evaluated as a failure of legal warrant rather than as factual inaccuracy or citation failure. We define claim-authority warrant as the context-sensitive relation between a consequential legal claim and authority that exists, applies to the relevant jurisdiction, is current for the date of analysis, has the legal status represented by the system, and supports the proposition asserted. Warranted legal generation is the broader system behavior that answers, narrows, asks, warns, corrects a false premise, or abstains according to that relation. The falsifiable prediction is that warrant metrics reveal material failures that answer accuracy, citation existence, generic attribution, LegalHalBench-style statute relevance, and CitaLaw-style sentence-citation alignment can miss. We sharpen this claim with a side-by-side comparison item and a small, reproducible pilot over public-rule tests. We then specify benchmark records, claim boundaries, support labels, mixed response-policy scoring, risk weights, annotation reliability reporting, and jurisdiction-specific authority ontologies. The result is a concrete research agenda for evaluating legal AI systems by whether their consequential claims are licensed by law.
- Abstract（参考訳）: 本稿では,法的LLMの幻覚は,事実的不正確性や引用的失敗というよりも,法的保証の失敗として評価されるべきである,と論じる。
我々は,クレーム-オーソリティ令状を,関連する司法管轄区域に該当し,分析の日付の現在であり,システムに代表される法的地位を有し,主張する主張を支持する,連続的法的クレームと権限の間の文脈依存的な関係として定義する。
警告された法的な世代は、その関係に従って答え、絞り込み、質問、警告、偽りの前提の修正、または棄権するより広いシステム行動である。
偽証可能な予測は、令状メトリクスが正確さ、引用存在、一般的な属性、法定ハルベンチスタイルの法令関連、CitaLawスタイルの文引用アライメントに答える物質的失敗を明らかにすることである。
我々は、この主張を、サイドバイサイド比較項目と、公開ルールテストよりも小型で再現可能なパイロットで精査する。
次に、ベンチマークレコード、クレーム境界、サポートラベル、混合応答政策スコア、リスクウェイト、アノテーションの信頼性レポート、および管轄権固有の権限オントロジーを指定する。
その結果は、法的AIシステムを評価するための具体的な研究課題である。
関連論文リスト
- Sycophants in the Courtroom: Are LLMs Fragile to Juridical Authority and Evolving Legal Standards? [12.563846436601473]
医学における主張は、安定した生物学的現実に根ざした実証的な証拠によって支持された場合にも有効である。
法学において、真理とは、管轄権、時間的妥当性、権威的情報源の階層によって定義される一致である。
論文 参考訳（メタデータ） (2026-08-10T16:59:15Z) - Legal Reasoning Is Not Lawyering: Rethinking Legal Benchmarks for Pro Se Access to Justice [0.0]
法的なAIベンチマーク研究は、大きな言語モデルが正義へのアクセスを改善するという仮定をしばしば呼び起こす。
現在のベンチマークでは、すでに法律専門家が事前処理済みのインプットに対する法的推論を評価するため、この仮定を支持する能力がないと我々は主張する。
私たちは、プロセプティックなインプットの下でロバスト性を直接測定する法的なベンチマークを要求して、法的AIに関するアクセシビリティー・トゥ・ジャスティス・クレームが実証的にテスト可能であると結論付けています。
論文 参考訳（メタデータ） (2026-06-16T14:19:04Z) - Citation-Closure Retrieval and Per-Rule Attribution for Real-World Regulatory Compliance Question Answering [54.97384993676565]
複雑な国内R&D規制から派生した運用知識グラフを特徴とする,新たなベンチマークであるRegOps-Benchを用いて,レギュレーションコンプライアンスQAを形式化する。
RefWalkはクロスドキュメントの引用を横切り、マックスベースのアグリゲーションを通じてマルチビュー候補を融合させ、ソースへのクレームを明示的にマッピングするためにルールごとの属性を強制する。
論文 参考訳（メタデータ） (2026-05-28T10:38:38Z) - Which Changes Matter? Towards Trustworthy Legal AI via Relevance-Sensitive Evaluation and Solver-Grounded Reasoning [11.988348978958376]
法的なAIは、法的に無関係な摂動の下で安定していなければならない。
本報告では, 公正性, 堅牢性, および法令の混同シナリオにまたがって, 変更すべきこと, 変更すべきでないことを評価する一貫した評価スイートを導入する。
本稿では,形式的推論に基づく逆多エージェントフレームワークであるLexGuardを紹介する。
論文 参考訳（メタデータ） (2026-05-26T04:20:06Z) - CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era [51.63024682584688]
大規模言語モデル (LLM) は新たなリスクを導入している。
本稿では,科学文献における幻覚的引用のための総合的なベンチマークおよび検出フレームワークについて紹介する。
我々のフレームワークは、精度と解釈可能性の両方において、先行手法を著しく上回っている。
論文 参考訳（メタデータ） (2026-02-26T19:17:39Z) - LegalOne: A Family of Foundation Models for Reliable Legal Reasoning [54.57434222018289]
我々は、中国の法律ドメインに特化された基礎モデルのファミリーであるLegalOneを紹介します。
LegalOneは、法的推論をマスターするために設計された包括的な3フェーズパイプラインを通じて開発されている。
LegalOneの重み付けとLegalKit評価フレームワークを公開して、Legal AIの分野を前進させます。
論文 参考訳（メタデータ） (2026-01-31T10:18:32Z) - CaseFacts: A Benchmark for Legal Fact-Checking and Precedent Retrieval [5.305110876082343]
CaseFactsは、アメリカ合衆国最高裁判所の判例に対する法的主張を検証するためのベンチマークである。
データセットは、Supported、Refuted、Overruledに分類される6,294のクレームで構成されている。
論文 参考訳（メタデータ） (2026-01-23T23:41:46Z) - Evaluating Legal Reasoning Traces with Legal Issue Tree Rubrics [49.3262123849242]
LEGIT(LEGal Issue Trees)は,新しい大規模(24Kインスタンス)の専門家レベルの法的推論データセットである。
我々は、裁判判決を、当事者の議論と裁判所の結論の階層的な木に変換する。
論文 参考訳（メタデータ） (2025-11-30T18:32:43Z) - The Law-Following AI Framework: Legal Foundations and Technical Constraints. Legal Analogues for AI Actorship and technical feasibility of Law Alignment [0.0]
ローフォローAI(Law-Following AI)」は、先進的なAIエージェントのための超越的な設計目標として、法的コンプライアンスを組み込むことを目的としている。
エージェントの不正調整に関する最近の研究は、詐欺、脅迫、有害な行為に携わる有能なAIエージェントが、偏見的指示を欠いていることを示している。
コンプライアンスと欠陥検出のための"Lex-TruthfulQA"ベンチマーク,(ii)モデル自己概念に合法的な行為を埋め込むアイデンティティ形成介入,(iii)デプロイ後監視のための制御理論尺度を提案する。
論文 参考訳（メタデータ） (2025-09-08T16:00:55Z) - GLARE: Agentic Reasoning for Legal Judgment Prediction [60.13483016810707]
法学分野では、法的判断予測(LJP)がますます重要になっている。
既存の大規模言語モデル (LLM) には、法的な知識が不足しているため、推論に不十分な重大な問題がある。
GLAREは,異なるモジュールを呼び出し,重要な法的知識を動的に獲得するエージェント的法的推論フレームワークである。
論文 参考訳（メタデータ） (2025-08-22T13:38:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。