論文の概要: When Citations Mislead? A Claim-Level Benchmark for Legal Hallucination Detection

• arxiv url: http://arxiv.org/abs/2610.10971v1
• Date: Wed, 07 Oct 2026 22:43:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.692971
• Title: When Citations Mislead? A Claim-Level Benchmark for Legal Hallucination Detection
• Title（参考訳）: Citations Mislead? 法的な幻覚検出のためのクレームレベルベンチマーク
• Abstract要約: PARCELは、法的な主張が根底にある当局によって支持されているかどうかを確認するためのベンチマークである。 最近のニューヨーク州控訴裁判所の判断により、我々は3,396件の括弧状クレームのデータセットを構築しました。 最強のモデルは0.97の精度に達するが、結果は重要な弱点も示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly used in legal research and drafting, but they can still produce claims that sound convincing without being supported by the cited source. We introduce PARCEL, a benchmark for checking whether a legal claim is supported by the underlying authority. Using recent New York State Court of Appeals decisions, we build a dataset of 3,396 parenthetical-style claims labeled as Supported, Refuted, or Not Found. We cast this task as a three-way natural language inference problem and evaluate several state-of-the-art LLMs in a zero-shot setting. Although the strongest models reach up to 0.97 accuracy, the results also show an important weakness: models still incorrectly mark unsupported claims as supported, even when the full opinion text is provided. Across models, missing support is harder to detect than direct contradiction, and fabricated but plausible citations cause the largest drop in performance. Overall, PARCEL provides a practical benchmark for testing claim-level groundedness in legal RAG systems.
• Abstract（参考訳）: 大規模言語モデルは、法的研究や起草にますます使われているが、引用された情報源に支持されることなく、説得力のある主張を生み出すことができる。 PARCELは、法的な主張が根底にある当局によって支持されているかどうかを確認するためのベンチマークである。 最近のニューヨーク州控訴裁判所の判断により、我々は3,396件の括弧状クレームのデータセットを構築しました。 我々はこのタスクを3方向の自然言語推論問題とみなし、ゼロショット設定でいくつかの最先端のLLMを評価した。 最強のモデルは0.97の精度に達するが、結果は重要な弱点も示している。 モデル全体では、サポートの欠如は直接矛盾するよりも検出が困難であり、製造されているが、実証可能な引用は最大の性能低下を引き起こす。 PARCELは、法的RAGシステムのクレームレベル基底性をテストするための実用的なベンチマークを提供する。

関連論文リスト

• GRACE: Grounded Adversarial Reasoning over Canadian Law [0.055997926295092294]
  カナダの連邦法に基づく1,915件の質問応答のデータセットであるGRACEを紹介した。 我々は,原文を分割し,シナリオベースの質問や推論を生成し,モデル不要な引用検証によって例をフィルタリングするパイプラインを開発した。 CLeAR-4B(Canadian Legal Adversarial Reasoning, CLeAR-4B)は、法定推論のための軽量なモデルである。
  論文  参考訳（メタデータ） (2026-09-20T16:08:22Z)
• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• DeepSciVerify: Verifying Scientific Claim--Citation Alignment via LLM-Driven Evidence Escalation [39.146761527401424]
  本稿では,科学的クレーム引用検証のための2段階パイプラインであるDeepSciVerifyを紹介する。 このシステムはまず, 要約を用いてクレームを検証し, 必要な場合にのみ全文を検索, 解析する。
  論文  参考訳（メタデータ） (2026-05-26T21:33:29Z)
• LegalCiteBench: Evaluating Citation Reliability in Legal Language Models [14.281332347684872]
  LegalCiteBenchは、法律言語モデルにおけるクローズドブックの引用回復、引用検証、ケースマッチングを研究するためのベンチマークである。 このベンチマークは、引用検索、引用完了、引用エラー検出、ケースマッチング、ケース検証と修正の5つの引用中心タスクをカバーしている。
  論文  参考訳（メタデータ） (2026-05-11T08:37:54Z)
• FactReview: Evidence-Grounded Reviews with Literature Positioning and Execution-Based Claim Verification [57.196748998757954]
  本稿では,クレーム抽出,文献位置決定,実行に基づくクレーム検証を組み合わせたエビデンスベースレビューシステムであるFactReviewを紹介する。 FactReviewは論文を提出すると、主要なクレームを特定し、その結果を報告し、論文の技術的な位置を明らかにするために近くの作業を取り出し、コードが利用可能であれば、リリースされたリポジトリを実行する。 その後、簡潔なレビューと、主要な請求を5つのラベルのうち1つに割り当てるエビデンスレポートを生成する。
  論文  参考訳（メタデータ） (2026-04-05T11:45:22Z)
• CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era [51.63024682584688]
  大規模言語モデル (LLM) は新たなリスクを導入している。 本稿では,科学文献における幻覚的引用のための総合的なベンチマークおよび検出フレームワークについて紹介する。 我々のフレームワークは、精度と解釈可能性の両方において、先行手法を著しく上回っている。
  論文  参考訳（メタデータ） (2026-02-26T19:17:39Z)
• CaseFacts: A Benchmark for Legal Fact-Checking and Precedent Retrieval [5.305110876082343]
  CaseFactsは、アメリカ合衆国最高裁判所の判例に対する法的主張を検証するためのベンチマークである。 データセットは、Supported、Refuted、Overruledに分類される6,294のクレームで構成されている。
  論文  参考訳（メタデータ） (2026-01-23T23:41:46Z)
• Better Call CLAUSE: A Discrepancy Benchmark for Auditing LLMs Legal Reasoning Capabilities [15.35489310097019]
  CLAUSE は LLM の法的な推論の脆弱性を評価するために設計された第一種ベンチマークである。 我々の研究は、法的AIにおけるそのような推論失敗を特定し、修正する道筋を概説している。
  論文  参考訳（メタデータ） (2025-11-01T00:51:21Z)
• FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
  FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。 FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。 Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
  論文  参考訳（メタデータ） (2023-10-18T16:27:49Z)
• WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
  We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。 標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。 我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
  論文  参考訳（メタデータ） (2023-03-02T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。