論文の概要: Do LLMs Fabricate Legal Citations? A Bilingual Benchmark on Saudi Data Protection Law and the GDPR
- arxiv url: http://arxiv.org/abs/2607.11127v1
- Date: Mon, 13 Jul 2026 06:03:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 17:47:21.345442
- Title: Do LLMs Fabricate Legal Citations? A Bilingual Benchmark on Saudi Data Protection Law and the GDPR
- Title（参考訳）: LLMは合法化を図っているか? サウジアラビアのデータ保護法とGDPRに関するバイリンガルベンチマーク
- Abstract要約: 間違った法定引用は、法的助言、コンプライアンス文書、および政策決定に静かに伝播する可能性がある。
本稿では,自由アクセス型言語モデル(LLM)が記事引用を作成できるかどうかを問う120の質問のベンチマークを紹介する。
このベンチマークは、直接引用検索質問と偽の前提検証プローブと、意図的に答えられない「トラップ」質問とをペアリングする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Organizations and regulators increasingly consult large language models (LLMs) for regulatory-compliance questions, yet a wrong statutory citation can silently propagate into legal advice, compliance documentation, and policy decisions. We introduce a bilingual benchmark of 120 questions probing whether freely accessible LLMs fabricate article citations for two data-protection instruments: the EU General Data Protection Regulation (GDPR) and the Saudi Personal Data Protection Law (PDPL). The benchmark pairs direct citation retrieval questions with false premise verification probes and deliberately unanswerable "trap" questions -- including questions about a repealed article and about deadlines that exist only in implementing regulations, not in the law itself. Every question is posed in both Arabic and English, and all scoring is fully automatic against a manually verified gold reference. Evaluating three freely accessible models (Gemini 2.5 Flash, GPT-OSS-120B, Nemotron-3-Super-120B), we find a dramatic jurisdiction gap: near-ceiling citation accuracy on the GDPR (94-100% on direct retrieval) against majority fabrication on the Saudi PDPL (60-77%), invariant to query language; the highest fabrication rates (67%) arise from statute-vs-regulations confusion, and 91% of fabricated citations are asserted with confidence >= 0.8. Fabrication tracks the jurisdiction of the law, not the language of the query, and model confidence provides no protection -- indicating that verbatim-verification safeguards, rather than model self confidence, must gate any institutional reliance on LLMs for compliance screening.
- Abstract（参考訳）: 組織や規制機関は、規制に準拠する質問に対して、大きな言語モデル(LLM)を参照する傾向にあるが、誤った法的な引用は、法的助言、コンプライアンス文書、政策決定に静かに伝播する可能性がある。
本稿では、EU一般データ保護規則(GDPR)とサウジアラビア個人データ保護法(PDPL)の2つのデータ保護手段について、自由アクセス可能なLLMが記事引用を作成できるかどうかを問う120の質問のバイリンガルベンチマークを紹介する。
このベンチマークは、直接引用検索の質問と、偽の前提検証調査と、故意に答えられない「トラップ」の質問とを組み合わせている。
全ての質問はアラビア語と英語の両方で行われ、すべてのスコアは手作業で検証された金の基準に対して完全に自動的である。
自由アクセス可能な3つのモデル(Gemini 2.5 Flash, GPT-OSS-120B, Nemotron-3-Super-120B)を評価した結果,GDPR(直接検索で94-100%)とクエリ言語に不変なサウジアラビアのPDPL(60-77%)の多数作成に対して,GDPR(直接検索で94-100%)にほぼ近い引用精度が得られた。
作成は、クエリの言語ではなく法律の管轄を追跡しており、モデルの信頼性は保護を提供していない。
関連論文リスト
- TW-LegalBench: Measuring Taiwanese Legal Understanding [1.8953545128709688]
大規模言語モデル(LLM)は、様々なタスクにまたがる印象的な能力を示しているが、管轄に固有の法的理由に関するそれらのパフォーマンスは、未調査のままである。
本稿では,台湾の法体系の豊富な公式コーパスを利用して,台湾法におけるLLMの評価のギャップを埋めるTW-LegalBenchについて述べる。
論文 参考訳（メタデータ） (2026-06-17T05:25:21Z) - LegalCiteBench: Evaluating Citation Reliability in Legal Language Models [14.281332347684872]
LegalCiteBenchは、法律言語モデルにおけるクローズドブックの引用回復、引用検証、ケースマッチングを研究するためのベンチマークである。
このベンチマークは、引用検索、引用完了、引用エラー検出、ケースマッチング、ケース検証と修正の5つの引用中心タスクをカバーしている。
論文 参考訳（メタデータ） (2026-05-11T08:37:54Z) - ContextLens: Modeling Imperfect Privacy and Safety Context for Legal Compliance [49.524070843587594]
本研究では,大規模言語モデル(LLM)を活用し,法的領域における入力コンテキストを基盤とするセミルールベースのフレームワークであるContextLensを提案する。
我々は、General Data Protection Regulation()とEU AI Actをカバーする既存のコンプライアンスベンチマークの実験を行います。
その結果、ContextLensはLLMのコンプライアンス評価を大幅に改善し、トレーニングなしで既存のベースラインを越えられることが示唆された。
論文 参考訳（メタデータ） (2026-04-14T05:35:38Z) - Towards Reliable Truth-Aligned Uncertainty Estimation in Large Language Models [54.51264434040939]
不確実性推定(UE)は、大規模言語モデル(LLM)の幻覚出力を検出することを目的とする。
ほとんどのUEメトリクスはモデル動作に由来するので、プロキシ障害としてこの現象を定式化します。
UE測定値の補正のためのポストホックキャリブレーション法であるTrath AnChoring (TAC)を提案する。
論文 参考訳（メタデータ） (2026-04-01T03:42:16Z) - Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking [64.97768177044355]
大規模言語モデル(LLM)は、現実のファクトチェックシステムにますます多くデプロイされている。
FactArenaは、完全に自動化されたアリーナスタイルの評価フレームワークである。
本研究では,静的クレーム検証精度とエンドツーエンドのファクトチェック能力の相違点を明らかにした。
論文 参考訳（メタデータ） (2026-01-06T02:51:56Z) - EU-Agent-Bench: Measuring Illegal Behavior of LLM Agents Under EU Law [39.146761527401424]
EU-Agent-Benchは、EUの法規範とエージェントの整合性を評価する検証可能なベンチマークである。
私たちのベンチマークは、データ保護、バイアス/差別、科学的完全性など、さまざまなカテゴリのシナリオにまたがっています。
我々は、データ汚染を防ぐためのプライベートテストセットを公開し、研究コミュニティ向けのパブリックプレビューセットをリリースする。
論文 参考訳（メタデータ） (2025-10-24T14:48:10Z) - ClauseLens: Clause-Grounded, CVaR-Constrained Reinforcement Learning for Trustworthy Reinsurance Pricing [0.0]
ClauseLensは条約引用のための条項付き強化学習フレームワークである。
透明で規制に順応し、リスクに配慮した条約の引用を生成する。
可溶性違反を51%減らし、テールリスクパフォーマンスを27.9%改善し、節起点の説明では88.2%の精度を達成した。
論文 参考訳（メタデータ） (2025-10-09T16:43:49Z) - Towards Automated Regulatory Compliance Verification in Financial Auditing with Large Language Models [2.502173772742615]
我々は,様々なモデル構成における規制コンプライアンスの領域において,一般公開されたLarge Language Models (LLM) の効率性について検討する。
オープンソースのLlama-270億モデルは,非コンプライアンスや真の負の発生を検出する上で,優れた性能を示す。
GPT-4のようなプロプライエタリなモデルは、特に非英語の文脈において、様々なシナリオで最高の性能を発揮する。
論文 参考訳（メタデータ） (2025-07-22T14:39:54Z) - Context Reasoner: Incentivizing Reasoning Capability for Contextualized Privacy and Safety Compliance via Reinforcement Learning [53.92712851223158]
安全とプライバシの問題を文脈整合性(CI)理論に従って文脈整合性問題に定式化する。
CIフレームワークの下では、当社のモデルを3つの重要な規制基準 – EU AI ActとHIPAA – に整合させています。
我々は、安全・プライバシー基準の遵守を高めつつ、文脈推論能力を高めるためにルールベースの報酬を持つ強化学習(RL)を採用している。
論文 参考訳（メタデータ） (2025-05-20T16:40:09Z) - LEXam: Benchmarking Legal Reasoning on 340 Law Exams [76.3521146499006]
textscLEXamは,法科116科の法科試験を対象とする340件の法科試験を対象とする,新しいベンチマークである。
このデータセットは、英語とドイツ語で4,886の法試験質問で構成されており、その中には2,841の長文のオープンエンド質問と2,045の多重選択質問が含まれている。
この結果から,モデル間の差分化におけるデータセットの有効性が示唆された。
論文 参考訳（メタデータ） (2025-05-19T08:48:12Z) - InternLM-Law: An Open Source Chinese Legal Large Language Model [72.2589401309848]
InternLM-Lawは、中国法に関する様々な法的クエリに対処するための特殊なLLMである。
われわれは、中国法域に100万以上のクエリを含むデータセットを慎重に構築する。
InternLM-LawはLawBench上で最高の平均性能を達成し、20サブタスク中13サブタスクでGPT-4を含む最先端モデルを上回っている。
論文 参考訳（メタデータ） (2024-06-21T06:19:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。