論文の概要: Citation Grounding: Detecting and Reducing LLM Citation Hallucinations via Legal Citation Graphs
- arxiv url: http://arxiv.org/abs/2606.00898v1
- Date: Sat, 30 May 2026 21:22:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.96842
- Title: Citation Grounding: Detecting and Reducing LLM Citation Hallucinations via Legal Citation Graphs
- Title（参考訳）: Citation Grounding:法定Citation GraphsによるLLM幻覚の検出と低減
- Abstract要約: 5つのシステムにまたがる100のウクライナの法的クエリに関する実証的評価
13-21%の励起が幻覚し、励起精度は0.791から0.873である。
人間のアノテーションを使わずに幻覚を減らすために,Citation Grounding DPOを導入する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models systematically hallucinate legal citations -- fabricating statute references, citing repealed provisions, and confusing jurisdictions -- yet no automated method exists to measure or reduce this behavior at scale. We propose citation grounding (CG), a metric that verifies LLM-generated legal citations against a ground-truth citation graph extracted from 100.8 million Ukrainian court decisions (502 million edges, 21,736 unique statute nodes). CG decomposes into three components -- citation precision (does the cited provision exist?), citation relevance (is it contextually appropriate?), and citation temporality (was it valid at the relevant date?) -- enabling differential diagnosis of hallucination types. Empirical evaluation on 100 Ukrainian legal queries across five systems -- four commercial LLMs via AWS Bedrock (Claude Haiku 4.5, Mistral Pixtral Large, Amazon Nova Pro/Lite) and one RAG-augmented production system -- reveals CG ranging from 0.791 to 0.873, with 13-21% of citations hallucinated. To reduce hallucinations without human annotation, we introduce Citation Grounding DPO (CG-DPO): a method that constructs preference pairs algorithmically by corrupting verified citations from real court decisions via four targeted strategies. On a dataset of 2,244 court decisions, a Qwen2.5-7B-Instruct model fine-tuned with LoRA achieves 98.5% mean validation accuracy in distinguishing correct from corrupted citations (rewards margin +14.9, std < 0.3 pp across 3 seeds). The citation graph, evaluation framework, and CG-DPO dataset are released as open resources.
- Abstract（参考訳）: 大規模な言語モデルでは、法的な引用を体系的に幻覚させ、法律の参照を作成し、削除された条項を引用し、司法管轄を混乱させ、しかしながら、この行動を大規模に測定したり減らしたりする自動化手法は存在しない。
ウクライナの裁判所決定(5億200万縁,21,736個の法定ノード)から抽出した地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地-地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地対地関係関係関係
CGは、引用精度(引用された規定は存在するか?)、引用関連(文脈的に適切か?)、引用時間性(関連する日付で有効か?)の3つの構成要素に分解し、幻覚の型を区別できる。
5つのシステム(AWS Bedrock(Claude Haiku 4.5、Mistral Pixtral Large、Amazon Nova Pro/Lite)による4つの商用LCMと1つのRAG拡張プロダクションシステム)にわたる100のウクライナの法律クエリに関する実証的な評価によると、CGは0.791から0.873の範囲で、引用の13-21%が幻覚的である。
Citation Grounding DPO (CG-DPO: Citation Grounding DPO) は,実際の裁判所の判断から4つの戦略を駆使して,選好ペアをアルゴリズム的に構築する手法である。
2244の判決のデータセットでは、LoRAで微調整されたQwen2.5-7B-インストラクトモデルが、腐敗した引用と正しく区別する平均的な検証精度を98.5%達成している(リワードマージン+14.9, std < 0.3 pp across 3 seed)。
引用グラフ、評価フレームワーク、CG-DPOデータセットをオープンリソースとしてリリースする。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Who is the Agent to Blame? Localizing Faithfulness and Citation Mistakes in Agentic Deep Research [75.8770212601511]
ディープリサーチ(DR)システムは、Webから情報を検索して合成する複数のエージェントを編成することで、長い形式の引用レポートを生成する。
循環はこれらの報告の忠実さを評価するための主要なメカニズムであるが、現在のDRシステムでは引用のリコールが不十分である。
そこで本稿では,エージェントが各エラーをローカルにテストすることで,各エラーをピンポイントで検出する手法を提案する。
論文 参考訳（メタデータ） (2026-08-25T09:34:18Z) - Is this Citation on Point? [1.4303229099281964]
実法的引用の制御摂動による命題レベルの引用支援検証について検討する。
モデルは不正ケースの93%-100%を占める。
裁判所の意見では37-61%、法的な説明では52-83%の不正な汚職しか得られていない。
論文 参考訳（メタデータ） (2026-08-12T20:28:55Z) - Who Checks the Citations? Benchmarking Legal Hallucination Detection [7.592193069681834]
司法、裁判官、プロセパフォーマーは、ますますAIを使って法的文書の草案を作成するが、これらのツールは引用をしばしば作っている。
本研究は,幻覚を自動的に検出することで,AIに基づくシステムがこれらの誤りを軽減できるかどうかを評価する。
本稿では,実際の裁判所提出書類に基づいた法的な引用幻覚の分類法を提案し,インジェクトエラーを含む1,300件の簡単な抜粋のデータセットを提案する。
論文 参考訳（メタデータ） (2026-06-19T06:47:31Z) - Citation-Closure Retrieval and Per-Rule Attribution for Real-World Regulatory Compliance Question Answering [54.97384993676565]
複雑な国内R&D規制から派生した運用知識グラフを特徴とする,新たなベンチマークであるRegOps-Benchを用いて,レギュレーションコンプライアンスQAを形式化する。
RefWalkはクロスドキュメントの引用を横切り、マックスベースのアグリゲーションを通じてマルチビュー候補を融合させ、ソースへのクレームを明示的にマッピングするためにルールごとの属性を強制する。
論文 参考訳（メタデータ） (2026-05-28T10:38:38Z) - Automatic Construction of a Legal Citation Graph from 100 Million Ukrainian Court Decisions: Large-Scale Extraction, Topological Analysis, and Ontology-Driven Clustering [0.0]
ウクライナの裁判所決定から抽出された1070万件の訴訟の端は、司法の引用構造が監督なしで法域の境界をコードしていることを示している。
完全SRレジストリから最初の大規模引用グラフ(9950万全文、1.1TB)を構築する。
論文 参考訳（メタデータ） (2026-05-14T19:42:20Z) - LegalCiteBench: Evaluating Citation Reliability in Legal Language Models [14.281332347684872]
LegalCiteBenchは、法律言語モデルにおけるクローズドブックの引用回復、引用検証、ケースマッチングを研究するためのベンチマークである。
このベンチマークは、引用検索、引用完了、引用エラー検出、ケースマッチング、ケース検証と修正の5つの引用中心タスクをカバーしている。
論文 参考訳（メタデータ） (2026-05-11T08:37:54Z) - Source or It Didn't Happen: A Multi-Agent Framework for Citation Hallucination Detection [30.352741291341843]
既存の検出器は2値の発見/未確定の決定に還元され、監査者へのフィールドレベルの信号はほとんど提供されない。
実, 可能性, および有能な引用にまたがる12のコード分類法を導入する。
CiteTracerはPDFとBibから引用を抽出し、ルックアップURL、学者コネクタ、Web検索を通じて証拠を取得する。
合成ベンチマークでは97.1%の精度に達し、クラスレベルのF1スコアはそれぞれ97.0、95.8、98.5のReal、Val、Halucinatedに到達し、吸収することなく現実世界の幻覚を作る。
論文 参考訳（メタデータ） (2026-05-09T00:53:24Z) - Are Finer Citations Always Better? Rethinking Granularity for Attributed Generation [75.27453112832093]
その結果, 微粒化は, 最も優れた粒度に比べて, 属性品質を16～276%低下させることがわかった。
分析の結果,詳細な(文レベルの)引用は,主張に答えるために証拠を帰属させるために必要な意味的依存関係を阻害することがわかった。
厳密には、引用-最適粒度は、回答の正しさを保ったり改善したりしながら、帰属品質を大幅に向上させる。
論文 参考訳（メタデータ） (2026-04-01T22:16:23Z) - CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era [51.63024682584688]
大規模言語モデル (LLM) は新たなリスクを導入している。
本稿では,科学文献における幻覚的引用のための総合的なベンチマークおよび検出フレームワークについて紹介する。
我々のフレームワークは、精度と解釈可能性の両方において、先行手法を著しく上回っている。
論文 参考訳（メタデータ） (2026-02-26T19:17:39Z) - How LLMs Cite and Why It Matters: A Cross-Model Audit of Reference Fabrication in AI-Assisted Academic Writing and Methods to Detect Phantom Citations [1.0829694003408499]
大規模言語モデル(LLM)は、学術的な引用を作るために注目されているが、この振る舞いの範囲はいまだに定量化されていない。
これまでに,4つの学術領域に10のLLMを商業展開させた,最も大きな幻覚誘発検査の1つを報告した。
以上の結果から,観察された幻覚率は5倍の範囲(11.4%から56.8%)で,モデル,ドメイン,迅速なフレーミングによって強く形成されていることが明らかとなった。
論文 参考訳（メタデータ） (2026-02-07T00:14:00Z) - Aligning Large Language Model Behavior with Human Citation Preferences [45.80355133880463]
本研究では,人間の引用嗜好と大規模言語モデル(LLM)の行動との関係について検討する。
以上の結果から,ヒトは医療用テキストの引用を最も多く求めており,より強いモデルは同様の傾向を示した。
論文 参考訳（メタデータ） (2026-02-05T02:02:43Z) - FactNet: A Billion-Scale Knowledge Graph for Multilingual Factual Grounding [81.2130536158575]
LLMは顕著な流布を示し、その効用は事実の幻覚と追跡可能な証明の欠如によってしばしば損なわれる。
私たちはFactNetを紹介します。FactNetは17億の原子的主張と、316のウィキペディア版から派生した37億の監査可能なエビデンスポインタを統合するために設計された、巨大なオープンソースリソースです。
論文 参考訳（メタデータ） (2026-02-03T11:44:11Z) - The Semantic Illusion: Certified Limits of Embedding-Based Hallucination Detection in RAG Systems [0.0]
幻覚予測をRAG検出に適用し、スコアを有限サンプルカバレッジ保証付き決定セットに変換する。
分布尾レンズを用いてこの障害を分析し,NLIモデルが許容可能なAUC(0.81)を達成する一方で,「最も厳しい」幻覚は,忠実な応答と意味的に区別できないことを示した。
論文 参考訳（メタデータ） (2025-12-17T04:22:28Z) - Citation Failure: Definition, Analysis and Efficient Mitigation [56.09968229868067]
LLMベースのRAGシステムからの引用は、応答検証の簡略化を目的としている。
これは、モデルが有効な応答を生成するとき、引用失敗には当てはまらないが、完全な証拠を引用することができない。
応答自体に欠陥があり、完全な証拠を引用することは不可能である。
論文 参考訳（メタデータ） (2025-10-23T07:47:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。