論文の概要: Is this Citation on Point?
- arxiv url: http://arxiv.org/abs/2608.12571v1
- Date: Wed, 12 Aug 2026 20:28:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.320695
- Title: Is this Citation on Point?
- Title（参考訳）: この扇風機は要点ですか。
- Abstract要約: 実法的引用の制御摂動による命題レベルの引用支援検証について検討する。
モデルは不正ケースの93%-100%を占める。
裁判所の意見では37-61%、法的な説明では52-83%の不正な汚職しか得られていない。
- 参考スコア（独自算出の注目度）: 1.4303229099281964
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In 2023, a New York judge sanctioned two attorneys in Mata v. Avianca for filing a brief with hallucinated citations generated by ChatGPT. Such failures are largely caught by database lookups; the harder problem is detecting citations that point to real cases but do not support the propositions for which they are offered -- a failure mode that existing evaluations of LLMs for legal use cases largely overlook. In this paper, we study proposition-level citation support verification through controlled perturbations of real legal citations obtained from two legal corpora, either replacing the cited case or changing only the pinpoint page within the same case. We evaluate fourteen model configurations on the resulting examples. Models catch 93-100% of wrong-case corruptions. They catch only 37-61% of wrong-pinpoint corruptions on court opinions and 52-83% on legal briefs. When models fail to catch wrong-pinpoint corruptions, they accept the citation based on topical overlap rather than page-level support. Scale and extended reasoning narrow the gap but do not close it: GPT-5.4 with high reasoning effort still misses 40% of pinpoint mismatches on court opinions and 18% on briefs. Prompting the model to verify support at the cited page improves recall, but it also raises the false positive rate. Recognizing the right legal topic and verifying support for the cited proposition are distinct capabilities, and current models conflate them.
- Abstract（参考訳）: 2023年、ニューヨークの判事は、ChatGPTが生み出した幻覚的な引用を提出したとして、マタ対アビアンカ事件で2人の弁護士を有罪とした。
このような障害は、主にデータベースのルックアップによって捕捉される。より難しい問題は、実際のケースを指しているが、それらが提供する提案をサポートしない引用を検出することだ。
本稿では,2つの法定コーパスから得られる実法的引用の制御摂動による提案レベルの引用支援検証について検討する。
得られた例に基づいて14のモデル構成を評価する。
モデルは93-100%の不正ケースの汚職をキャッチする。
裁判所の意見では37-61%、法的な説明では52-83%の不正な汚職しか得られていない。
モデルが間違ったピンポイントの汚職をキャッチできなかった場合、ページレベルのサポートではなく、トピックの重複に基づく引用を受け入れる。
GPT-5.4は、高い推論努力をしても、裁判所の意見に対するピンポイントミスマッチの40%、ブリーフに対する18%を見逃している。
引用ページでサポートを検証するためにモデルを実行することでリコールが改善されるが、偽陽性率も上昇する。
正しい法的トピックを認識し、引用された提案に対するサポートを検証することは、異なる能力であり、現在のモデルはそれらを説明します。
関連論文リスト
- Who Checks the Citations? Benchmarking Legal Hallucination Detection [7.592193069681834]
司法、裁判官、プロセパフォーマーは、ますますAIを使って法的文書の草案を作成するが、これらのツールは引用をしばしば作っている。
本研究は,幻覚を自動的に検出することで,AIに基づくシステムがこれらの誤りを軽減できるかどうかを評価する。
本稿では,実際の裁判所提出書類に基づいた法的な引用幻覚の分類法を提案し,インジェクトエラーを含む1,300件の簡単な抜粋のデータセットを提案する。
論文 参考訳（メタデータ） (2026-06-19T06:47:31Z) - Citation Grounding: Detecting and Reducing LLM Citation Hallucinations via Legal Citation Graphs [0.0]
5つのシステムにまたがる100のウクライナの法的クエリに関する実証的評価
13-21%の励起が幻覚し、励起精度は0.791から0.873である。
人間のアノテーションを使わずに幻覚を減らすために,Citation Grounding DPOを導入する。
論文 参考訳（メタデータ） (2026-05-30T21:22:47Z) - ImmigrationQA: A Source-Grounded Dataset and Small-Model Adaptation for U.S. Immigration Law [0.0]
本稿では、17,058対の質問応答データセットであるImmigrationQAの構築について述べる。
コーパスは11の一次および二次のソースから組み立てられた。
微調整モデルを993対の保留分割に対して評価した。
論文 参考訳（メタデータ） (2026-05-28T21:36:18Z) - LegalCiteBench: Evaluating Citation Reliability in Legal Language Models [14.281332347684872]
LegalCiteBenchは、法律言語モデルにおけるクローズドブックの引用回復、引用検証、ケースマッチングを研究するためのベンチマークである。
このベンチマークは、引用検索、引用完了、引用エラー検出、ケースマッチング、ケース検証と修正の5つの引用中心タスクをカバーしている。
論文 参考訳（メタデータ） (2026-05-11T08:37:54Z) - Are Finer Citations Always Better? Rethinking Granularity for Attributed Generation [75.27453112832093]
その結果, 微粒化は, 最も優れた粒度に比べて, 属性品質を16～276%低下させることがわかった。
分析の結果,詳細な(文レベルの)引用は,主張に答えるために証拠を帰属させるために必要な意味的依存関係を阻害することがわかった。
厳密には、引用-最適粒度は、回答の正しさを保ったり改善したりしながら、帰属品質を大幅に向上させる。
論文 参考訳（メタデータ） (2026-04-01T22:16:23Z) - Where Experts Disagree, Models Fail: Detecting Implicit Legal Citations in French Court Decisions [3.8449738927037207]
我々は,第一審裁判所の決定において,フランス民法典の暗黙の引用に焦点をあてる。
専門家の不一致がモデル失敗を予測することを示す。
これらの制限にもかかわらず、タスクをトップkランキングとして再検討し、マルチモデルコンセンサスを活用することで、教師なしの環境でk = 200で76%の精度が得られる。
論文 参考訳（メタデータ） (2026-03-24T09:10:57Z) - CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era [51.63024682584688]
大規模言語モデル (LLM) は新たなリスクを導入している。
本稿では,科学文献における幻覚的引用のための総合的なベンチマークおよび検出フレームワークについて紹介する。
我々のフレームワークは、精度と解釈可能性の両方において、先行手法を著しく上回っている。
論文 参考訳（メタデータ） (2026-02-26T19:17:39Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳（メタデータ） (2026-02-04T15:13:35Z) - Citation Failure: Definition, Analysis and Efficient Mitigation [56.09968229868067]
LLMベースのRAGシステムからの引用は、応答検証の簡略化を目的としている。
これは、モデルが有効な応答を生成するとき、引用失敗には当てはまらないが、完全な証拠を引用することができない。
応答自体に欠陥があり、完全な証拠を引用することは不可能である。
論文 参考訳（メタデータ） (2025-10-23T07:47:22Z) - Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。
ミスシは、誤った推論のための新しい議論理論モデルである。
大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
論文 参考訳（メタデータ） (2024-06-05T12:11:10Z) - Fact-Saboteurs: A Taxonomy of Evidence Manipulation Attacks against
Fact-Verification Systems [80.3811072650087]
証拠のクレームサレントスニペットを微調整し,多様かつクレームアラインな証拠を生成することが可能であることを示す。
この攻撃は、主張のポストホックな修正に対しても堅牢である。
これらの攻撃は、インスペクタブルとヒューマン・イン・ザ・ループの使用シナリオに有害な影響を及ぼす可能性がある。
論文 参考訳（メタデータ） (2022-09-07T13:39:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。