論文の概要: Temporal Misgrounding in Legal RAG: A Versioned-Corpus Benchmark for French Tax Law
- arxiv url: http://arxiv.org/abs/2608.09393v1
- Date: Mon, 10 Aug 2026 10:20:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.205945
- Title: Temporal Misgrounding in Legal RAG: A Versioned-Corpus Benchmark for French Tax Law
- Title（参考訳）: 法律RAGにおける時間的過ち--フランス税法のためのバージョン付きコーパスベンチマーク
- Abstract要約: 我々は,現在施行中の法律記事の体系的検索と引用という,時間的誤動作を特定し,定量化する。
われわれはFiscalQA Proを導入し、フランスの税法典の32,436項目のコーパスと、すべてモデルに固執した時間的推論トラックを組み合わせている。
オラクルなしのマルチバージョンインデックス上のエンドツーエンドレトリバーは、98.3%という厳密な値に達した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We identify and quantify temporal misgrounding: the systematic retrieval and citation of the currently in-force version of a legal article when the applicable version is an earlier or future one. Standard legal RAG treats the corpus as static; we argue legal question answering is a temporally-indexed retrieval problem. We introduce FiscalQA Pro, pairing a versioned corpus of 32,436 article-versions of the French tax code (93 years, 1938-2031) with an all-model-hard temporal-reasoning track: 209 scored, expert-reviewed questions across 33 CGI articles (221 released; twelve flagged out of the answerable scope). At selection time, no evaluated model recovered its date-applicable answer closed-book in any of four sampling draws, and the currently in-force text lacks the gold value for all but one of the scored questions. Answers are scored deterministically via atomic ground-truth "nuggets" (regex and numeric-with-tolerance), never LLM-as-judge: an LLM judge would inherit the temporal bias it is meant to score. Across eleven models (five frontier closed-API systems plus Gemini 2.5 Pro as a substitute entry, and five open-weight), parametric knowledge yields 3.0% mean strict accuracy and RAG over a static current-version corpus 2.7%. Static RAG retrieves the date-applicable version 0% of the time, confidently citing a real but inapplicable version. Our end-to-end retriever over a multi-version index, with no oracle, reaches 98.3% mean strict; an oracle-article ablation reaches 99.1%, locating the residual gap in first-stage recall, not version selection. We additionally release a version-aware jurisprudence dataset of 69,208 citation links, together with the corpus, benchmark, model responses, and pipeline code.
- Abstract（参考訳）: 適用可能なバージョンが早期または将来のものである場合に、現在実施中の法的記事の体系的な検索と引用を行う。
標準法的なRAGはコーパスを静的として扱い、法的な質問応答は時間的にインデックス付けされた検索問題であると主張する。
本稿では、フランス税法(1938-2031年93年)の32,436条記事変換コーパスを、CGI33項目(221件、回答可能な範囲外12件)で209点のスコア付き専門家レビュー付き質問トラックと組み合わせて、FiscalQA Proを紹介した。
選別時に、4つのサンプリングドローのいずれかで日付適用可能な回答のクローズブックを復元する評価モデルはなく、現在使われているインフォーステキストは、評価された質問のうち1つを除いて、すべてに金の価値を欠いている。
答えはアトミック・グラウンド・トゥルース・ナゲット(英語版) (regex and numeric-with-tolerance) を通じて決定的に採点され、LLM-as-judge: LLM判事は、スコアするはずの時間バイアスを継承する。
11モデル(5つのフロンティアクローズドAPIシステムと5つのGemini 2.5 Pro、および5つのオープンウェイト)のパラメトリック知識は、静的な電流変換コーパス2.7%よりも3.0%高い精度とRAGをもたらす。
静的RAGは、日時適用可能なバージョン0%を取得し、本物だが適用できないバージョンを確実に引用する。
オラクルを含まないマルチバージョンインデックス上のエンド・ツー・エンド・レトリバーは、98.3%の厳密な平均値に達し、オラクル・アーティクル・アブレーションは99.1%に達し、バージョン選択ではなく、ファーストステージリコールにおける残差を突き止める。
さらに、69,208個の引用リンクと、コーパス、ベンチマーク、モデル応答、パイプラインコードを組み合わせた、バージョン対応のジャリスプルーデンスデータセットをリリースする。
関連論文リスト
- Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳（メタデータ） (2026-09-02T08:10:22Z) - Annotated Surrogate Retrieval for Polish Statutory Law [0.0]
本稿では,文書代理法に基づくポーランド法典の検索方法のファミリについて述べる。
ASCRはサロゲートカスケードであり、ASCR-Hはそのカスケードに密度の高いリストを融合させ、DTFは言語モデルの両方のステージを3つの語彙と密度の高いレトリバーで置き換える。
2024年と2025年のポーランドの弁護士試験と法律顧問試験の300問に対して,これら3項目について,語彙,密集度,融解度,融解度と4つの基準値とを比較検討した。
論文 参考訳（メタデータ） (2026-08-31T15:05:00Z) - Time Present and Time Past: Benchmarking Large Language Models on Temporally Evolving Document Understanding [3.285110528753401]
法律、税法、ソフトウェア文書などの進化した文書は、修正され、置き換えられ、時には時間とともに復活する。
我々は、バングラデシュ政府によって発行された644の公式税関の計3,050対のQAに関する専門家が検証したベンチマークであるTIDEを提示する。
論文 参考訳（メタデータ） (2026-08-09T06:17:41Z) - When Memory Updates but Behavior Does Not: Repairing Implicit Stale Dependencies in Personalized Agent Responses [1.5770673503612611]
メモリ拡張されたエージェントは、ユーザの格納された状態が時代遅れであることを知ることができ、なおも古い値を計画する。
私たちは1つの構造的コントリビュータを特定します。 ドラフトアンコールによる検証は、応答が何を言っているかをチェックします。
論文 参考訳（メタデータ） (2026-08-03T02:49:08Z) - From Attack Simulation to SIEM Rule: Deterministic Detection-as-Code Synthesis with Probe-Level Traceability [51.56484100374058]
セキュリティチームは、自身のシステムに対する攻撃をシミュレートして、監視が真の侵入者を捕まえるかどうかをチェックする。
人間はそのギャップを手でブリッジし、それぞれの発見を読み、対応するシグマルールを書きます。
ロックされたコーパスからプローブが引き出されると,この変換が部分的に自動化されることを示す。
論文 参考訳（メタデータ） (2026-06-03T14:26:25Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - ARGOS: Who, Where, and When in Agentic Multi-Camera Person Search [49.61286310968402]
我々は,対話型推論問題として,マルチカメラの人物探索を再構成する最初のベンチマークとフレームワークであるARGOSを紹介する。
ARGOSエージェントはあいまいな目撃声明を受け取り、何を尋ねるか、いつ空間的または時間的ツールを呼び出すか、不明瞭な応答をどう解釈するかを判断しなければならない。
このベンチマークは、意味的知覚(Who)、空間的推論(Where)、時間的推論(When)の3つのプログレッシブトラックにおいて、14の現実世界シナリオにまたがる2,691のタスクからなる。
論文 参考訳（メタデータ） (2026-04-14T14:06:19Z) - Still Fresh? Evaluating Temporal Drift in Retrieval Benchmarks [40.92390378341581]
APIの廃止やコード再構成といった技術的なコーパスの時間的変化は、既存のベンチマークを不安定にすることができる。
我々は2024年10月から2025年10月にかけて、FreshStackの2つの独立したコーパススナップショットを調査し、LangChainに関する質問に答える。
論文 参考訳（メタデータ） (2026-03-04T19:18:11Z) - Recon, Answer, Verify: Agents in Search of Truth [36.56689822791777]
Politi Fact Only (PFO)は、politifact.comの2,982件の政治的主張のベンチマークデータセットである。
すべてのポストクレーム分析とアノテーションキューが手作業で削除された。
本稿では,質問生成,回答生成,ラベル生成という3つのエージェントからなるエージェントフレームワークであるRAVを提案する。
論文 参考訳（メタデータ） (2025-07-04T15:44:28Z) - LEXam: Benchmarking Legal Reasoning on 340 Law Exams [76.3521146499006]
textscLEXamは,法科116科の法科試験を対象とする340件の法科試験を対象とする,新しいベンチマークである。
このデータセットは、英語とドイツ語で4,886の法試験質問で構成されており、その中には2,841の長文のオープンエンド質問と2,045の多重選択質問が含まれている。
この結果から,モデル間の差分化におけるデータセットの有効性が示唆された。
論文 参考訳（メタデータ） (2025-05-19T08:48:12Z) - IfQA: A Dataset for Open-domain Question Answering under Counterfactual
Presuppositions [54.23087908182134]
本稿では,QA(FifQA)と呼ばれる,最初の大規模対実的オープンドメイン質問応答(QA)ベンチマークを紹介する。
IfQAデータセットには3,800以上の質問が含まれている。
IfQAベンチマークによって引き起こされるユニークな課題は、検索と対実的推論の両方に関して、オープンドメインのQA研究を促進することである。
論文 参考訳（メタデータ） (2023-05-23T12:43:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。