論文の概要: Asking For An Old Friend: Diagnosing and Mitigating Temporal Failure Modes in LLM-based Statutory Question Answering

• arxiv url: http://arxiv.org/abs/2605.23497v1
• Date: Fri, 22 May 2026 11:02:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.322124
• Title: Asking For An Old Friend: Diagnosing and Mitigating Temporal Failure Modes in LLM-based Statutory Question Answering
• Title（参考訳）: 古い友人に尋ねる: LLMによる統計質問応答における時間的障害モードの診断と緩和
• Abstract要約: 本研究は,2つの時間的障害モードについて検討する。 専門家が検証した、時間に敏感なドイツの法令QAペアのベンチマークを提示する。 以上の結果から,信頼性の高い法的QAには時間的妥当性を厳しい制約として扱う必要があることが示唆された。
• 参考スコア（独自算出の注目度）: 8.81921009098836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly used for legal research, yet their fixed training cutoffs and reliance on static parametric knowledge are at odds with the evolving nature of statutory law. We study two temporal failure modes: post-cutoff staleness, where models apply superseded rules after legislative amendments, and recency bias, where models prefer newer provisions even when a historical version governs the fact pattern. To this end, we present a benchmark of 312 expert-validated, time-sensitive German statutory QA pairs spanning three categories: Post-Cutoff Amendment Questions, Pre-Amendment Questions, and Multi-Provision Pre-Amendment Questions. We evaluate five LLMs by OpenAI, Anthropic and DeepSeek under four inference settings: Vanilla, Web-search, and two retrieval-augmented variants that enforce temporal validity via a fact date extraction and version filtering. Using an LLM-as-a-judge validated against human expert ratings, we find severe degradation in the Vanilla post-cutoff setting. Both RAG approaches substantially improve performance across all question types, while web search yields unstable gains and exhibits a marked recency bias on historically anchored tasks. Our results indicate that reliable legal QA requires treating temporal validity as a hard constraint.
• Abstract（参考訳）: 大規模言語モデルは法的な研究にますます使われてきているが、それらの定性訓練のカットオフと静的パラメトリックな知識への依存は、法則の進化する性質とは相反する。 本稿では,2つの時間的障害モードについて検討する: 削減後の安定度, 法律改正後の優越規則を適用するモデル, 傾向バイアス, 歴史的バージョンが事実パターンを支配下に置いた場合でも, モデルがより新しい規定を優先するモデル。 そこで本稿では,3つのカテゴリにまたがる312の専門資格を持つ,時間に敏感なドイツ法QAペアのベンチマークを示す。 我々は,OpenAI, Anthropic, DeepSeek の5つの LLM を,Vanilla, Web-search,および2つの検索拡張版を用いて評価した。 LLM-as-a-judge をヒトの専門家評価に対して評価した結果,Vanilla のポストカットオフ設定では深刻な劣化がみられた。 どちらのRAGも全ての質問タイプのパフォーマンスを大幅に改善する一方、Web検索は不安定なゲインをもたらし、歴史的に固定されたタスクに対して顕著な相対バイアスを示す。 以上の結果から,信頼性の高い法的QAには時間的妥当性を厳しい制約として扱う必要があることが示唆された。

関連論文リスト

• Can LLMs Time Travel? Enhancing Temporal Consistency in Legal Agentic Search through Reinforcement Learning [45.13302016493955]
  法律は、法律の遡及的適用が中核的な法的原則に違反し、誤った結論に至るため、各事件の時間的文脈と一致しなければならない。 我々の観察では、現在の法的LLMはトレーニングの遮断に固定された時間的バイアスに悩まされているのに対し、検索エージェントはクエリに時間的制約を組み込むことは滅多にない。 我々は,複数の修正期間にまたがる時間的インデクシングデータに基づいて学習し,時間的整合性を確保するために,オンラインWeb検索に適合する厳密な記事に局所法規RAGを併用する,エンドツーエンドの強化学習フレームワークであるLegalSearch-R1を提案する。
  論文  参考訳（メタデータ） (2026-05-25T14:57:13Z)
• Decompose-and-Refine: Structured Legal Question Answering with Parametric Retrieval [12.468513292139695]
  大規模言語モデル (LLM) は法的領域において高い性能を示し、LQA (Lawal Question Answering) において顕著な可能性を示している。 法定LQAでは、多くの疑問が複数の法的問題にまたがってマルチホップ推論を必要としており、法定条項の正確な検索が重要な前提条件となっている。 本稿では,段階的質問分解とパラメトリックな知識に基づくクエリ改善を緊密に統合する法定グラウンドのLQAフレームワークであるDecompose-and-Refine(DaR)を提案する。
  論文  参考訳（メタデータ） (2026-05-23T08:03:31Z)
• FRESCO: Benchmarking and Optimizing Re-rankers for Evolving Semantic Conflict in Retrieval-Augmented Generation [73.22935457705057]
  時間的動的文脈における再ランカ評価のためのベンチマークであるFRESCOを紹介する。 レクエンシ検索クエリと過去のウィキペディアのリビジョンを組み合わせることで、FRESCOは、セマンティックな関連性を維持しながら、リランカが事実として最新の証拠を優先順位付けできるかどうかをテストする。 我々の評価では、既存の再ランカ間で一貫した障害モードが明らかになっている。
  論文  参考訳（メタデータ） (2026-04-14T17:04:25Z)
• VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification [73.02304272829785]
  VideoBenchは、証拠を厳格に検証する長ビデオ応答のための階層的なベンチマークだ。 これは、13のドメインに500の注釈付き質問を手動で記述し、時間間隔と空間境界ボックスを組み合わせて証拠とする。 GeminiPro-3-Proでさえ、標準のエンドツーエンドのQA設定で17%未満の質問に正しく答えている。 その結果,表面レベルでの回答の正しさと真正な証拠に基づく推論との間に大きなギャップが生じた。
  論文  参考訳（メタデータ） (2026-04-02T03:29:43Z)
• Precedent-Informed Reasoning: Mitigating Overthinking in Large Reasoning Models via Test-Time Precedent Learning [37.40951956513094]
  大規模言語モデル(LLM)における推論は、しばしば、冗長な自己探索と検証を伴う非効率な長い連鎖トレースに悩まされる。 過去の事例を利用して検索空間を制約し、試行錯誤を減らすという人間の推論パターンに着想を得て、先行インフォームド推論(PIR)を提案する。 PIRは、LEMの推論パラダイムを、徹底的な自己探索から、前例からの指導的学習に転換する。
  論文  参考訳（メタデータ） (2026-02-16T04:17:46Z)
• When Silence Is Golden: Can LLMs Learn to Abstain in Temporal QA and Beyond? [34.471723373734605]
  大型言語モデル(LLM)は、しばしば不確実性を認めず、(答えを拒否する)棄却するよりも、しばしば流動的であるが誤解を招く答えを生み出す。 この弱点は、時間差のある証拠や事実を、異なる期間にわたってしばしば無視する時間差質問応答においてさえ明らかである。 キャリブレーションのような既存のアプローチは、複雑な推論において不確実性を捉えるには信頼できないかもしれない。 我々は、禁忌を教育可能なスキルとみなし、禁忌を意識した報酬によって導かれる強化学習(RL)とCoT(Chain-of-Thought)の監督を結びつけるパイプラインを導入する。
  論文  参考訳（メタデータ） (2026-02-04T16:54:47Z)
• CaseFacts: A Benchmark for Legal Fact-Checking and Precedent Retrieval [5.305110876082343]
  CaseFactsは、アメリカ合衆国最高裁判所の判例に対する法的主張を検証するためのベンチマークである。 データセットは、Supported、Refuted、Overruledに分類される6,294のクレームで構成されている。
  論文  参考訳（メタデータ） (2026-01-23T23:41:46Z)
• Hybrid Retrieval-Augmented Generation Agent for Trustworthy Legal Question Answering in Judicial Forensics [30.232667436008978]
  司法設定に適した混成法的QAエージェントを提示する。 検索強化世代(RAG)とマルチモデルアンサンブルを統合し、信頼性、監査性、継続的なアップグレード可能なカウンセラーを提供する。
  論文  参考訳（メタデータ） (2025-11-03T15:30:58Z)
• LEXam: Benchmarking Legal Reasoning on 340 Law Exams [76.3521146499006]
  textscLEXamは,法科116科の法科試験を対象とする340件の法科試験を対象とする,新しいベンチマークである。 このデータセットは、英語とドイツ語で4,886の法試験質問で構成されており、その中には2,841の長文のオープンエンド質問と2,045の多重選択質問が含まれている。 この結果から,モデル間の差分化におけるデータセットの有効性が示唆された。
  論文  参考訳（メタデータ） (2025-05-19T08:48:12Z)
• From Chaos to Clarity: Claim Normalization to Empower Fact-Checking [57.024192702939736]
  Claim Normalization(別名 ClaimNorm)は、複雑でノイズの多いソーシャルメディア投稿を、より単純で分かりやすい形式に分解することを目的としている。 本稿では,チェーン・オブ・ソートとクレーム・チェック・バシネス推定を利用した先駆的アプローチであるCACNを提案する。 実験により, CACNは様々な評価尺度において, いくつかの基準値を上回る性能を示した。
  論文  参考訳（メタデータ） (2023-10-22T16:07:06Z)
• Interpretable Long-Form Legal Question Answering with Retrieval-Augmented Large Language Models [10.834755282333589]
  長文の法的問合せデータセットは、専門家によるフランス語の法的質問1,868件からなる。 実験結果から,自動評価指標について有望な性能を示した。 LLeQAは、専門家によって注釈付けされた唯一の包括的なロングフォームLQAデータセットの1つであり、重要な現実世界の問題を解決するために研究を加速するだけでなく、特殊な領域におけるNLPモデルを評価するための厳密なベンチマークとしても機能する可能性がある。
  論文  参考訳（メタデータ） (2023-09-29T08:23:19Z)
• Making Large Language Models Better Reasoners with Alignment [57.82176656663245]
  推論(Reasoning)とは、証拠を使って結論に達する認知過程である。 近年の研究では、思考の連鎖(COT)推論プロセスによるデータ上の微調整LDMは、その推論能力を著しく向上させることができることが示されている。 テキストアライメントファインチューニング(AFT)パラダイムを3ステップで導入する。
  論文  参考訳（メタデータ） (2023-09-05T11:32:48Z)
• On Pitfalls of Test-Time Adaptation [82.8392232222119]
  TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
  論文  参考訳（メタデータ） (2023-06-06T09:35:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。