論文の概要: When Do LLMs Apply the Wrong Law? Diagnosing LLM Failures in Temporal Legal Reasoning

• arxiv url: http://arxiv.org/abs/2608.14610v1
• Date: Wed, 08 Jul 2026 07:18:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.233341
• Title: When Do LLMs Apply the Wrong Law? Diagnosing LLM Failures in Temporal Legal Reasoning
• Title（参考訳）: LLMは誤り法をいつ適用するか : 一時的法的推論におけるLCM障害の診断
• Abstract要約: 法的理由づけタスクは、事件を管理する法律の時間的に正しいバージョンを特定する必要がある。 大規模言語モデル(LLM)が時間的法的理由によって失敗する理由を考察する。
• 参考スコア（独自算出の注目度）: 26.218913813499857
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Legal reasoning tasks such as legal judgment prediction (LJP) require identifying the temporally correct version of the law governing a case -- a capability we term temporal applicable-law determination. However, whether large language models (LLMs) can reliably perform this task remains unexplored. In this paper, we construct a benchmark to evaluate LLMs on temporal applicable-law determination, and systematically investigate why they fail at temporal legal reasoning. Our experiments reveal four key findings. First, LLMs exhibit a strong bias toward applying the most recently enacted law, regardless of when the legally relevant facts occurred. Second, this bias does not stem from an inability to understand that laws have temporal scope, nor from a lack of knowledge about historical statutes. Third, we provide behavioral evidence that reinforcement-learning-shaped explicit reasoning may be a key mechanism: while improving general reasoning ability, it reduces the diversity of reasoning paths, causing models to converge on applying the current law. Fourth, this produces a counterintuitive inverse relationship: models with stronger general reasoning ability tend to perform worse on temporal legal reasoning. Our findings offer concrete guidance for future work on improving LLM performance in temporally grounded legal reasoning.
• Abstract（参考訳）: 法的判断予測(LJP)のような法的推論タスクは、ケースを管理する法律の時間的に正しいバージョンを特定する必要がある。 しかし、大きな言語モデル(LLM)がこのタスクを確実に実行できるかどうかはまだ不明である。 本稿では, 時間的適用法則決定におけるLCMの評価のためのベンチマークを構築し, 時間的法的理由付けに失敗する理由を体系的に検討する。 我々の実験では4つの重要な発見が明らかになった。 第一に、LLMは、法的に関係のある事実がいつ起こったかに関わらず、最も最近制定された法律を適用することに強い偏見を示す。 第二に、このバイアスは法律が時間的範囲を持っていることを理解することができないことや、歴史的法令に関する知識の欠如に起因していない。 第3に、強化学習の形をした明示的推論が鍵となるメカニズムとして、一般的な推論能力を改善する一方で、推論経路の多様性を減らし、モデルが現在の法則を適用することに収束する、という行動的証拠を提供する。 より強い一般推論能力を持つモデルは、時間的法的推論においてより悪い結果をもたらす傾向がある。 本研究は, 一時的根拠に基づく法的理由づけにおいて, LLMの性能向上に向けた具体的な指針を提供するものである。

関連論文リスト

• Sycophants in the Courtroom: Are LLMs Fragile to Juridical Authority and Evolving Legal Standards? [12.563846436601473]
  医学における主張は、安定した生物学的現実に根ざした実証的な証拠によって支持された場合にも有効である。 法学において、真理とは、管轄権、時間的妥当性、権威的情報源の階層によって定義される一致である。
  論文  参考訳（メタデータ） (2026-08-10T16:59:15Z)
• Legal Reasoning Is Not Lawyering: Rethinking Legal Benchmarks for Pro Se Access to Justice [0.0]
  法的なAIベンチマーク研究は、大きな言語モデルが正義へのアクセスを改善するという仮定をしばしば呼び起こす。 現在のベンチマークでは、すでに法律専門家が事前処理済みのインプットに対する法的推論を評価するため、この仮定を支持する能力がないと我々は主張する。 私たちは、プロセプティックなインプットの下でロバスト性を直接測定する法的なベンチマークを要求して、法的AIに関するアクセシビリティー・トゥ・ジャスティス・クレームが実証的にテスト可能であると結論付けています。
  論文  参考訳（メタデータ） (2026-06-16T14:19:04Z)
• Can LLMs Time Travel? Enhancing Temporal Consistency in Legal Agentic Search through Reinforcement Learning [45.13302016493955]
  法律は、法律の遡及的適用が中核的な法的原則に違反し、誤った結論に至るため、各事件の時間的文脈と一致しなければならない。 我々の観察では、現在の法的LLMはトレーニングの遮断に固定された時間的バイアスに悩まされているのに対し、検索エージェントはクエリに時間的制約を組み込むことは滅多にない。 我々は,複数の修正期間にまたがる時間的インデクシングデータに基づいて学習し,時間的整合性を確保するために,オンラインWeb検索に適合する厳密な記事に局所法規RAGを併用する,エンドツーエンドの強化学習フレームワークであるLegalSearch-R1を提案する。
  論文  参考訳（メタデータ） (2026-05-25T14:57:13Z)
• Towards Generalizable Reasoning: Group Causal Counterfactual Policy Optimization for LLM Reasoning [50.352417879912515]
  大規模言語モデル(LLM)は推論能力の進歩とともに複雑なタスクに優れる。 一般化可能な推論パターンを学習するために,LLMを明示的に訓練するためのグループ因果政策最適化を提案する。 次に、この報酬からトークンレベルのアドバンテージを構築し、ポリシーを最適化し、LCMにプロセス無効で事実上堅牢な推論パターンを推奨します。
  論文  参考訳（メタデータ） (2026-02-06T08:03:11Z)
• LegalOne: A Family of Foundation Models for Reliable Legal Reasoning [54.57434222018289]
  我々は、中国の法律ドメインに特化された基礎モデルのファミリーであるLegalOneを紹介します。 LegalOneは、法的推論をマスターするために設計された包括的な3フェーズパイプラインを通じて開発されている。 LegalOneの重み付けとLegalKit評価フレームワークを公開して、Legal AIの分野を前進させます。
  論文  参考訳（メタデータ） (2026-01-31T10:18:32Z)
• Better Call CLAUSE: A Discrepancy Benchmark for Auditing LLMs Legal Reasoning Capabilities [15.35489310097019]
  CLAUSE は LLM の法的な推論の脆弱性を評価するために設計された第一種ベンチマークである。 我々の研究は、法的AIにおけるそのような推論失敗を特定し、修正する道筋を概説している。
  論文  参考訳（メタデータ） (2025-11-01T00:51:21Z)
• GLARE: Agentic Reasoning for Legal Judgment Prediction [60.13483016810707]
  法学分野では、法的判断予測(LJP)がますます重要になっている。 既存の大規模言語モデル (LLM) には、法的な知識が不足しているため、推論に不十分な重大な問題がある。 GLAREは,異なるモジュールを呼び出し,重要な法的知識を動的に獲得するエージェント的法的推論フレームワークである。
  論文  参考訳（メタデータ） (2025-08-22T13:38:12Z)
• RLJP: Legal Judgment Prediction via First-Order Logic Rule-enhanced with Large Language Models [58.69183479148083]
  法的判断予測(LJP)は、法的AIにおいて重要な課題である。 既存のLJPモデルは、高いパフォーマンスのために司法上の前例と法的な知識を統合している。 しかし彼らは、厳密な論理分析を必要とする法的判断の重要な要素である法的推論論理を無視している。 本稿では、一階述語論理(FOL)形式と比較学習(CL)に基づく規則強化された法的判断予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-27T14:50:21Z)
• J&H: Evaluating the Robustness of Large Language Models Under Knowledge-Injection Attacks in Legal Domain [12.550611136062722]
  本稿では,ロバストネステストのための法的な知識注入攻撃法を提案する。 本フレームワークの目的は,LLMが法的タスクを遂行する際の演能的推論を行うかどうかを検討することである。 我々は、法律の専門家が現実世界の司法判断で犯す可能性のある誤りを収集した。
  論文  参考訳（メタデータ） (2025-03-24T05:42:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。