論文の概要: Do LLMs Truly Understand When a Precedent Is Overruled?

• arxiv url: http://arxiv.org/abs/2510.20941v1
• Date: Thu, 23 Oct 2025 19:07:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:15.299366
• Title: Do LLMs Truly Understand When a Precedent Is Overruled?
• Title（参考訳）: LLMは、先例が過大評価されるとき、本当に理解できないのか?
• Authors: Li Zhang, Jaromir Savelka, Kevin Ashley,
• Abstract要約: 拡張コンテキストウィンドウを持つ大規模言語モデル(LLM)は、複雑な法的推論タスクを約束する。 本稿では,米国最高裁判所事件のオーバーラリング関係の同定における最先端のLCMの評価について述べる。
• 参考スコア（独自算出の注目度）: 3.5784933879188796
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models (LLMs) with extended context windows show promise for complex legal reasoning tasks, yet their ability to understand long legal documents remains insufficiently evaluated. Developing long-context benchmarks that capture realistic, high-stakes tasks remains a significant challenge in the field, as most existing evaluations rely on simplified synthetic tasks that fail to represent the complexity of real-world document understanding. Overruling relationships are foundational to common-law doctrine and commonly found in judicial opinions. They provide a focused and important testbed for long-document legal understanding that closely resembles what legal professionals actually do. We present an assessment of state-of-the-art LLMs on identifying overruling relationships from U.S. Supreme Court cases using a dataset of 236 case pairs. Our evaluation reveals three critical limitations: (1) era sensitivity -- the models show degraded performance on historical cases compared to modern ones, revealing fundamental temporal bias in their training; (2) shallow reasoning -- models rely on shallow logical heuristics rather than deep legal comprehension; and (3) context-dependent reasoning failures -- models produce temporally impossible relationships in complex open-ended tasks despite maintaining basic temporal awareness in simple contexts. Our work contributes a benchmark that addresses the critical gap in realistic long-context evaluation, providing an environment that mirrors the complexity and stakes of actual legal reasoning tasks.
• Abstract（参考訳）: 拡張コンテキストウィンドウを持つ大規模言語モデル(LLM)は、複雑な法的推論タスクを約束するが、長い法的文書を理解する能力は十分に評価されていない。 多くの既存の評価は、実世界の文書理解の複雑さを表現できない単純な合成タスクに依存しているため、現実的な高精細なタスクをキャプチャする長期コンテキストベンチマークの開発はこの分野において重要な課題である。 オーバールー・リレーションシップはコモン・ローの教義の基礎であり、司法の意見によく見られる。 それらは、法律専門家が実際に何をしているかによく似た、長期にわたる法的理解のための、集中的で重要なテストベッドを提供する。 本稿では,236対のケースペアのデータセットを用いて,米国最高裁判所事件のオーバールーリング関係の同定における最先端LCMの評価を行う。 評価では,(1) 時代感,(2) 時間的バイアス,(2) 浅い推論,(3) 文脈に依存した推論失敗,(3) 複雑なオープンエンドタスクにおける時間的関係を,単純な文脈で基本的な時間的意識を維持しながら生成する,という3つの重要な限界が明らかになった。 我々の研究は、現実的な長期コンテキスト評価における重要なギャップに対処するベンチマークに貢献し、実際の法的推論タスクの複雑さと利害関係を反映した環境を提供する。

関連論文リスト

• Thinking Longer, Not Always Smarter: Evaluating LLM Capabilities in Hierarchical Legal Reasoning [11.255428720705204]
  本稿では,ケース間の重要な区別を3段階の推論タスクに分解する枠組みを提案する。 我々のフレームワークは、要因と呼ばれる事実的述語を使用してケースをモデル化し、それらを法的知識階層に整理し、区別を識別するための検証可能なルールを定義します。 我々は、モデルが正しい応答よりも間違った応答について、常に多くの計算資源を消費していることを発見し、「より長く考えることは、必ずしも「より賢く考える」という意味ではないことを示唆している。
  論文  参考訳（メタデータ） (2025-10-09T18:15:28Z)
• CLaw: Benchmarking Chinese Legal Knowledge in Large Language Models - A Fine-grained Corpus and Reasoning Analysis [13.067377421250557]
  大規模言語モデル (LLM) は、法的テキストを分析し、関連する法令を引用するタスクが増えている。 本稿では,中国法学におけるLLMの厳密な評価と推論への応用を目的とした新しいベンチマークであるCLawを紹介する。
  論文  参考訳（メタデータ） (2025-09-25T14:19:51Z)
• Curse of Knowledge: When Complex Evaluation Context Benefits yet Biases LLM Judges [72.3356133063925]
  審査員としての大規模言語モデル(LLM)のパラダイムはスケーラブルなソリューションとして登場したが、以前の作業は主に単純な設定に焦点を当てていた。 我々の詳細な分析は、評価信号の精度と妥当性を向上させるための重要な洞察を提供する。
  論文  参考訳（メタデータ） (2025-09-03T15:48:33Z)
• Implicit Reasoning in Large Language Models: A Comprehensive Survey [67.53966514728383]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる強力な一般化を実証している。 最近の研究は、暗黙の推論に拍車をかけた、明示的な思考の連鎖から注意を向けている。 本調査では,表現形式から計算戦略へ焦点を移し,実行パラダイムを中心とした分類を紹介した。
  論文  参考訳（メタデータ） (2025-09-02T14:16:02Z)
• ClaimGen-CN: A Large-scale Chinese Dataset for Legal Claim Generation [56.79698529022327]
  法的な主張は、事件における原告の要求を言及し、法的理由づけと事件解決を導くのに不可欠である。 本稿では,その事例の事実に基づく法的クレーム生成の問題について考察する。 われわれは,中国法定クレーム生成タスクの最初のデータセットであるClaymGen-CNを構築した。
  論文  参考訳（メタデータ） (2025-08-24T07:19:25Z)
• A Controllable Examination for Long-Context Language Models [62.845852724511964]
  本研究では,長文言語モデルを評価するベンチマークである$textbfLongBioBenchを紹介する。 その結果,ほとんどのモデルでは,検索結果に対する意味的理解や基礎的推論が不足していることが判明した。 我々のさらなる分析は、文脈的非コヒーレンスなど、既存の合成ベンチマークで採用されているいくつかの設計選択を示している。
  論文  参考訳（メタデータ） (2025-06-03T14:23:06Z)
• AnnoCaseLaw: A Richly-Annotated Dataset For Benchmarking Explainable Legal Judgment Prediction [56.797874973414636]
  AnnoCaseLawは、アメリカ合衆国控訴裁判所の無視事件を慎重に注釈付けした471のデータセットである。 我々のデータセットは、より人間らしく説明可能な法的な判断予測モデルの基礎となる。 その結果、LJPは依然として厳しい課題であり、法的な前例の適用は特に困難であることが示されている。
  論文  参考訳（メタデータ） (2025-02-28T19:14:48Z)
• Elevating Legal LLM Responses: Harnessing Trainable Logical Structures and Semantic Knowledge with Legal Reasoning [19.477062052536887]
  意味と論理的コヒーレンスを橋渡しする教師ありフレームワークである論理・意味統合モデル(LSIM)を提案する。 LSIMは3つの要素から構成される: 強化学習は各質問に対して構造化されたファクトルールチェーンを予測し、訓練可能なDeep Structured Semantic Model(DSSM)は最も関連性の高い質問を検索し、回答内学習は最終回答を生成する。 LSIMが従来の手法に比べて精度と信頼性を著しく向上させるような,自動測定と人的評価デーモンレートによる実世界の法的データセットのQA検証実験を行った。
  論文  参考訳（メタデータ） (2025-02-11T19:33:07Z)
• NeedleBench: Evaluating LLM Retrieval and Reasoning Across Varying Information Densities [51.07379913779232]
  NeedleBenchは、長いコンテキストタスクにおける検索と推論のパフォーマンスを評価するためのフレームワークである。 モデルの機能を厳格にテストするために、キーデータポイントをさまざまな深さに埋め込む。 実験の結果,Deep-R1やOpenAIのo3のような推論モデルは,情報密度シナリオにおける連続的な検索と推論に苦労していることがわかった。
  論文  参考訳（メタデータ） (2024-07-16T17:59:06Z)
• Leveraging Large Language Models for Relevance Judgments in Legal Case Retrieval [16.29803062332164]
  本稿では,大規模言語モデルによる専門家による関連判断の生成を支援する,数ショットのアプローチを提案する。 提案手法は,人間のアノテータのワークフローを模倣して,判断過程をいくつかの段階に分解する。 また、解釈可能なデータラベリングを保証し、関連性評価プロセスにおける透明性と明確性を提供します。
  論文  参考訳（メタデータ） (2024-03-27T09:46:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。