論文の概要: LexKairos: Benchmarking Legal Temporal Capabilities in LLMs

• arxiv url: http://arxiv.org/abs/2608.09106v2
• Date: Tue, 18 Aug 2026 15:19:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 15:55:59.068074
• Title: LexKairos: Benchmarking Legal Temporal Capabilities in LLMs
• Title（参考訳）: LexKairos: LLMにおける法的時間的能力のベンチマーク
• Abstract要約: LexKairos(レックスカイロス)は、中国における大規模言語モデル(LLM)の時間的能力を評価するためのベンチマークである。 以上の結果から,Gemini-3-Flashは全体的な性能が最も高いが,最高の性能のモデルでも顕著な限界があることがわかった。
• 参考スコア（独自算出の注目度）: 11.625202652936869
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have demonstrated strong performance across a wide range of legal tasks. In legal practice, time is a critical concept that governs the validity of statutes, the progression of legal cases, and the enforcement of procedural deadlines. However, legal temporal capabilities remain underexplored in existing legal AI benchmarks. To address this gap, we propose LexKairos, a comprehensive benchmark for evaluating the temporal capabilities of LLMs in the Chinese legal context across three dimensions: statutory temporal knowledge, case temporal modeling, and statute-case temporal reasoning. LexKairos comprises nine sub-tasks drawn from real-world Chinese judicial cases and statutes. We conduct systematic evaluations of eight LLMs under multiple inference settings, including vanilla, Chain-of-Thought (CoT), and thinking modes. Our results show that Gemini-3-Flash achieves the strongest overall performance, yet even the best-performing model exhibits notable limitations on tasks demanding precise time-sensitive statutory metadata recall or complex reasoning in time limits, indicating that legal temporal knowledge and reasoning remain open challenges for current LLMs. Data and code are available at https://github.com/thunlp/LexKairos.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広い法的タスクにおいて強力なパフォーマンスを示している。 法律実務において、時間は法律の有効性、訴訟の進行、手続き上の期限の施行を規定する重要な概念である。 しかし、法的な時間的能力は、既存の法的なAIベンチマークでは探索されていない。 このギャップに対処するため、我々は、法的な時間的知識、ケース・テンポラル・モデリング、法定ケース・テンポラル・推論の3次元にわたる、中国の法的文脈におけるLLMの時間的能力を評価するための総合的なベンチマークであるLexKairosを提案する。 レックスカイロスは、現実の中国の司法事件や法令から引き出された9つのサブタスクで構成されている。 我々は,バニラ,CoT(Chain-of-Thought),思考モードなど,複数の推論条件下で8つのLLMの系統的評価を行う。 以上の結果から,Gemini-3-Flashは最高の性能を達成できるが,最高の性能モデルでさえ,時間に敏感なメタデータのリコールや時間制限の複雑な推論を必要とするタスクに顕著な制限を課し,法的な時間的知識と推論が現状のLLMにとってオープンな課題であり続けていることが示唆された。 データとコードはhttps://github.com/thunlp/LexKairos.comで入手できる。

関連論文リスト

• Can LLMs Time Travel? Enhancing Temporal Consistency in Legal Agentic Search through Reinforcement Learning [45.13302016493955]
  法律は、法律の遡及的適用が中核的な法的原則に違反し、誤った結論に至るため、各事件の時間的文脈と一致しなければならない。 我々の観察では、現在の法的LLMはトレーニングの遮断に固定された時間的バイアスに悩まされているのに対し、検索エージェントはクエリに時間的制約を組み込むことは滅多にない。 我々は,複数の修正期間にまたがる時間的インデクシングデータに基づいて学習し,時間的整合性を確保するために,オンラインWeb検索に適合する厳密な記事に局所法規RAGを併用する,エンドツーエンドの強化学習フレームワークであるLegalSearch-R1を提案する。
  論文  参考訳（メタデータ） (2026-05-25T14:57:13Z)
• TriBench-Ko: Evaluating LLM Risks in Judicial Workflows [10.833772229369226]
  TriBench-Koは、大規模言語モデルのデプロイメントリスクを評価するために設計された韓国のベンチマークである。 要約、前例検索、法的問題抽出、証拠分析の4つのコアタスクをカバーしている。 複数のデプロイメントリスクカテゴリにわたるモデル動作を共同で評価する。
  論文  参考訳（メタデータ） (2026-05-05T14:20:28Z)
• LegalOne: A Family of Foundation Models for Reliable Legal Reasoning [54.57434222018289]
  我々は、中国の法律ドメインに特化された基礎モデルのファミリーであるLegalOneを紹介します。 LegalOneは、法的推論をマスターするために設計された包括的な3フェーズパイプラインを通じて開発されている。 LegalOneの重み付けとLegalKit評価フレームワークを公開して、Legal AIの分野を前進させます。
  論文  参考訳（メタデータ） (2026-01-31T10:18:32Z)
• PLawBench: A Rubric-Based Benchmark for Evaluating LLMs in Real-World Legal Practice [67.71760070255425]
  本稿では,大規模言語モデル (LLM) を評価するための実践的ベンチマークであるPLawBenchを紹介する。 PLawBenchは、13の実践的な法的シナリオにわたる850の質問で構成され、各質問には専門家が設計した評価ルーブが伴っている。 人間の専門的判断に合わせたLLMに基づく評価器を用いて,10種類の最先端のLLMを評価した。
  論文  参考訳（メタデータ） (2026-01-23T11:36:10Z)
• LexGenius: An Expert-Level Benchmark for Large Language Models in Legal General Intelligence [74.05988707492058]
  法務総合知能(ぎょうげんがく、英語: Legal General Intelligence, GI)とは、法的な理解、推論、意思決定を含む人工知能(AI)のこと。 既存のベンチマークは結果指向であり、大規模言語モデル(LLM)の法的なインテリジェンスを体系的に評価することができない。 我々は、LLMにおける法GIを評価するための専門家レベルの中国の法定ベンチマークであるLexGeniusを提案する。
  論文  参考訳（メタデータ） (2025-12-04T08:48:02Z)
• CLaw: Benchmarking Chinese Legal Knowledge in Large Language Models - A Fine-grained Corpus and Reasoning Analysis [13.067377421250557]
  大規模言語モデル (LLM) は、法的テキストを分析し、関連する法令を引用するタスクが増えている。 本稿では,中国法学におけるLLMの厳密な評価と推論への応用を目的とした新しいベンチマークであるCLawを紹介する。
  論文  参考訳（メタデータ） (2025-09-25T14:19:51Z)
• LegalAgentBench: Evaluating LLM Agents in Legal Domain [53.70993264644004]
  LegalAgentBenchは、中国の法律領域でLLMエージェントを評価するために特別に設計されたベンチマークである。 LegalAgentBenchには、現実世界の法的シナリオから17のコーパスが含まれており、外部知識と対話するための37のツールを提供している。
  論文  参考訳（メタデータ） (2024-12-23T04:02:46Z)
• LexEval: A Comprehensive Chinese Legal Benchmark for Evaluating Large Language Models [17.90483181611453]
  大規模言語モデル (LLM) は自然言語処理タスクにおいて大きな進歩を遂げており、法的領域においてかなりの可能性を示している。 既存のLLMを法制度に適用し、その可能性や限界を慎重に評価することなく適用することは、法律実務において重大なリスクをもたらす可能性がある。 我々は、標準化された総合的な中国の法律ベンチマークLexEvalを紹介する。
  論文  参考訳（メタデータ） (2024-09-30T13:44:00Z)
• A Comprehensive Evaluation of Large Language Models on Legal Judgment Prediction [60.70089334782383]
  大規模言語モデル(LLM)は、ドメイン固有のアプリケーションに大きな可能性を示している。 GPT-4の法律評価をめぐる近年の論争は、現実の法的タスクにおけるパフォーマンスに関する疑問を提起している。 我々は,LLMに基づく実践的ベースラインソリューションを設計し,法的判断予測の課題を検証した。
  論文  参考訳（メタデータ） (2023-10-18T07:38:04Z)
• LAiW: A Chinese Legal Large Language Models Benchmark [17.66376880475554]
  一般および法的ドメイン LLM は LegalAI の様々なタスクにおいて高いパフォーマンスを示している。 われわれは、法的な実践の論理に基づいて、中国の法的LLMベンチマークLAiWを最初に構築しました。
  論文  参考訳（メタデータ） (2023-10-09T11:19:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。