論文の概要: LexTime: A Benchmark for Temporal Ordering of Legal Events

• arxiv url: http://arxiv.org/abs/2506.04041v1
• Date: Wed, 04 Jun 2025 15:06:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.402696
• Title: LexTime: A Benchmark for Temporal Ordering of Legal Events
• Title（参考訳）: LexTime: 法的イベントの一時的な順序付けのためのベンチマーク
• Authors: Claire Barale, Leslie Barrett, Vikram Sunil Bajaj, Michael Rovatsos,
• Abstract要約: 法的テキストの時間的推論は、ケースロー解析やコンプライアンス監視といったアプリケーションにとって重要である。 法言語におけるイベント順序付け機能を評価するために設計された最初のデータセットであるLexTimeを紹介する。
• 参考スコア（独自算出の注目度）: 2.499907423888049
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Temporal reasoning in legal texts is important for applications like case law analysis and compliance monitoring. However, existing datasets lack expert language evaluation, leaving a gap in understanding how LLMs manage event ordering in legal contexts. We introduce LexTime, the first dataset designed to evaluate LLMs' event ordering capabilities in legal language, consisting of 512 instances from U.S. Federal Complaints with annotated event pairs and their temporal relations. Our findings show that (1) LLMs are more accurate on legal event ordering than on narrative (up to +10.5%); (2) longer input contexts and implicit events boost accuracy, reaching 80.8% for implicit-explicit event pairs; (3) legal linguistic complexities and nested clauses remain a challenge. We investigate how context length, explicit vs implicit event pairs, and legal language features affect model performance, demonstrating the need for specific modeling strategies to enhance temporal event reasoning.
• Abstract（参考訳）: 法的テキストの時間的推論は、ケースロー解析やコンプライアンス監視といったアプリケーションにとって重要である。 しかし、既存のデータセットには専門家による言語評価が欠けており、LLMが法的文脈でイベントの順序を管理する方法を理解するためのギャップが残されている。 我々はLexTimeを紹介した。LLMのイベントオーダリング能力を法律言語で評価するために設計された最初のデータセットで、アノテーション付きイベントペアと時間的関係を持つ米国連邦検察官の512のインスタンスで構成されている。 以上の結果から,(1)LLMは物語よりも法的なイベント順序の方が正確であること(+10.5%),(2)より長い入力コンテキストと暗黙的なイベントが正確であること,および,暗黙的なイベントペアに対して80.8%に達すること,(3)法的言語学的複雑度とネストされた条項が課題であることがわかった。 文脈長,明示的,暗黙的なイベントペア,法的言語的特徴がモデル性能に与える影響について検討し,時間的イベント推論を強化するための具体的なモデリング戦略の必要性を実証する。

関連論文リスト

• ExAnte: A Benchmark for Ex-Ante Inference in Large Language Models [12.948099229475265]
  大型言語モデル (LLM) は、元Antの推論において重大な課題に直面している。 時間的カットオフを強制する明示的なプロンプトであっても、LLMは指定されたカットオフを超えた事象の内在的な知識に影響された出力をしばしば生成する。 本稿では、このような時間的制約に固執しながら、LCMの推論能力を評価するための新しいタスクとベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T05:39:57Z)
• LEXam: Benchmarking Legal Reasoning on 340 Law Exams [61.344330783528015]
  LEXamは、様々な科目と学位レベルの116の法学校コースにまたがる340の法試験から派生した、新しいベンチマークである。 このデータセットは、英語とドイツ語で4,886の法試験の質問で構成されており、その中には2,841の長文のオープンエンドの質問と2,045のマルチチョイスの質問が含まれている。
  論文  参考訳（メタデータ） (2025-05-19T08:48:12Z)
• ExpliCa: Evaluating Explicit Causal Reasoning in Large Language Models [75.05436691700572]
  明示的な因果推論において,LLM(Large Language Models)を評価するための新しいデータセットであるExpliCaを紹介する。 ExpliCa上で7つの商用およびオープンソース LLM をテストしました。 驚くべきことに、モデルは因果関係と時間的関係を関連付ける傾向にあり、そのパフォーマンスはイベントの言語的順序にも強く影響される。
  論文  参考訳（メタデータ） (2025-02-21T14:23:14Z)
• Logical Lease Litigation: Prolog and LLMs for Rental Law Compliance in New York [0.30693357740321775]
  本稿では,ニューヨーク州における地主訴訟の分析を自動化するための新しいアプローチとシステムであるLogicLeaseを提案する。 LogicLeaseは、ケース記述を分析し、関連するすべての法律を引用することによって、関連する法的要件の遵守を決定する。 我々は、LogicLeaseの精度、効率、堅牢性を一連のテストで評価し、100%の精度と平均処理時間2.57秒を実現した。
  論文  参考訳（メタデータ） (2025-02-13T11:45:38Z)
• BLT: Can Large Language Models Handle Basic Legal Text? [44.89873147675516]
  GPT-4とClaudeは、基本的な法的テキスト処理では性能が良くない。 ベンチマークの粗悪なパフォーマンスは、法的慣行の信頼性を疑うものだ。 トレーニングセットの微調整は、小さなモデルでもほぼ完璧なパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2023-11-16T09:09:22Z)
• Temporal Reasoning on Implicit Events from Distant Supervision [91.20159064951487]
  本稿では,暗黙的事象の理解度を評価する新しい時間的推論データセットを提案する。 我々は、暗黙の出来事と明示的な出来事の間の時間的関係を予測する際に、最先端のモデルが苦労していることを発見した。 本稿では,大規模テキストからの遠隔監視信号を利用して終末時刻を推定する,ニューロシンボリックな時間的推論モデルSYMTIMEを提案する。
  論文  参考訳（メタデータ） (2020-10-24T03:12:27Z)
• A Dataset for Statutory Reasoning in Tax Law Entailment and Question Answering [37.66486350122862]
  本稿では,法定推論における自然言語理解手法の性能について検討する。 我々は、法的ドメインのテキストコーパスとともにデータセットを導入する。 タスクを完全に解くように設計された手作りPrologベースのシステムと対比する。
  論文  参考訳（メタデータ） (2020-05-11T16:54:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。