論文の概要: LAR-ECHR: A New Legal Argument Reasoning Task and Dataset for Cases of the European Court of Human Rights

• arxiv url: http://arxiv.org/abs/2410.13352v1
• Date: Thu, 17 Oct 2024 09:03:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:21:58.849338
• Title: LAR-ECHR: A New Legal Argument Reasoning Task and Dataset for Cases of the European Court of Human Rights
• Title（参考訳）: LAR-ECHR : 欧州人権裁判所事件における新たな法的議論課題とデータセット
• Authors: Odysseas S. Chlapanis, Dimitrios Galanis, Ion Androutsopoulos,
• Abstract要約: 本稿では,Largument Reasoning(LAR)について述べる。Large Language Models(LLMs)の法的推論能力を評価するための新しいタスクである。 我々は欧州人権裁判所(ECHR)の事例を用いて,この作業のためのデータセット(LAR-ECHR)を構築した。 我々は、LAR-ECHR上で7つの汎用LLMを評価し、(a)LAR-ECHRはEU法に基づくが、(b)LAR-ECHRは、LORに比べて、トップモデルをより明確に区別するが、(b)LAR-ECHRは、確立された米国ベースの法律推論ベンチマークであるLegalBenchのモデルと整合していることを発見した。
• 参考スコア（独自算出の注目度）: 12.20489673003868
• License:
• Abstract: We present Legal Argument Reasoning (LAR), a novel task designed to evaluate the legal reasoning capabilities of Large Language Models (LLMs). The task requires selecting the correct next statement (from multiple choice options) in a chain of legal arguments from court proceedings, given the facts of the case. We constructed a dataset (LAR-ECHR) for this task using cases from the European Court of Human Rights (ECHR). We evaluated seven general-purpose LLMs on LAR-ECHR and found that (a) the ranking of the models is aligned with that of LegalBench, an established US-based legal reasoning benchmark, even though LAR-ECHR is based on EU law, (b) LAR-ECHR distinguishes top models more clearly, compared to LegalBench, (c) even the best model (GPT-4o) obtains 75.8% accuracy on LAR-ECHR, indicating significant potential for further model improvement. The process followed to construct LAR-ECHR can be replicated with cases from other legal systems.
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) の法的推論能力を評価するために,LAR(Lawal Argument Reasoning) を提案する。 このタスクは、訴訟の事実を考慮して、訴訟手続から一連の法的議論において正しい次の文(複数の選択肢から)を選択する必要がある。 我々は欧州人権裁判所(ECHR)の事例を用いて,この課題のためのデータセット(LAR-ECHR)を構築した。 LAR-ECHRを用いた汎用LLMの7つの評価を行い,その有効性を確認した。 (a)LAR-ECHRはEU法に基づくものであるにもかかわらず、米国の確立した法的推論ベンチマークであるLegalBenchのモデルと整合している。 (b)LAR-ECHRはLegalBenchと比較してトップモデルをより明確に区別する。 (c)最良モデル(GPT-4o)でさえLAR-ECHRの精度は75.8%であり、さらなるモデル改善の可能性を示している。 LAR-ECHRの構築プロセスは、他の法体系のケースで複製することができる。

関連論文リスト

• Legal Evalutions and Challenges of Large Language Models [42.51294752406578]
  我々は,OPENAI o1モデルを事例研究として,法律規定の適用における大規模モデルの性能評価に利用した。 我々は、オープンソース、クローズドソース、および法律ドメインのために特別に訓練された法律固有のモデルを含む、最先端のLLMを比較します。
  論文  参考訳（メタデータ） (2024-11-15T12:23:12Z)
• Enhancing Legal Case Retrieval via Scaling High-quality Synthetic Query-Candidate Pairs [67.54302101989542]
  判例検索は、ある事実記述の参照として類似した事例を提供することを目的としている。 既存の作業は主に、長いクエリを使ったケース・ツー・ケースの検索に重点を置いている。 データスケールは、既存のデータハングリーニューラルネットワークのトレーニング要件を満たすには不十分である。
  論文  参考訳（メタデータ） (2024-10-09T06:26:39Z)
• LawLLM: Law Large Language Model for the US Legal System [43.13850456765944]
  我々は,米国法域に特化して設計されたマルチタスクモデルであるLawLLM(Law Large Language Model)を紹介する。 類似症例検索(SCR)、PCR(Precedent Case Recommendation)、LJP(Lawal Judgment Prediction)においてLawLLMが優れている そこで本研究では,各タスクに対して,生の法定データをトレーニング可能な形式に変換する,カスタマイズされたデータ前処理手法を提案する。
  論文  参考訳（メタデータ） (2024-07-27T21:51:30Z)
• Enabling Discriminative Reasoning in LLMs for Legal Judgment Prediction [23.046342240176575]
  人間の推論に触発されたAsk-Discriminate-Predict(ADAPT)推論フレームワークを紹介する。 ADAPTは、ケース事実を分解し、潜在的な電荷を識別し、最終的な判断を予測する。 広く利用されている2つのデータセットに対して行われた実験は、法的な判断予測において、我々のフレームワークの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-02T05:43:15Z)
• Leveraging Large Language Models for Relevance Judgments in Legal Case Retrieval [18.058942674792604]
  本稿では,訴訟の関連判断に適した新規な数ショットワークフローを提案する。 LLMと人的専門家の関連判断を比較することで,信頼性の高い関連判断が得られたことを実証的に示す。
  論文  参考訳（メタデータ） (2024-03-27T09:46:56Z)
• Aligning Large Language Models by On-Policy Self-Judgment [49.31895979525054]
  大規模言語モデルと人間の嗜好を整合させる既存のアプローチは、オンライン学習のために別々の報酬モデル(RM)を必要とするトレードオフに直面しています。 本稿では,オンライン学習を行う新たなアライメントフレームワークSELF-JUDGEを提案する。 また, さらなる評価を行なわずに, サンプリング自体がさらなる性能向上に寄与することを示した。
  論文  参考訳（メタデータ） (2024-02-17T11:25:26Z)
• Combining topic modelling and citation network analysis to study case law from the European Court on Human Rights on the right to respect for private and family life [0.0]
  本論は欧州人権条約第8条における欧州人権裁判所の事例法に焦点をあてる。 第8条の事例法を見つけ,整理するために,トピックモデリングと引用ネットワークの可能性を実証し,比較する。 本研究では,Aricle 8 のケース法則を根拠として,手作業で収集・注釈付けしたデータセットに組み合わせた手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-01-19T14:30:35Z)
• A Comprehensive Evaluation of Large Language Models on Legal Judgment Prediction [60.70089334782383]
  大規模言語モデル(LLM)は、ドメイン固有のアプリケーションに大きな可能性を示している。 GPT-4の法律評価をめぐる近年の論争は、現実の法的タスクにおけるパフォーマンスに関する疑問を提起している。 我々は,LLMに基づく実践的ベースラインソリューションを設計し,法的判断予測の課題を検証した。
  論文  参考訳（メタデータ） (2023-10-18T07:38:04Z)
• Precedent-Enhanced Legal Judgment Prediction with LLM and Domain-Model Collaboration [52.57055162778548]
  法的判断予測(LJP)は、法律AIにおいてますます重要な課題となっている。 先行は、同様の事実を持つ以前の訴訟であり、国家法制度におけるその後の事件の判断の基礎となっている。 近年のディープラーニングの進歩により、LJPタスクの解決に様々なテクニックが使えるようになった。
  論文  参考訳（メタデータ） (2023-10-13T16:47:20Z)
• SAILER: Structure-aware Pre-trained Language Model for Legal Case Retrieval [75.05173891207214]
  判例検索は知的法体系において中心的な役割を果たす。 既存の言語モデルの多くは、異なる構造間の長距離依存関係を理解するのが難しい。 本稿では, LEgal ケース検索のための構造対応プレトランザクショナル言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T10:47:01Z)
• Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents [56.40163943394202]
  我々は,中国法定長文理解のためのLongformerベースの事前学習言語モデル,Lawformerをリリースする。 判決の予測,類似事例の検索,法的読解,法的質問の回答など,さまざまな法務上の課題について法務担当者を評価した。
  論文  参考訳（メタデータ） (2021-05-09T09:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。