論文の概要: The CLC-UKET Dataset: Benchmarking Case Outcome Prediction for the UK Employment Tribunal

• arxiv url: http://arxiv.org/abs/2409.08098v1
• Date: Thu, 12 Sep 2024 14:51:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 16:07:58.663862
• Title: The CLC-UKET Dataset: Benchmarking Case Outcome Prediction for the UK Employment Tribunal
• Title（参考訳）: CLC-UKETデータセット:英国雇用裁判所のベンチマークケースアウトカム予測
• Authors: Huiyuan Xie, Felix Steffek, Joana Ribeiro de Faria, Christine Carter, Jonathan Rutherford,
• Abstract要約: この研究は、自動アノテーションのための大きな言語モデル(LLM)を用いており、結果としてCLC-UKETデータセットが作成される。 データセットは約19,000のUKETケースとそのメタデータで構成されている。 実験結果から、微調整トランスモデルはUKET予測タスクにおいてゼロショットおよび少数ショットLLMよりも優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 0.41044181091229565
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper explores the intersection of technological innovation and access to justice by developing a benchmark for predicting case outcomes in the UK Employment Tribunal (UKET). To address the challenge of extensive manual annotation, the study employs a large language model (LLM) for automatic annotation, resulting in the creation of the CLC-UKET dataset. The dataset consists of approximately 19,000 UKET cases and their metadata. Comprehensive legal annotations cover facts, claims, precedent references, statutory references, case outcomes, reasons and jurisdiction codes. Facilitated by the CLC-UKET data, we examine a multi-class case outcome prediction task in the UKET. Human predictions are collected to establish a performance reference for model comparison. Empirical results from baseline models indicate that finetuned transformer models outperform zero-shot and few-shot LLMs on the UKET prediction task. The performance of zero-shot LLMs can be enhanced by integrating task-related information into few-shot examples. We hope that the CLC-UKET dataset, along with human annotations and empirical findings, can serve as a valuable benchmark for employment-related dispute resolution.
• Abstract（参考訳）: 本稿では,英国雇用裁判所(UKET)の事例成果を予測するためのベンチマークを開発することにより,技術革新と司法アクセスの交わりについて考察する。 広範囲な手動アノテーションの課題に対処するため、この研究では、大規模な言語モデル(LLM)を自動アノテーションに使用し、CLC-UKETデータセットを作成する。 データセットは約19,000のUKETケースとそのメタデータで構成されている。 包括的な法的注釈は、事実、クレーム、前例参照、法定参照、事例結果、理由および司法法典をカバーしている。 CLC-UKETデータに精通し,UKETにおけるマルチクラス事例結果予測タスクについて検討した。 モデル比較のパフォーマンス基準を確立するために、人間の予測が収集される。 ベースラインモデルによる実証的な結果は、微調整されたトランスフォーマーモデルがUKET予測タスクにおいてゼロショットおよび少数ショットLLMよりも優れていることを示している。 ゼロショットLLMの性能は、タスク関連情報を少数ショットの例に統合することで向上することができる。 CLC-UKETデータセットは、人間のアノテーションや経験的な発見とともに、雇用に関する紛争解決のための貴重なベンチマークとして役立てられることを期待している。

関連論文リスト

• Enhancing Legal Case Retrieval via Scaling High-quality Synthetic Query-Candidate Pairs [67.54302101989542]
  判例検索は、ある事実記述の参照として類似した事例を提供することを目的としている。 既存の作業は主に、長いクエリを使ったケース・ツー・ケースの検索に重点を置いている。 データスケールは、既存のデータハングリーニューラルネットワークのトレーニング要件を満たすには不十分である。
  論文  参考訳（メタデータ） (2024-10-09T06:26:39Z)
• Low-Resource Court Judgment Summarization for Common Law Systems [32.13166048504629]
  CLSumは,多審理法裁判所判決文書を要約する最初のデータセットである。 これは、データ拡張、要約生成、評価において、大規模言語モデル(LLM)を採用する最初の裁判所判決要約作業である。
  論文  参考訳（メタデータ） (2024-03-07T12:47:42Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• Precedent-Enhanced Legal Judgment Prediction with LLM and Domain-Model Collaboration [52.57055162778548]
  法的判断予測(LJP)は、法律AIにおいてますます重要な課題となっている。 先行は、同様の事実を持つ以前の訴訟であり、国家法制度におけるその後の事件の判断の基礎となっている。 近年のディープラーニングの進歩により、LJPタスクの解決に様々なテクニックが使えるようになった。
  論文  参考訳（メタデータ） (2023-10-13T16:47:20Z)
• A Hierarchical Neural Framework for Classification and its Explanation in Large Unstructured Legal Documents [0.5812284760539713]
  我々はこの問題を「注釈付き法律文書」と定義する。 我々はMEScと呼ぶディープラーニングに基づく分類フレームワークを提案する。 また、ORSEと呼ばれる説明抽出アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-19T12:18:28Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• LMGQS: A Large-scale Dataset for Query-focused Summarization [77.6179359525065]
  我々は4つの一般的な要約ベンチマークを新しいQFSベンチマークデータセットであるLMGQSに変換する。 我々は最先端の要約モデルを用いてベースラインを確立する。 複数の既存のQFSベンチマークにおいて、最先端のゼロショットと教師付きパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-22T14:53:45Z)
• CaseEncoder: A Knowledge-enhanced Pre-trained Model for Legal Case Encoding [15.685369142294693]
  CaseEncoderは、データサンプリングと事前トレーニングフェーズの両方において、きめ細かい法的な知識を活用する法律文書エンコーダである。 CaseEncoderは、ゼロショットの判例検索において、既存の一般的な事前訓練モデルと法律固有の事前訓練モデルの両方を著しく上回っている。
  論文  参考訳（メタデータ） (2023-05-09T12:40:19Z)
• Understanding Translationese in Cross-Lingual Summarization [106.69566000567598]
  言語間要約(MS)は、異なる対象言語で簡潔な要約を生成することを目的としている。 大規模なCLSデータを集めるために、既存のデータセットは通常、それらの生成に翻訳を伴います。 本稿では、まず、CLSデータセット構築の異なるアプローチが、異なるレベルの翻訳に結びつくことを確認する。
  論文  参考訳（メタデータ） (2022-12-14T13:41:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。