論文の概要: From Dissonance to Insights: Dissecting Disagreements in Rationale
Construction for Case Outcome Classification
- arxiv url: http://arxiv.org/abs/2310.11878v2
- Date: Thu, 19 Oct 2023 15:34:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-20 11:15:26.652498
- Title: From Dissonance to Insights: Dissecting Disagreements in Rationale
Construction for Case Outcome Classification
- Title（参考訳）: ディスコナンスからインサイトへ:事例アウトカム分類のための集合住宅の解体
- Authors: Shanshan Xu, Santosh T.Y.S.S, Oana Ichim, Isabella Risini, Barbara
Plank, Matthias Grabmair
- Abstract要約: ケースアウトカム分類(COC)は正確で信頼できるものでなければならない。
ケーススタディは、法的NLPでベンチマークデータセットを作成する際の、過度な複雑さを明らかにしている。
- 参考スコア（独自算出の注目度）: 20.90520840520586
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In legal NLP, Case Outcome Classification (COC) must not only be accurate but
also trustworthy and explainable. Existing work in explainable COC has been
limited to annotations by a single expert. However, it is well-known that
lawyers may disagree in their assessment of case facts. We hence collect a
novel dataset RAVE: Rationale Variation in ECHR1, which is obtained from two
experts in the domain of international human rights law, for whom we observe
weak agreement. We study their disagreements and build a two-level
task-independent taxonomy, supplemented with COC-specific subcategories. To our
knowledge, this is the first work in the legal NLP that focuses on human label
variation. We quantitatively assess different taxonomy categories and find that
disagreements mainly stem from underspecification of the legal context, which
poses challenges given the typically limited granularity and noise in COC
metadata. We further assess the explainablility of SOTA COC models on RAVE and
observe limited agreement between models and experts. Overall, our case study
reveals hitherto underappreciated complexities in creating benchmark datasets
in legal NLP that revolve around identifying aspects of a case's facts
supposedly relevant to its outcome.
- Abstract（参考訳）: 法的NLPでは、ケースアウトカム分類(COC)は正確であるだけでなく、信頼性と説明性も必要である。
説明可能なCOCの既存の作業は、単一の専門家によるアノテーションに限定されている。
しかし、弁護士が事件事実の評価に異議を唱えることも知られている。
そこで我々は,国際人権法領域の専門家2人から得られたechr1の合理的な変動に関する新たなデータセットを収集し,弱い合意を遵守する。
それらの不一致を調査し,coc固有のサブカテゴリを補う2段階のタスク非依存分類法を構築した。
我々の知る限り、これは人間のラベルの変化に焦点を当てた法的NLPにおける最初の研究である。
異なる分類群を定量的に評価し,cocメタデータの粒度やノイズを考慮し,法的な文脈を過小に特定することによる不一致が主な原因であることを見出した。
さらに、RAVE上でのSOTA COCモデルの妥当性を評価し、モデルと専門家間の限定的な合意を観察する。
総じて,本事例のケーススタディでは,法的nlpにおけるベンチマークデータセット作成におけるhhertoの不正確さが明らかにされている。
関連論文リスト
- ECtHR-PCR: A Dataset for Precedent Understanding and Prior Case Retrieval in the European Court of Human Rights [1.3723120574076126]
我々は欧州人権裁判所(ECtHR)の判断に基づく事前事例検索データセットを開発する。
我々は、様々な負のサンプリング戦略を用いて、様々な語彙と密度の検索手法をベンチマークする。
PCRでは,難易度に基づく陰性サンプリングが有効でないことがわかった。
論文 参考訳（メタデータ） (2024-03-31T08:06:54Z) - DELTA: Pre-train a Discriminative Encoder for Legal Case Retrieval via Structural Word Alignment [55.91429725404988]
判例検索のための識別モデルであるDELTAを紹介する。
我々は浅層デコーダを利用して情報ボトルネックを作り、表現能力の向上を目指しています。
本手法は, 判例検索において, 既存の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2024-03-27T10:40:14Z) - Through the Lens of Split Vote: Exploring Disagreement, Difficulty and Calibration in Legal Case Outcome Classification [21.56347984160413]
法的決定では、裁判官が全会一致の判断を下すことができない場合に、分割票(SV)が発生する。
本稿では、自然に観察できる人間の不一致と価値の多元性として、分割投票を考察する。
我々の知る限り、法的NLPにおける人間の判断に対する校正の体系的な調査はこれが初めてである。
論文 参考訳（メタデータ） (2024-02-11T14:21:37Z) - Modeling Legal Reasoning: LM Annotation at the Edge of Human Agreement [3.537369004801589]
我々は法学哲学に基づく法学推論の分類について研究する。
我々は、ドメインの専門家チームによって注釈付けされた、アメリカ合衆国最高裁判所の歴史的意見の新しいデータセットを使用します。
生成モデルは、人間のアノテーションに提示される命令と同等の命令が与えられた場合、性能が良くないことがわかった。
論文 参考訳（メタデータ） (2023-10-27T19:27:59Z) - MUSER: A Multi-View Similar Case Retrieval Dataset [65.36779942237357]
類似事例検索(SCR)は、司法公正の促進に重要な役割を果たす代表的法的AIアプリケーションである。
既存のSCRデータセットは、ケース間の類似性を判断する際にのみ、事実記述セクションにフォーカスする。
本稿では,多視点類似度測定に基づく類似事例検索データセットMと,文レベル法定要素アノテーションを用いた包括的法定要素を提案する。
論文 参考訳（メタデータ） (2023-10-24T08:17:11Z) - Do Language Models Learn about Legal Entity Types during Pretraining? [4.604003661048267]
Llama2は特定のエンティティでよく機能し、最適化されたプロンプトテンプレートで大幅に改善する可能性を示す。
Llama2は、BERTベースのアーキテクチャでは欠点の少ない構文的ヒントをしばしば見落としているように見える。
論文 参考訳（メタデータ） (2023-10-19T18:47:21Z) - SemEval-2023 Task 11: Learning With Disagreements (LeWiDi) [75.85548747729466]
共有タスクのLeWiDiシリーズの第2版について報告する。
この第2版は幅広い参加者を集め、13のタスクの共用論文が提出された。
論文 参考訳（メタデータ） (2023-04-28T12:20:35Z) - SAILER: Structure-aware Pre-trained Language Model for Legal Case
Retrieval [75.05173891207214]
判例検索は知的法体系において中心的な役割を果たす。
既存の言語モデルの多くは、異なる構造間の長距離依存関係を理解するのが難しい。
本稿では, LEgal ケース検索のための構造対応プレトランザクショナル言語モデルを提案する。
論文 参考訳（メタデータ） (2023-04-22T10:47:01Z) - Exploiting Contrastive Learning and Numerical Evidence for Confusing
Legal Judgment Prediction [46.71918729837462]
訴訟の事実記述文を考慮し、法的判断予測は、事件の告訴、法律記事、刑期を予測することを目的としている。
従来の研究では、標準的なクロスエントロピー分類損失と異なる分類誤差を区別できなかった。
本稿では,モコに基づく教師付きコントラスト学習を提案する。
さらに,事前学習した数値モデルにより符号化された抽出された犯罪量による事実記述の表現をさらに強化する。
論文 参考訳（メタデータ） (2022-11-15T15:53:56Z) - Equality before the Law: Legal Judgment Consistency Analysis for
Fairness [55.91612739713396]
本論文では,LInCo(Legal Inconsistency Coefficient)の判定不整合性評価指標を提案する。
法的な判断予測(LJP)モデルを用いて異なる集団の裁判官をシミュレートし、異なる集団で訓練されたLJPモデルによる判断結果の不一致を判断する。
私達はLInCoを実際の場合の不一致を探検するために使用し、次の観察に来ます:(1)地域およびジェンダーの不一致は法制度でありますが、ジェンダーの不一致は地方不一致より大いにより少しです。
論文 参考訳（メタデータ） (2021-03-25T14:28:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。