論文の概要: Towards Explainability and Fairness in Swiss Judgement Prediction:
Benchmarking on a Multilingual Dataset
- arxiv url: http://arxiv.org/abs/2402.17013v1
- Date: Mon, 26 Feb 2024 20:42:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 18:30:54.540819
- Title: Towards Explainability and Fairness in Swiss Judgement Prediction:
Benchmarking on a Multilingual Dataset
- Title(参考訳): スイスの判断予測における説明可能性と公正性:多言語データセットのベンチマーク
- Authors: Santosh T.Y.S.S, Nina Baumgartner, Matthias St\"urmer, Matthias
Grabmair, Joel Niklaus
- Abstract要約: 本研究は法定判断予測(LJP)モデルにおける説明可能性と公正性の領域を掘り下げるものである。
我々は,最先端モノリンガルおよび多言語BERTに基づくLJPモデルの説明可能性の評価を行った。
そこで我々は,下級裁判所情報の影響を定量的に予測できる新しい評価枠組みであるLCI(Lower Court Insertion)を導入する。
- 参考スコア(独自算出の注目度): 2.7463268699570134
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The assessment of explainability in Legal Judgement Prediction (LJP) systems
is of paramount importance in building trustworthy and transparent systems,
particularly considering the reliance of these systems on factors that may lack
legal relevance or involve sensitive attributes. This study delves into the
realm of explainability and fairness in LJP models, utilizing Swiss Judgement
Prediction (SJP), the only available multilingual LJP dataset. We curate a
comprehensive collection of rationales that `support' and `oppose' judgement
from legal experts for 108 cases in German, French, and Italian. By employing
an occlusion-based explainability approach, we evaluate the explainability
performance of state-of-the-art monolingual and multilingual BERT-based LJP
models, as well as models developed with techniques such as data augmentation
and cross-lingual transfer, which demonstrated prediction performance
improvement. Notably, our findings reveal that improved prediction performance
does not necessarily correspond to enhanced explainability performance,
underscoring the significance of evaluating models from an explainability
perspective. Additionally, we introduce a novel evaluation framework, Lower
Court Insertion (LCI), which allows us to quantify the influence of lower court
information on model predictions, exposing current models' biases.
- Abstract(参考訳): 法的判断予測(ljp)システムにおける説明可能性の評価は、信頼に値する透明なシステムを構築する上で、特に法的関連性を欠いたり、機密性のある属性を含む要因にこれらのシステムの依存を考慮する上で重要である。
本研究はスイス判断予測(SJP)を用いて,LJPモデルにおける説明可能性と公正性の領域について考察する。
われわれは,ドイツ語,フランス語,イタリア語の108件について,法律専門家からの「支持」と「提案」の判断を総合的に収集する。
オークルージョンに基づく説明可能性アプローチを用いて,最先端のモノリンガルモデルと多言語BERTベースのLJPモデルと,データ拡張やクロスリンガル転送といった手法を用いて開発されたモデルを用いて,予測性能の向上を示す。
特に, 予測性能の向上は説明可能性の向上とは必ずしも一致せず, 説明可能性の観点からモデル評価の重要性を強調する。
さらに,モデル予測に対する下級裁判所情報の影響を定量化し,現行モデルのバイアスを明らかにするための新たな評価枠組みであるLCI(Lower Court Insertion)を導入する。
関連論文リスト
- VECHR: A Dataset for Explainable and Robust Classification of
Vulnerability Type in the European Court of Human Rights [2.028075209232085]
VECHRは,脆弱性型分類と説明的根拠に基づく,新たな専門家によるマルチラベルデータセットである。
予測可能性と説明可能性の両方の観点から,VECHRの最先端モデルの性能をベンチマークする。
当社のデータセットは、パフォーマンス、説明可能性、堅牢性に関する大幅な改善の余地を提供する、ユニークな課題を呈しています。
論文 参考訳(メタデータ) (2023-10-17T16:05:52Z) - Precedent-Enhanced Legal Judgment Prediction with LLM and Domain-Model
Collaboration [52.57055162778548]
法的判断予測(LJP)は、法律AIにおいてますます重要な課題となっている。
先行は、同様の事実を持つ以前の訴訟であり、国家法制度におけるその後の事件の判断の基礎となっている。
近年のディープラーニングの進歩により、LJPタスクの解決に様々なテクニックが使えるようになった。
論文 参考訳(メタデータ) (2023-10-13T16:47:20Z) - Counterfactuals of Counterfactuals: a back-translation-inspired approach
to analyse counterfactual editors [3.4253416336476246]
我々は、反事実的、対照的な説明の分析に焦点をあてる。
本稿では,新しい逆翻訳に基づく評価手法を提案する。
本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
論文 参考訳(メタデータ) (2023-05-26T16:04:28Z) - Explaining Language Models' Predictions with High-Impact Concepts [11.47612457613113]
概念ベースの解釈可能性手法をNLPに拡張するための完全なフレームワークを提案する。
出力予測が大幅に変化する特徴を最適化する。
本手法は, ベースラインと比較して, 予測的影響, ユーザビリティ, 忠実度に関する優れた結果が得られる。
論文 参考訳(メタデータ) (2023-05-03T14:48:27Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳(メタデータ) (2022-11-07T16:19:42Z) - Knowledge is Power: Understanding Causality Makes Legal judgment
Prediction Models More Generalizable and Robust [3.555105847974074]
法的判断予測(LJP)は、限られた法律実務者の労働負担を軽減するために法的支援を行う。
既存の手法の多くは、LJPタスクで微調整された様々な大規模事前学習言語モデルを適用し、一貫した改善を得る。
最先端モデル(SOTA)は,無関係情報(あるいは非因果情報)に基づいて判断予測を行う。
論文 参考訳(メタデータ) (2022-11-06T07:03:31Z) - Deconfounding Legal Judgment Prediction for European Court of Human
Rights Cases Towards Better Alignment with Experts [1.252149409594807]
この研究は、専門家による調整を伴わない法的な判断予測システムは、浅い表面信号に対して脆弱であることを示す。
これを緩和するために、私たちは統計的に予測されるが法的に無関係な情報を戦略的に識別するために、ドメインの専門知識を使用します。
論文 参考訳(メタデータ) (2022-10-25T08:37:25Z) - Evaluate Confidence Instead of Perplexity for Zero-shot Commonsense
Reasoning [85.1541170468617]
本稿では,コモンセンス推論の性質を再考し,新しいコモンセンス推論尺度であるNon-Replacement Confidence(NRC)を提案する。
提案手法は,2つのコモンセンス推論ベンチマークデータセットと,さらに7つのコモンセンス質問応答データセットに対してゼロショット性能を向上する。
論文 参考訳(メタデータ) (2022-08-23T14:42:14Z) - Understanding and Mitigating the Uncertainty in Zero-Shot Translation [66.49354195238789]
ゼロショット翻訳の不確実性の観点から、オフターゲット問題を理解し、緩和することを目的としている。
翻訳出力とモデル信頼度を慎重に調べることで、ターゲット外問題の原因となる2つの不確実性を特定する。
そこで本研究では,モデルトレーニングのためのトレーニングデータを認知するための2つの軽量かつ補完的なアプローチを提案し,推論におけるオフターゲット言語の語彙を隠蔽する。
論文 参考訳(メタデータ) (2022-05-20T10:29:46Z) - Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。
この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
論文 参考訳(メタデータ) (2022-03-16T15:00:33Z) - Equality before the Law: Legal Judgment Consistency Analysis for
Fairness [55.91612739713396]
本論文では,LInCo(Legal Inconsistency Coefficient)の判定不整合性評価指標を提案する。
法的な判断予測(LJP)モデルを用いて異なる集団の裁判官をシミュレートし、異なる集団で訓練されたLJPモデルによる判断結果の不一致を判断する。
私達はLInCoを実際の場合の不一致を探検するために使用し、次の観察に来ます:(1)地域およびジェンダーの不一致は法制度でありますが、ジェンダーの不一致は地方不一致より大いにより少しです。
論文 参考訳(メタデータ) (2021-03-25T14:28:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。