論文の概要: VECHR: A Dataset for Explainable and Robust Classification of
Vulnerability Type in the European Court of Human Rights
- arxiv url: http://arxiv.org/abs/2310.11368v4
- Date: Tue, 24 Oct 2023 12:30:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 22:52:27.502045
- Title: VECHR: A Dataset for Explainable and Robust Classification of
Vulnerability Type in the European Court of Human Rights
- Title(参考訳): vechr:欧州人権裁判所における脆弱性タイプの説明可能かつロバストな分類のためのデータセット
- Authors: Shanshan Xu, Leon Staufer, T.Y.S.S Santosh, Oana Ichim, Corina Heri,
Matthias Grabmair
- Abstract要約: VECHRは,脆弱性型分類と説明的根拠に基づく,新たな専門家によるマルチラベルデータセットである。
予測可能性と説明可能性の両方の観点から,VECHRの最先端モデルの性能をベンチマークする。
当社のデータセットは、パフォーマンス、説明可能性、堅牢性に関する大幅な改善の余地を提供する、ユニークな課題を呈しています。
- 参考スコア(独自算出の注目度): 2.028075209232085
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recognizing vulnerability is crucial for understanding and implementing
targeted support to empower individuals in need. This is especially important
at the European Court of Human Rights (ECtHR), where the court adapts
Convention standards to meet actual individual needs and thus ensures effective
human rights protection. However, the concept of vulnerability remains elusive
at the ECtHR and no prior NLP research has dealt with it. To enable future
research in this area, we present VECHR, a novel expert-annotated multi-label
dataset comprising of vulnerability type classification and explanation
rationale. We benchmark the performance of state-of-the-art models on VECHR
from both prediction and explainability perspectives. Our results demonstrate
the challenging nature of the task with lower prediction performance and
limited agreement between models and experts. Further, we analyze the
robustness of these models in dealing with out-of-domain (OOD) data and observe
overall limited performance. Our dataset poses unique challenges offering
significant room for improvement regarding performance, explainability, and
robustness.
- Abstract(参考訳): 脆弱性を認識することは,対象とするサポートの理解と実装において極めて重要である。
これは欧州人権裁判所(ECtHR)において特に重要であり、裁判所は条約の基準を実際の個人のニーズに適合させ、それによって効果的な人権保護を確保する。
しかし、脆弱性の概念はECtHRではいまだ解明されておらず、これまでのNLP研究では対応していない。
そこで本研究では,脆弱性型分類と説明的根拠からなる,新たな専門家によるマルチラベルデータセットであるVECHRを提案する。
予測可能性と説明可能性の両方の観点から,VECHRの最先端モデルの性能をベンチマークする。
結果は,予測性能が低く,モデルと専門家の合意が限られているタスクの難易度を示す。
さらに,out-of-domain(ood)データを扱う際のモデルのロバスト性を分析し,全体の性能を観測する。
私たちのデータセットは、パフォーマンス、説明可能性、堅牢性に関する大きな改善の余地を提供するユニークな課題をもたらします。
関連論文リスト
- DePrompt: Desensitization and Evaluation of Personal Identifiable Information in Large Language Model Prompts [11.883785681042593]
DePromptは、プロンプトのための脱感作保護および有効性評価フレームワークである。
我々は、コンテキスト属性を統合し、プライバシタイプを定義し、高精度なPIIエンティティ識別を実現する。
私たちのフレームワークはプロンプトに適応可能で、テキストのユーザビリティに依存したシナリオに拡張できます。
論文 参考訳(メタデータ) (2024-08-16T02:38:25Z) - An evidence-based methodology for human rights impact assessment (HRIA) in the development of AI data-intensive systems [49.1574468325115]
我々は、すでに人権がデータ利用の分野で決定を下していることを示している。
本研究は人権影響評価(HRIA)の方法論とモデルである。
提案手法は,具体的ケーススタディで検証し,その有効性と有効性を示す。
論文 参考訳(メタデータ) (2024-07-30T16:27:52Z) - Towards Explainability and Fairness in Swiss Judgement Prediction:
Benchmarking on a Multilingual Dataset [2.7463268699570134]
本研究は法定判断予測(LJP)モデルにおける説明可能性と公正性の領域を掘り下げるものである。
我々は,最先端モノリンガルおよび多言語BERTに基づくLJPモデルの説明可能性の評価を行った。
そこで我々は,下級裁判所情報の影響を定量的に予測できる新しい評価枠組みであるLCI(Lower Court Insertion)を導入する。
論文 参考訳(メタデータ) (2024-02-26T20:42:40Z) - A New Perspective on Evaluation Methods for Explainable Artificial
Intelligence (XAI) [0.0]
我々は、リソースの可用性、ドメインの特徴、リスクの考慮を組み込んだ、曖昧な方法でアプローチするのが最善である、と論じる。
この研究は、AIのための要求工学の分野を前進させることを目的としている。
論文 参考訳(メタデータ) (2023-07-26T15:15:44Z) - Revisiting the Performance-Explainability Trade-Off in Explainable
Artificial Intelligence (XAI) [0.0]
我々は、リソースの可用性、ドメインの特徴、リスクの考慮を組み込んだ、曖昧な方法でアプローチするのが最善である、と論じる。
この研究は、AIのための要求工学の分野を前進させることを目的としている。
論文 参考訳(メタデータ) (2023-07-26T15:07:40Z) - Deconfounding Legal Judgment Prediction for European Court of Human
Rights Cases Towards Better Alignment with Experts [1.252149409594807]
この研究は、専門家による調整を伴わない法的な判断予測システムは、浅い表面信号に対して脆弱であることを示す。
これを緩和するために、私たちは統計的に予測されるが法的に無関係な情報を戦略的に識別するために、ドメインの専門知識を使用します。
論文 参考訳(メタデータ) (2022-10-25T08:37:25Z) - SF-PATE: Scalable, Fair, and Private Aggregation of Teacher Ensembles [50.90773979394264]
本稿では、個人の機密情報のプライバシーを保護しつつ、差別的でない予測者の学習を可能にするモデルについて検討する。
提案モデルの主な特徴は、プライバシ保護とフェアモデルを作成するために、オフ・ザ・セルフと非プライベートフェアモデルの採用を可能にすることである。
論文 参考訳(メタデータ) (2022-04-11T14:42:54Z) - Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。
現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。
本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
論文 参考訳(メタデータ) (2021-06-14T20:48:48Z) - Exploring Robustness of Unsupervised Domain Adaptation in Semantic
Segmentation [74.05906222376608]
クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。
i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
論文 参考訳(メタデータ) (2021-05-23T01:50:44Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-09-30T05:29:01Z) - Differentially Private and Fair Deep Learning: A Lagrangian Dual
Approach [54.32266555843765]
本稿では,個人の機密情報のプライバシを保護するとともに,非差別的予測器の学習を可能にするモデルについて検討する。
この方法は、微分プライバシーの概念と、公正性制約を満たすニューラルネットワークの設計にラグランジアン双対性(Lagrangian duality)を用いることに依存している。
論文 参考訳(メタデータ) (2020-09-26T10:50:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。