論文の概要: Towards Explainability and Fairness in Swiss Judgement Prediction: Benchmarking on a Multilingual Dataset

• arxiv url: http://arxiv.org/abs/2402.17013v1
• Date: Mon, 26 Feb 2024 20:42:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 18:30:54.540819
• Title: Towards Explainability and Fairness in Swiss Judgement Prediction: Benchmarking on a Multilingual Dataset
• Title（参考訳）: スイスの判断予測における説明可能性と公正性:多言語データセットのベンチマーク
• Authors: Santosh T.Y.S.S, Nina Baumgartner, Matthias St\"urmer, Matthias Grabmair, Joel Niklaus
• Abstract要約: 本研究は法定判断予測(LJP)モデルにおける説明可能性と公正性の領域を掘り下げるものである。 我々は,最先端モノリンガルおよび多言語BERTに基づくLJPモデルの説明可能性の評価を行った。 そこで我々は,下級裁判所情報の影響を定量的に予測できる新しい評価枠組みであるLCI(Lower Court Insertion)を導入する。
• 参考スコア（独自算出の注目度）: 2.7463268699570134
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The assessment of explainability in Legal Judgement Prediction (LJP) systems is of paramount importance in building trustworthy and transparent systems, particularly considering the reliance of these systems on factors that may lack legal relevance or involve sensitive attributes. This study delves into the realm of explainability and fairness in LJP models, utilizing Swiss Judgement Prediction (SJP), the only available multilingual LJP dataset. We curate a comprehensive collection of rationales that `support' and `oppose' judgement from legal experts for 108 cases in German, French, and Italian. By employing an occlusion-based explainability approach, we evaluate the explainability performance of state-of-the-art monolingual and multilingual BERT-based LJP models, as well as models developed with techniques such as data augmentation and cross-lingual transfer, which demonstrated prediction performance improvement. Notably, our findings reveal that improved prediction performance does not necessarily correspond to enhanced explainability performance, underscoring the significance of evaluating models from an explainability perspective. Additionally, we introduce a novel evaluation framework, Lower Court Insertion (LCI), which allows us to quantify the influence of lower court information on model predictions, exposing current models' biases.
• Abstract（参考訳）: 法的判断予測(ljp)システムにおける説明可能性の評価は、信頼に値する透明なシステムを構築する上で、特に法的関連性を欠いたり、機密性のある属性を含む要因にこれらのシステムの依存を考慮する上で重要である。 本研究はスイス判断予測(SJP)を用いて,LJPモデルにおける説明可能性と公正性の領域について考察する。 われわれは,ドイツ語,フランス語,イタリア語の108件について,法律専門家からの「支持」と「提案」の判断を総合的に収集する。 オークルージョンに基づく説明可能性アプローチを用いて,最先端のモノリンガルモデルと多言語BERTベースのLJPモデルと,データ拡張やクロスリンガル転送といった手法を用いて開発されたモデルを用いて,予測性能の向上を示す。 特に, 予測性能の向上は説明可能性の向上とは必ずしも一致せず, 説明可能性の観点からモデル評価の重要性を強調する。 さらに,モデル予測に対する下級裁判所情報の影響を定量化し,現行モデルのバイアスを明らかにするための新たな評価枠組みであるLCI(Lower Court Insertion)を導入する。

関連論文リスト

• Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• TRACE: TRansformer-based Attribution using Contrastive Embeddings in LLMs [50.259001311894295]
  TRACE と呼ばれるコントラスト埋め込みを用いた新しいTRansformer-based Attribution フレームワークを提案する。 TRACEは情報源の属性を精度良く改善し,大規模言語モデルの信頼性と信頼性を高める貴重なツールであることを示す。
  論文  参考訳（メタデータ） (2024-07-06T07:19:30Z)
• Enabling Discriminative Reasoning in LLMs for Legal Judgment Prediction [23.046342240176575]
  人間の推論に触発されたAsk-Discriminate-Predict(ADAPT)推論フレームワークを紹介する。 ADAPTは、ケース事実を分解し、潜在的な電荷を識別し、最終的な判断を予測する。 広く利用されている2つのデータセットに対して行われた実験は、法的な判断予測において、我々のフレームワークの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-02T05:43:15Z)
• Empowering Prior to Court Legal Analysis: A Transparent and Accessible Dataset for Defensive Statement Classification and Interpretation [5.646219481667151]
  本稿では,裁判所の手続きに先立って,警察の面接中に作成された文の分類に適した新しいデータセットを提案する。 本稿では,直感的文と真偽を区別し,最先端のパフォーマンスを実現するための微調整DistilBERTモデルを提案する。 我々はまた、法律専門家と非専門主義者の両方がシステムと対話し、利益を得ることを可能にするXAIインターフェースも提示する。
  論文  参考訳（メタデータ） (2024-05-17T11:22:27Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• Precedent-Enhanced Legal Judgment Prediction with LLM and Domain-Model Collaboration [52.57055162778548]
  法的判断予測(LJP)は、法律AIにおいてますます重要な課題となっている。 先行は、同様の事実を持つ以前の訴訟であり、国家法制度におけるその後の事件の判断の基礎となっている。 近年のディープラーニングの進歩により、LJPタスクの解決に様々なテクニックが使えるようになった。
  論文  参考訳（メタデータ） (2023-10-13T16:47:20Z)
• Explaining Language Models' Predictions with High-Impact Concepts [11.47612457613113]
  概念ベースの解釈可能性手法をNLPに拡張するための完全なフレームワークを提案する。 出力予測が大幅に変化する特徴を最適化する。 本手法は, ベースラインと比較して, 予測的影響, ユーザビリティ, 忠実度に関する優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-05-03T14:48:27Z)
• Can ChatGPT Forecast Stock Price Movements? Return Predictability and Large Language Models [51.3422222472898]
  ニュース見出しを用いて,ChatGPTのような大規模言語モデル(LLM)の株価変動を予測する能力について述べる。 我々は,情報容量制約,過小反応,制限対アビタージュ,LLMを組み込んだ理論モデルを構築した。
  論文  参考訳（メタデータ） (2023-04-15T19:22:37Z)
• Knowledge is Power: Understanding Causality Makes Legal judgment Prediction Models More Generalizable and Robust [3.555105847974074]
  法的判断予測(LJP)は、限られた法律実務者の労働負担を軽減するために法的支援を行う。 既存の手法の多くは、LJPタスクで微調整された様々な大規模事前学習言語モデルを適用し、一貫した改善を得る。 最先端モデル(SOTA)は,無関係情報(あるいは非因果情報)に基づいて判断予測を行う。
  論文  参考訳（メタデータ） (2022-11-06T07:03:31Z)
• Deconfounding Legal Judgment Prediction for European Court of Human Rights Cases Towards Better Alignment with Experts [1.252149409594807]
  この研究は、専門家による調整を伴わない法的な判断予測システムは、浅い表面信号に対して脆弱であることを示す。 これを緩和するために、私たちは統計的に予測されるが法的に無関係な情報を戦略的に識別するために、ドメインの専門知識を使用します。
  論文  参考訳（メタデータ） (2022-10-25T08:37:25Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。