論文の概要: BayesJudge: Bayesian Kernel Language Modelling with Confidence Uncertainty in Legal Judgment Prediction
- arxiv url: http://arxiv.org/abs/2404.10481v1
- Date: Tue, 16 Apr 2024 11:42:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 17:03:46.238614
- Title: BayesJudge: Bayesian Kernel Language Modelling with Confidence Uncertainty in Legal Judgment Prediction
- Title（参考訳）: BayesJudge: 法的判断予測における信頼不確実性を伴うベイズカーネル言語モデリング
- Authors: Ubaid Azam, Imran Razzak, Shelly Vishwakarma, Hakim Hacid, Dell Zhang, Shoaib Jameel,
- Abstract要約: 深層学習と深層ガウス過程の相乗効果を利用して不確実性を定量化するBayesJudgeという新しい手法を提案する。
提案手法は,予測精度と信頼性推定の両方で既存の手法を超越し,カーネルを介した情報的事前およびフレキシブルなデータモデリングを利用する。
また,信頼できない予測の精査を自動化する最適解を導入し,モデル予測の精度を最大27%向上させた。
- 参考スコア（独自算出の注目度）: 14.672477787408887
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Predicting legal judgments with reliable confidence is paramount for responsible legal AI applications. While transformer-based deep neural networks (DNNs) like BERT have demonstrated promise in legal tasks, accurately assessing their prediction confidence remains crucial. We present a novel Bayesian approach called BayesJudge that harnesses the synergy between deep learning and deep Gaussian Processes to quantify uncertainty through Bayesian kernel Monte Carlo dropout. Our method leverages informative priors and flexible data modelling via kernels, surpassing existing methods in both predictive accuracy and confidence estimation as indicated through brier score. Extensive evaluations of public legal datasets showcase our model's superior performance across diverse tasks. We also introduce an optimal solution to automate the scrutiny of unreliable predictions, resulting in a significant increase in the accuracy of the model's predictions by up to 27\%. By empowering judges and legal professionals with more reliable information, our work paves the way for trustworthy and transparent legal AI applications that facilitate informed decisions grounded in both knowledge and quantified uncertainty.
- Abstract（参考訳）: 信頼性の高い法的判断を予測することは、責任ある法的AIアプリケーションにとって最優先事項である。
BERTのようなトランスフォーマーベースのディープニューラルネットワーク(DNN)は法的タスクにおいて有望であることを示しているが、予測の信頼性を正確に評価することは依然として重要である。
深層学習と深層ガウス過程の相乗効果を利用して,ベイズ核モンテカルロ降下による不確実性の定量化を行うベイズジャッジ(BayesJudge)と呼ばれる新しいベイズアプローチを提案する。
提案手法は,予測精度と信頼性評価の両方で既存の手法を上回り,カーネルによる情報的先行とフレキシブルなデータモデリングを利用する。
パブリックな法的データセットの大規模な評価は、さまざまなタスクにまたがる私たちのモデルの優れたパフォーマンスを示しています。
また、信頼できない予測の精査を自動化するための最適解を導入し、その結果、モデルの予測の精度を最大27%向上させる。
裁判官や法律専門家により信頼できる情報を与えることによって、我々の仕事は、知識と定量化された不確実性の両方に根ざした情報決定を促進する、信頼できる透明な法律AIアプリケーションへの道を開く。
関連論文リスト
- Know Where You're Uncertain When Planning with Multimodal Foundation Models: A Formal Framework [54.40508478482667]
認識と計画生成の不確実性を解消し、定量化し、緩和する包括的枠組みを提案する。
本稿では,知覚と意思決定の独特な性質に合わせた手法を提案する。
この不確実性分散フレームワークは, 変動率を最大40%削減し, タスク成功率をベースラインに比べて5%向上させることを示した。
論文 参考訳（メタデータ） (2024-11-03T17:32:00Z) - Quantifying calibration error in modern neural networks through evidence based theory [0.0]
本稿では、予測エラー(ECE)の評価に主観的論理を組み込むことにより、ニューラルネットワークの信頼性を定量化する新しい枠組みを提案する。
我々は,MNISTおよびCIFAR-10データセットを用いた実験により,信頼性が向上したことを示す。
提案されたフレームワークは、医療や自律システムといったセンシティブな分野における潜在的な応用を含む、AIモデルのより解釈可能でニュアンスな評価を提供する。
論文 参考訳（メタデータ） (2024-10-31T23:54:21Z) - The Craft of Selective Prediction: Towards Reliable Case Outcome Classification -- An Empirical Study on European Court of Human Rights Cases [1.9570703832723582]
本稿では,COCモデルの設計選択が選択予測の枠組みにおけるCOCモデルの信頼性にどのように影響するかを実験的に検討する。
欧州人権裁判所(ECtHR)の事例に焦点をあてたマルチラベルCOCタスクの実験では,キャリブレーションを改善するために,多種多様なドメイン固有の事前学習コーパスの重要性を強調した。
論文 参考訳（メタデータ） (2024-09-27T11:25:10Z) - CONFINE: Conformal Prediction for Interpretable Neural Networks [2.7477752332019256]
解釈型ニューラルネットワーク(CONFINE)のコンフォーマル予測について紹介する。
CONFINEは、モデルの透明性と信頼性を高めるために、点予測の代わりに統計的に堅牢な不確実性推定を備えた予測セットを生成する。
この結果から,CONFINEは従来の手法よりも最大3.3%高い精度を達成できることが判明した。
論文 参考訳（メタデータ） (2024-06-01T19:34:48Z) - Trust, but Verify: Using Self-Supervised Probing to Improve
Trustworthiness [29.320691367586004]
我々は、訓練されたモデルに対する自信の過剰な問題をチェックおよび緩和することのできる、自己教師型探索の新しいアプローチを導入する。
既存の信頼性関連手法に対して,プラグイン・アンド・プレイ方式で柔軟に適用可能な,シンプルで効果的なフレームワークを提供する。
論文 参考訳（メタデータ） (2023-02-06T08:57:20Z) - Confidence-Calibrated Face and Kinship Verification [8.570969129199467]
検証モデルにより、類似度スコアを任意の顔対に対する信頼スコアに変換することができる効果的な信頼度尺度を導入する。
また,実装が容易で,既存の検証モデルにも容易に適用可能な,信頼性校正アプローチであるAngular Scaling(ASC)を提案する。
我々の知識を最大限に活用するために、我々の研究は、現代の顔と親族関係の検証タスクに対する、初めての包括的信頼度校正ソリューションを提示した。
論文 参考訳（メタデータ） (2022-10-25T10:43:46Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳（メタデータ） (2022-10-24T17:53:20Z) - An evaluation of word-level confidence estimation for end-to-end
automatic speech recognition [70.61280174637913]
エンドツーエンド自動音声認識(ASR)における信頼度推定の検討
4つのよく知られた音声データセットにおける信頼度手法の広範なベンチマークを提供する。
以上の結果から,ロジットを学習温度でスケーリングすることで,強いベースラインが得られることが示唆された。
論文 参考訳（メタデータ） (2021-01-14T09:51:59Z) - Uncertainty as a Form of Transparency: Measuring, Communicating, and
Using Uncertainty [66.17147341354577]
我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。
モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。
この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
論文 参考訳（メタデータ） (2020-11-15T17:26:14Z) - Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via
Higher-Order Influence Functions [121.10450359856242]
我々は、モデル損失関数の影響関数を利用して、予測信頼区間のジャックニフェ(または、アウト・ワン・アウト)推定器を構築する頻繁な手順を開発する。
1)および(2)を満たすDJは、幅広いディープラーニングモデルに適用可能であり、実装が容易であり、モデルトレーニングに干渉したり、精度を妥協したりすることなく、ポストホックな方法で適用することができる。
論文 参考訳（メタデータ） (2020-06-29T13:36:52Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。