論文の概要: Evaluating AI fairness in credit scoring with the BRIO tool
- arxiv url: http://arxiv.org/abs/2406.03292v1
- Date: Wed, 5 Jun 2024 14:00:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 18:01:08.361410
- Title: Evaluating AI fairness in credit scoring with the BRIO tool
- Title(参考訳): BRIOツールを用いたクレジットスコアリングにおけるAIフェアネスの評価
- Authors: Greta Coraglia, Francesco A. Genco, Pellegrino Piantadosi, Enrico Bagli, Pietro Giuffrida, Davide Posillipo, Giuseppe Primiero,
- Abstract要約: 本稿では,AIシステムにおける公平性の問題を定量的に詳細に分析する手法と,クレジットスコアリングへの応用について述べる。
BRIOは、社会的不公平に関してAIシステムを評価するためのツールであり、より一般的には倫理的に望ましくない行動である。
- 参考スコア(独自算出の注目度): 0.18846515534317265
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a method for quantitative, in-depth analyses of fairness issues in AI systems with an application to credit scoring. To this aim we use BRIO, a tool for the evaluation of AI systems with respect to social unfairness and, more in general, ethically undesirable behaviours. It features a model-agnostic bias detection module, presented in \cite{DBLP:conf/beware/CoragliaDGGPPQ23}, to which a full-fledged unfairness risk evaluation module is added. As a case study, we focus on the context of credit scoring, analysing the UCI German Credit Dataset \cite{misc_statlog_(german_credit_data)_144}. We apply the BRIO fairness metrics to several, socially sensitive attributes featured in the German Credit Dataset, quantifying fairness across various demographic segments, with the aim of identifying potential sources of bias and discrimination in a credit scoring model. We conclude by combining our results with a revenue analysis.
- Abstract(参考訳): 本稿では,AIシステムにおける公平性の問題を定量的に詳細に分析する手法と,クレジットスコアリングへの応用について述べる。
BRIOは、社会的不公平や倫理的に望ましくない行動に関して、AIシステムを評価するためのツールである。
モデルに依存しないバイアス検出モジュールが \cite{DBLP:conf/beware/CoragliaDGPPQ23} に表示され、完全な不公平リスク評価モジュールが追加されている。
ケーススタディでは、クレジットスコアリングの文脈に注目し、UCIドイツ信用データセット \cite{misc_statlog_(german_credit_data)_144}を分析します。
BRIOフェアネス尺度をドイツ信用データセットに特徴付けられるいくつかの社会的に敏感な属性に適用し、信用スコアモデルにおけるバイアスや差別の潜在的な原因を特定することを目的として、様々な人口層にまたがるフェアネスを定量化する。
結果と収益分析を組み合わせることで結論付けます。
関連論文リスト
- Aligning Model Evaluations with Human Preferences: Mitigating Token Count Bias in Language Model Assessments [2.1370543868467275]
本稿では,大規模言語モデルと人的評価を協調させる手法について検討する。
我々はこのバイアスを定量化するためにベイズ統計とt検定を用い、GPTScorerを調整するための再校正手順を開発した。
以上の結果から,再校正したLCM評価器と,複数のユースケースにおけるヒト評価との整合性は有意に改善した。
論文 参考訳(メタデータ) (2024-07-05T09:26:40Z) - The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。
BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
論文 参考訳(メタデータ) (2024-06-09T12:30:30Z) - Bias Neutralization Framework: Measuring Fairness in Large Language Models with Bias Intelligence Quotient (BiQ) [0.0]
本稿では,Comprehensive Bias Neutralization Framework (CBNF) と呼ばれる新しいフレームワークを紹介する。
CBNFは、大規模言語モデル(LLM)内のバイアスを定量化し緩和する革新的なアプローチを具現化している。
論文 参考訳(メタデータ) (2024-04-28T18:47:14Z) - DCR-Consistency: Divide-Conquer-Reasoning for Consistency Evaluation and
Improvement of Large Language Models [4.953092503184905]
この研究は、LLM(Large Language Models)生成したテキストの一貫性を評価し改善する自動化フレームワークであるDCRを提案する。
本稿では,DCEからの出力を解釈可能な数値スコアに変換する自動計量変換器(AMC)を提案する。
また,本手法は出力不整合の90%近くを著しく低減し,効果的な幻覚緩和の可能性を示唆している。
論文 参考訳(メタデータ) (2024-01-04T08:34:16Z) - Evaluating the Fairness of Discriminative Foundation Models in Computer
Vision [51.176061115977774]
本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。
そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。
具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
論文 参考訳(メタデータ) (2023-10-18T10:32:39Z) - GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。
我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。
GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
論文 参考訳(メタデータ) (2023-04-19T14:58:27Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳(メタデータ) (2022-11-07T16:19:42Z) - Estimating and Improving Fairness with Adversarial Learning [65.99330614802388]
本研究では,深層学習に基づく医療画像解析システムにおけるバイアスの同時緩和と検出を目的としたマルチタスク・トレーニング戦略を提案する。
具体的には,バイアスに対する識別モジュールと,ベース分類モデルにおける不公平性を予測するクリティカルモジュールを追加することを提案する。
大規模で利用可能な皮膚病変データセットのフレームワークを評価します。
論文 参考訳(メタデータ) (2021-03-07T03:10:32Z) - Fairness in Credit Scoring: Assessment, Implementation and Profit
Implications [4.19608893667939]
アルゴリズムによる識別は,比較的低コストで合理的なレベルまで低減できることを示す。
複数のフェアネス基準をほぼ同時に満たすことができ、スコアカードのフェアネスを測定するための適切な基準として分離を識別できる。
論文 参考訳(メタデータ) (2021-03-02T18:06:44Z) - A Novel Classification Approach for Credit Scoring based on Gaussian
Mixture Models [0.0]
本稿では,ガウス混合モデルに基づく新たなクレジットスコアリング手法を提案する。
我々のアルゴリズムは、消費者を正または負とラベル付けされたグループに分類する。
我々は,オーストラリア,日本,ドイツの実世界のデータベースにモデルを適用した。
論文 参考訳(メタデータ) (2020-10-26T07:34:27Z) - Uncertainty-aware Score Distribution Learning for Action Quality
Assessment [91.05846506274881]
行動品質評価(AQA)のための不確実性認識スコア分布学習(USDL)手法を提案する。
具体的には、異なる評価スコアの確率を記述したスコア分布に関連する事例として、アクションを考察する。
微粒なスコアラベルが利用できる状況下では、多パス不確実性を考慮したスコア分布学習法(MUSDL)を考案し、スコアの不整合成分を探索する。
論文 参考訳(メタデータ) (2020-06-13T15:41:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。