論文の概要: FairLay-ML: Intuitive Debugging of Fairness in Data-Driven Social-Critical Software
- arxiv url: http://arxiv.org/abs/2407.01423v1
- Date: Mon, 1 Jul 2024 16:13:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-03 20:51:04.277411
- Title: FairLay-ML: Intuitive Debugging of Fairness in Data-Driven Social-Critical Software
- Title（参考訳）: FairLay-ML: データ駆動型社会批判ソフトウェアにおける公正性の直感的なデバッグ
- Authors: Normen Yu, Luciana Carreon, Gang Tan, Saeid Tizpaz-Niari,
- Abstract要約: データ駆動型ソリューションの公平さをテストし、説明するためのツールネームを提供する。
ツールネームは、データセット、トレーニングされたモデル、所定のデータポイントの決定のロジックを視覚化する。
開発データセットを超えたバグを見つけるための、反ファクトの公平性テストが組み込まれている。
- 参考スコア（独自算出の注目度）: 13.530748931794065
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data-driven software solutions have significantly been used in critical domains with significant socio-economic, legal, and ethical implications. The rapid adoptions of data-driven solutions, however, pose major threats to the trustworthiness of automated decision-support software. A diminished understanding of the solution by the developer and historical/current biases in the data sets are primary challenges. To aid data-driven software developers and end-users, we present \toolname, a debugging tool to test and explain the fairness implications of data-driven solutions. \toolname visualizes the logic of datasets, trained models, and decisions for a given data point. In addition, it trains various models with varying fairness-accuracy trade-offs. Crucially, \toolname incorporates counterfactual fairness testing that finds bugs beyond the development datasets. We conducted two studies through \toolname that allowed us to measure false positives/negatives in prevalent counterfactual testing and understand the human perception of counterfactual test cases in a class survey. \toolname and its benchmarks are publicly available at~\url{https://github.com/Pennswood/FairLay-ML}. The live version of the tool is available at~\url{https://fairlayml-v2.streamlit.app/}. We provide a video demo of the tool at https://youtu.be/wNI9UWkywVU?t=127
- Abstract（参考訳）: データ駆動型ソフトウェアソリューションは、社会経済的、法的、倫理的意味を持つ重要な領域で顕著に利用されてきた。
しかし、データ駆動ソリューションの急速な採用は、自動意思決定支援ソフトウェアの信頼性に大きな脅威をもたらす。
開発者によるソリューションの理解の低下と、データセットの歴史的/現在のバイアスが主な課題である。
データ駆動型ソフトウェア開発者とエンドユーザを支援するために,データ駆動型ソリューションの公平さをテストし,説明するためのデバッグツールである‘toolname’を紹介した。
\toolnameは、データセットのロジック、トレーニングされたモデル、所定のデータポイントの決定を視覚化する。
また、様々なフェアネス・精度のトレードオフで様々なモデルを訓練する。
重要なのは、‘toolname’には、開発データセットを超えたバグを見つける反ファクトの公平性テストが組み込まれている。
そこで,<toolname</toolname</to>を用いて,偽陽性/陰性な偽陽性/陰性な偽陰性検査を行った。
\toolnameとそのベンチマークは、~\url{https://github.com/Pennswood/FairLay-ML}で公開されている。
ツールのライブバージョンは~\url{https://fairlayml-v2.streamlit.app/}で入手できる。
ツールのデモはhttps://youtu.be/wNI9UWkywVU?
t=127
関連論文リスト
- Training on the Benchmark Is Not All You Need [52.01920740114261]
本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。
本手法は,モデルトレーニングデータや重みを使用せずに,ブラックボックス条件下で動作することができる。
我々は,4つのベンチマークデータセットを用いて,31個の主要なオープンソースLCMのデータ漏洩の程度を評価する。
論文 参考訳（メタデータ） (2024-09-03T11:09:44Z) - FairJob: A Real-World Dataset for Fairness in Online Systems [2.3622884172290255]
広告における求人推薦のためのフェアネス対応データセットを提案する。
収集され、プライバシー基準とビジネス機密に準拠する準備が整った。
匿名化され、センシティブな属性のプロキシを含むにもかかわらず、データセットは予測力を保持します。
論文 参考訳（メタデータ） (2024-07-03T12:30:39Z) - AIM: Attributing, Interpreting, Mitigating Data Unfairness [40.351282126410545]
既存の公正機械学習(FairML)の研究は、モデル予測における差別バイアスの軽減に重点を置いている。
トレーニングデータからバイアスや偏見を反映したサンプルの発見という,新たな研究課題について検討する。
サンプルバイアスの測定と対策のための実用的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-13T05:21:10Z) - Solving Data Quality Problems with Desbordante: a Demo [35.75243108496634]
Desbordanteはオープンソースのデータプロファイラで、このギャップを埋めることを目指している。
産業アプリケーションに重点を置いて構築されており、効率的でスケーラブルで、クラッシュに対して回復力があり、説明を提供する。
このデモでは、エンドユーザがさまざまなデータ品質問題を解決できるいくつかのシナリオを紹介します。
論文 参考訳（メタデータ） (2023-07-27T15:26:26Z) - Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。
異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。
このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
論文 参考訳（メタデータ） (2023-03-30T17:30:42Z) - D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling
Algorithmic Bias [57.87117733071416]
D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。
ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。
それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
論文 参考訳（メタデータ） (2022-08-10T03:41:48Z) - Black-box Dataset Ownership Verification via Backdoor Watermarking [67.69308278379957]
我々は、リリースデータセットの保護を、(目立たしい)サードパーティモデルのトレーニングに採用されているかどうかの検証として定式化する。
バックドアの透かしを通じて外部パターンを埋め込んでオーナシップの検証を行い,保護することを提案する。
具体的には、有毒なバックドア攻撃(例えばBadNets)をデータセットのウォーターマーキングに利用し、データセット検証のための仮説テストガイダンスメソッドを設計する。
論文 参考訳（メタデータ） (2022-08-04T05:32:20Z) - Can We Achieve Fairness Using Semi-Supervised Learning? [13.813788753789428]
半教師付き手法を用いて、公平な分類モデルを作成する。
当社のフレームワークであるFair-SSLは,ラベル付きデータを入力として,ラベルなしデータの擬似ラベルを生成する。
Fair-SSLは3つの最先端バイアス軽減アルゴリズムと同じようなパフォーマンスを実現している。
論文 参考訳（メタデータ） (2021-11-03T06:47:47Z) - Hidden Biases in Unreliable News Detection Datasets [60.71991809782698]
データ収集中の選択バイアスがデータセットの望ましくないアーティファクトにつながることを示す。
クリーンスプリットでテストされたすべてのモデルに対して,列車/テストソースの重なりが無く,精度が大幅に低下した(>10%)。
将来的なデータセット生成には、困難/バイアスプローブとしての単純なモデルと、クリーンな非重複サイトと日付分割を使用する将来のモデル開発が含まれることを提案する。
論文 参考訳（メタデータ） (2021-04-20T17:16:41Z) - Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。
人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
論文 参考訳（メタデータ） (2021-04-17T21:34:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。