論文の概要: How fair are we? From conceptualization to automated assessment of fairness definitions
- arxiv url: http://arxiv.org/abs/2404.09919v1
- Date: Mon, 15 Apr 2024 16:46:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 21:37:46.232215
- Title: How fair are we? From conceptualization to automated assessment of fairness definitions
- Title(参考訳): いかに公正か?概念化からフェアネス定義の自動評価へ
- Authors: Giordano d'Aloisio, Claudio Di Sipio, Antinisca Di Marco, Davide Di Ruscio,
- Abstract要約: MODNESSは、ソフトウェアシステムにおけるユーザ定義公正の概念に対するモデル駆動のアプローチである。
これらのカスタム定義に基づいて公平なアセスメントを実装するためにソースコードを生成する。
その結果、現在のアプローチのほとんどは、ユーザ定義の公平性の概念をサポートしていないことが明らかとなった。
- 参考スコア(独自算出の注目度): 6.741000368514124
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Fairness is a critical concept in ethics and social domains, but it is also a challenging property to engineer in software systems. With the increasing use of machine learning in software systems, researchers have been developing techniques to automatically assess the fairness of software systems. Nonetheless, a significant proportion of these techniques rely upon pre-established fairness definitions, metrics, and criteria, which may fail to encompass the wide-ranging needs and preferences of users and stakeholders. To overcome this limitation, we propose a novel approach, called MODNESS, that enables users to customize and define their fairness concepts using a dedicated modeling environment. Our approach guides the user through the definition of new fairness concepts also in emerging domains, and the specification and composition of metrics for its evaluation. Ultimately, MODNESS generates the source code to implement fair assessment based on these custom definitions. In addition, we elucidate the process we followed to collect and analyze relevant literature on fairness assessment in software engineering (SE). We compare MODNESS with the selected approaches and evaluate how they support the distinguishing features identified by our study. Our findings reveal that i) most of the current approaches do not support user-defined fairness concepts; ii) our approach can cover two additional application domains not addressed by currently available tools, i.e., mitigating bias in recommender systems for software engineering and Arduino software component recommendations; iii) MODNESS demonstrates the capability to overcome the limitations of the only two other Model-Driven Engineering-based approaches for fairness assessment.
- Abstract(参考訳): 公平性は倫理と社会的領域において重要な概念であるが、ソフトウェアシステムにおけるエンジニアにとって難しい性質でもある。
ソフトウェアシステムにおける機械学習の利用の増加に伴い、研究者はソフトウェアシステムの公正性を自動的に評価する技術を開発している。
にもかかわらず、これらのテクニックのかなりの割合は、事前に確立された公正の定義、メトリクス、基準に依存しており、これはユーザーや利害関係者の幅広いニーズや嗜好を包含できない可能性がある。
この制限を克服するため、我々はMODNESSと呼ばれる新しい手法を提案し、ユーザーは専用のモデリング環境を用いて公正性の概念をカスタマイズし、定義することができる。
提案手法は,新興ドメインにおける新たな公平性の概念の定義と,その評価のためのメトリクスの仕様と構成を通じてユーザを誘導する。
最終的に、MODNESSはこれらのカスタム定義に基づいて公平な評価を実装するためにソースコードを生成する。
さらに,ソフトウェア工学(SE)における公平性評価に関する関連文献の収集と分析を行うプロセスの解明も行った。
本研究は,MODNESSと選択したアプローチを比較し,その特徴を識別する方法について評価する。
私たちの発見は
i) 現行のアプローチのほとんどは,ユーザ定義の公平性の概念をサポートしない。
二 当社のアプローチは、現在利用可能なツールによって解決されていない2つのアプリケーションドメイン、すなわち、ソフトウェア工学及びArduinoソフトウェアコンポーネントレコメンデーションのためのレコメンデーションシステムにおけるバイアスを軽減することができる。
三 MODNESSは、フェアネス評価のための他の2つのモデル駆動工学ベースのアプローチの限界を克服する能力を示します。
関連論文リスト
- Bias and Fairness in Large Language Models: A Survey [76.65471160523444]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z) - Fairness meets Cross-Domain Learning: a new perspective on Models and
Metrics [80.07271410743806]
クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。
いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。
本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
論文 参考訳(メタデータ) (2023-03-25T09:34:05Z) - An Audit Framework for Technical Assessment of Binary Classifiers [0.0]
ロジスティック回帰 (MLogRM) とランダムフォレストモデル (RFM) を用いたマルチレベルモデルは、二項分類のために産業にますます導入されている。
欧州委員会が提案する人工知能法(AIA)は、特定の条件下では、そのようなモデルの適用は公正で透明性があり倫理的である必要がある。
本稿では, モデル, 識別, 透明性, 説明可能性に関する側面に着目し, RFM と MLogRM の技術的評価のための監査フレームワークを提案し, 実証する。
論文 参考訳(メタデータ) (2022-11-17T12:48:11Z) - Modelling Assessment Rubrics through Bayesian Networks: a Pragmatic
Approach [59.77710485234197]
本稿では,学習者モデルを直接評価ルーリックから導出する手法を提案する。
本稿では,コンピュータ思考のスキルをテストするために開発された活動の人的評価を自動化するために,この手法を適用する方法について述べる。
論文 参考訳(メタデータ) (2022-09-07T10:09:12Z) - Experiments on Generalizability of User-Oriented Fairness in Recommender
Systems [2.0932879442844476]
公正を意識した推薦システムは、異なるユーザーグループを同様に扱うことを目的としている。
本稿では,ユーザ中心の公平度を再評価するフレームワークを提案する。
我々は、ユーザ(NDCGなど)とアイテム(新規性、アイテムフェアネスなど)の両方から、フレームワークの再ランク付けによる最終的なレコメンデーションを評価する。
論文 参考訳(メタデータ) (2022-05-17T12:36:30Z) - Towards a multi-stakeholder value-based assessment framework for
algorithmic systems [76.79703106646967]
我々は、価値間の近さと緊張を可視化する価値に基づくアセスメントフレームワークを開発する。
我々は、幅広い利害関係者に評価と検討のプロセスを開放しつつ、それらの運用方法に関するガイドラインを提示する。
論文 参考訳(メタデータ) (2022-05-09T19:28:32Z) - fairlib: A Unified Framework for Assessing and Improving Classification
Fairness [66.27822109651757]
Fairlibは、分類の公平さを評価し改善するためのオープンソースのフレームワークである。
我々は、前処理、訓練時間、後処理を含む14のデバイアス化手法を実装した。
組み込まれたメトリクスは、最も一般的に使用されるフェアネス基準をカバーし、フェアネス評価のためにさらに一般化およびカスタマイズすることができる。
論文 参考訳(メタデータ) (2022-05-04T03:50:23Z) - Fair Representation Learning for Heterogeneous Information Networks [35.80367469624887]
公平なHIN表現学習のための包括的非バイアス化手法を提案する。
これらのアルゴリズムの挙動,特にフェアネスと予測精度のトレードオフをバランスさせる能力について検討した。
キャリアカウンセリングの自動化アプリケーションにおいて,提案手法の性能を評価する。
論文 参考訳(メタデータ) (2021-04-18T08:28:18Z) - Online Learning Demands in Max-min Fairness [91.37280766977923]
本稿では,複数のユーザ間の希少リソースの割り当て機構について,効率的で公平で戦略に準拠した方法で記述する。
このメカニズムは複数のラウンドで繰り返され、各ラウンドでユーザの要求が変更される可能性がある。
各ラウンドの最後には、ユーザは受け取ったアロケーションに関するフィードバックを提供し、そのメカニズムが時間の経過とともにユーザの好みを学習することを可能にする。
論文 参考訳(メタデータ) (2020-12-15T22:15:20Z) - How fair can we go in machine learning? Assessing the boundaries of
fairness in decision trees [0.12891210250935145]
本稿では,バイアス緩和介入の統計的限界を探索するための最初の方法論を提案する。
機械学習において広く受け入れられている決定木分類器に焦点をあてる。
本手法は, 分類誤差の少ない精度で, 決定木モデルの最適化が可能であることを実験的に結論付けた。
論文 参考訳(メタデータ) (2020-06-22T16:28:26Z) - Getting Fairness Right: Towards a Toolbox for Practitioners [2.4364387374267427]
バイアスを意図せずに埋め込んで再現するAIシステムの潜在的なリスクは、マシンラーニング実践者や社会全体の注目を集めている。
本稿では,実践者が公正なAI実践を確実にするためのツールボックスのドラフトを提案する。
論文 参考訳(メタデータ) (2020-03-15T20:53:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。