論文の概要: How fair are we? From conceptualization to automated assessment of fairness definitions

• arxiv url: http://arxiv.org/abs/2404.09919v1
• Date: Mon, 15 Apr 2024 16:46:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 21:37:46.232215
• Title: How fair are we? From conceptualization to automated assessment of fairness definitions
• Title（参考訳）: いかに公正か?概念化からフェアネス定義の自動評価へ
• Authors: Giordano d'Aloisio, Claudio Di Sipio, Antinisca Di Marco, Davide Di Ruscio,
• Abstract要約: MODNESSは、ソフトウェアシステムにおけるユーザ定義公正の概念に対するモデル駆動のアプローチである。 これらのカスタム定義に基づいて公平なアセスメントを実装するためにソースコードを生成する。 その結果、現在のアプローチのほとんどは、ユーザ定義の公平性の概念をサポートしていないことが明らかとなった。
• 参考スコア（独自算出の注目度）: 6.741000368514124
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Fairness is a critical concept in ethics and social domains, but it is also a challenging property to engineer in software systems. With the increasing use of machine learning in software systems, researchers have been developing techniques to automatically assess the fairness of software systems. Nonetheless, a significant proportion of these techniques rely upon pre-established fairness definitions, metrics, and criteria, which may fail to encompass the wide-ranging needs and preferences of users and stakeholders. To overcome this limitation, we propose a novel approach, called MODNESS, that enables users to customize and define their fairness concepts using a dedicated modeling environment. Our approach guides the user through the definition of new fairness concepts also in emerging domains, and the specification and composition of metrics for its evaluation. Ultimately, MODNESS generates the source code to implement fair assessment based on these custom definitions. In addition, we elucidate the process we followed to collect and analyze relevant literature on fairness assessment in software engineering (SE). We compare MODNESS with the selected approaches and evaluate how they support the distinguishing features identified by our study. Our findings reveal that i) most of the current approaches do not support user-defined fairness concepts; ii) our approach can cover two additional application domains not addressed by currently available tools, i.e., mitigating bias in recommender systems for software engineering and Arduino software component recommendations; iii) MODNESS demonstrates the capability to overcome the limitations of the only two other Model-Driven Engineering-based approaches for fairness assessment.
• Abstract（参考訳）: 公平性は倫理と社会的領域において重要な概念であるが、ソフトウェアシステムにおけるエンジニアにとって難しい性質でもある。 ソフトウェアシステムにおける機械学習の利用の増加に伴い、研究者はソフトウェアシステムの公正性を自動的に評価する技術を開発している。 にもかかわらず、これらのテクニックのかなりの割合は、事前に確立された公正の定義、メトリクス、基準に依存しており、これはユーザーや利害関係者の幅広いニーズや嗜好を包含できない可能性がある。 この制限を克服するため、我々はMODNESSと呼ばれる新しい手法を提案し、ユーザーは専用のモデリング環境を用いて公正性の概念をカスタマイズし、定義することができる。 提案手法は,新興ドメインにおける新たな公平性の概念の定義と,その評価のためのメトリクスの仕様と構成を通じてユーザを誘導する。 最終的に、MODNESSはこれらのカスタム定義に基づいて公平な評価を実装するためにソースコードを生成する。 さらに,ソフトウェア工学(SE)における公平性評価に関する関連文献の収集と分析を行うプロセスの解明も行った。 本研究は,MODNESSと選択したアプローチを比較し,その特徴を識別する方法について評価する。 私たちの発見は i) 現行のアプローチのほとんどは,ユーザ定義の公平性の概念をサポートしない。 二 当社のアプローチは、現在利用可能なツールによって解決されていない2つのアプリケーションドメイン、すなわち、ソフトウェア工学及びArduinoソフトウェアコンポーネントレコメンデーションのためのレコメンデーションシステムにおけるバイアスを軽減することができる。 三 MODNESSは、フェアネス評価のための他の2つのモデル駆動工学ベースのアプローチの限界を克服する能力を示します。

関連論文リスト

• Pessimistic Evaluation [58.736490198613154]
  情報アクセスシステムの評価は,情報アクセスの伝統に沿わない実用的価値を前提としている。 我々は,最悪のケースユーティリティに着目した情報アクセスシステムの悲観的評価を提唱する。
  論文  参考訳（メタデータ） (2024-10-17T15:40:09Z)
• Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
  現代の言語モデル(LM)は、能力評価において新たな課題を提起する。 メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
  論文  参考訳（メタデータ） (2024-07-22T17:52:12Z)
• A Benchmark for Fairness-Aware Graph Learning [58.515305543487386]
  本稿では,10の代表的な公正性を考慮したグラフ学習手法に関する広範なベンチマークを示す。 我々の詳細な分析は、既存の手法の強みと限界に関する重要な洞察を明らかにしている。
  論文  参考訳（メタデータ） (2024-07-16T18:43:43Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• An Audit Framework for Technical Assessment of Binary Classifiers [0.0]
  ロジスティック回帰 (MLogRM) とランダムフォレストモデル (RFM) を用いたマルチレベルモデルは、二項分類のために産業にますます導入されている。 欧州委員会が提案する人工知能法(AIA)は、特定の条件下では、そのようなモデルの適用は公正で透明性があり倫理的である必要がある。 本稿では, モデル, 識別, 透明性, 説明可能性に関する側面に着目し, RFM と MLogRM の技術的評価のための監査フレームワークを提案し, 実証する。
  論文  参考訳（メタデータ） (2022-11-17T12:48:11Z)
• Experiments on Generalizability of User-Oriented Fairness in Recommender Systems [2.0932879442844476]
  公正を意識した推薦システムは、異なるユーザーグループを同様に扱うことを目的としている。 本稿では,ユーザ中心の公平度を再評価するフレームワークを提案する。 我々は、ユーザ(NDCGなど)とアイテム(新規性、アイテムフェアネスなど)の両方から、フレームワークの再ランク付けによる最終的なレコメンデーションを評価する。
  論文  参考訳（メタデータ） (2022-05-17T12:36:30Z)
• fairlib: A Unified Framework for Assessing and Improving Classification Fairness [66.27822109651757]
  Fairlibは、分類の公平さを評価し改善するためのオープンソースのフレームワークである。 我々は、前処理、訓練時間、後処理を含む14のデバイアス化手法を実装した。 組み込まれたメトリクスは、最も一般的に使用されるフェアネス基準をカバーし、フェアネス評価のためにさらに一般化およびカスタマイズすることができる。
  論文  参考訳（メタデータ） (2022-05-04T03:50:23Z)
• Fair Representation Learning for Heterogeneous Information Networks [35.80367469624887]
  公平なHIN表現学習のための包括的非バイアス化手法を提案する。 これらのアルゴリズムの挙動,特にフェアネスと予測精度のトレードオフをバランスさせる能力について検討した。 キャリアカウンセリングの自動化アプリケーションにおいて,提案手法の性能を評価する。
  論文  参考訳（メタデータ） (2021-04-18T08:28:18Z)
• Getting Fairness Right: Towards a Toolbox for Practitioners [2.4364387374267427]
  バイアスを意図せずに埋め込んで再現するAIシステムの潜在的なリスクは、マシンラーニング実践者や社会全体の注目を集めている。 本稿では,実践者が公正なAI実践を確実にするためのツールボックスのドラフトを提案する。
  論文  参考訳（メタデータ） (2020-03-15T20:53:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。