論文の概要: A First Look at Fairness of Machine Learning Based Code Reviewer Recommendation

• arxiv url: http://arxiv.org/abs/2307.11298v1
• Date: Fri, 21 Jul 2023 01:57:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 16:51:48.475380
• Title: A First Look at Fairness of Machine Learning Based Code Reviewer Recommendation
• Title（参考訳）: 機械学習に基づくコードレビュア推薦の公正性についての一考察
• Authors: Mohammad Mahdi Mohajer, Alvine Boaye Belle, Nima Shiri harzevili, Junjie Wang, Hadi Hemmati, Song Wang, Zhen Ming (Jack) Jiang
• Abstract要約: 本稿では,ソフトウェア工学(SE)分野におけるMLアプリケーションの公平性に関する最初の研究を行う。 我々の実証研究は、現在最先端のMLベースのコードレビュアーレコメンデーション技術が不公平で差別的な行動を示すことを示している。 本稿では,MLベースのコードレビュアレコメンデーションシステムが不公平である理由についても論じ,不公平を緩和するための解決策を提供する。
• 参考スコア（独自算出の注目度）: 14.50773969815661
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The fairness of machine learning (ML) approaches is critical to the reliability of modern artificial intelligence systems. Despite extensive study on this topic, the fairness of ML models in the software engineering (SE) domain has not been well explored yet. As a result, many ML-powered software systems, particularly those utilized in the software engineering community, continue to be prone to fairness issues. Taking one of the typical SE tasks, i.e., code reviewer recommendation, as a subject, this paper conducts the first study toward investigating the issue of fairness of ML applications in the SE domain. Our empirical study demonstrates that current state-of-the-art ML-based code reviewer recommendation techniques exhibit unfairness and discriminating behaviors. Specifically, male reviewers get on average 7.25% more recommendations than female code reviewers compared to their distribution in the reviewer set. This paper also discusses the reasons why the studied ML-based code reviewer recommendation systems are unfair and provides solutions to mitigate the unfairness. Our study further indicates that the existing mitigation methods can enhance fairness by 100% in projects with a similar distribution of protected and privileged groups, but their effectiveness in improving fairness on imbalanced or skewed data is limited. Eventually, we suggest a solution to overcome the drawbacks of existing mitigation techniques and tackle bias in datasets that are imbalanced or skewed.
• Abstract（参考訳）: 機械学習(ML)アプローチの公正性は、現代の人工知能システムの信頼性に不可欠である。 このトピックに関する広範な研究にもかかわらず、ソフトウェア工学(SE)領域におけるMLモデルの公平性はまだ十分に研究されていない。 その結果、多くのml駆動のソフトウェアシステム、特にソフトウェアエンジニアリングコミュニティで使われているシステムは、公正な問題に陥りがちである。 本論文は、コードレビュア推奨という典型的なSEタスクの1つを主題として、SEドメインにおけるMLアプリケーションの公平性に関する最初の研究を行う。 我々の実証研究は、現在最先端のMLベースのコードレビュアーレコメンデーション技術が不公平で差別的な行動を示すことを示している。 特に、男性のレビュアーは、レビュアーセットの配布と比較して、女性のコードレビュアーよりも平均7.25%多くレコメンデーションを受ける。 本稿では,MLベースのコードレビュアレコメンデーションシステムが不公平である理由についても論じ,不公平を緩和するための解決策を提供する。 本研究は,保護群と特権群が類似するプロジェクトにおいて,既存の緩和手法により100%公平性を高めることができることを示唆するが,不均衡・歪データに対する公平性向上効果は限られている。 最終的には、既存の緩和技術の欠点を克服し、不均衡や歪んだデータセットのバイアスに取り組むソリューションを提案する。

関連論文リスト

• Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
  多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。 提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。 当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
  論文  参考訳（メタデータ） (2024-10-03T17:53:30Z)
• GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
  大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。 GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
  論文  参考訳（メタデータ） (2024-08-22T15:35:46Z)
• A Normative Framework for Benchmarking Consumer Fairness in Large Language Model Recommender System [9.470545149911072]
  本稿では,LCMを利用したリコメンデータシステムにおいて,消費者の公正性をベンチマークするための規範的フレームワークを提案する。 このギャップは公平性に関する任意の結論につながる可能性があると我々は主張する。 MovieLensデータセットの消費者の公正性に関する実験は、年齢ベースの推奨において公平さの偏りを明らかにしている。
  論文  参考訳（メタデータ） (2024-05-03T16:25:27Z)
• Fair Few-shot Learning with Auxiliary Sets [53.30014767684218]
  多くの機械学習(ML)タスクでは、ラベル付きデータサンプルしか収集できないため、フェアネスのパフォーマンスが低下する可能性がある。 本稿では,限定的なトレーニングサンプルを用いたフェアネス認識学習課題をemphfair few-shot Learning問題として定義する。 そこで我々は,学習した知識をメタテストタスクに一般化し,様々なメタトレーニングタスクに公平な知識を蓄積する新しいフレームワークを考案した。
  論文  参考訳（メタデータ） (2023-08-28T06:31:37Z)
• Assessing Perceived Fairness from Machine Learning Developer's Perspective [0.0]
  不公平は、データのバイアス、キュレーションプロセス、誤った仮定、そしてアルゴリズム開発プロセスに反映される暗黙のバイアスによって引き起こされる。 特に、ML開発者は、認識された公平性に関する研究の焦点にはなっていない。 本稿では,この構造の特徴を,開発者の体系的なフォーカスグループを用いて評価するための探索的パイロット研究を行う。
  論文  参考訳（メタデータ） (2023-04-07T17:30:37Z)
• Towards Fair Machine Learning Software: Understanding and Addressing Model Bias Through Counterfactual Thinking [16.196269707571904]
  本稿では,機械学習ソフトウェアにおけるバイアスの根本原因に対処するための新しい対策手法を提案する。 提案手法は,性能と公平性の両方に最適化されたモデルを組み合わせることで,両面において最適解となる。
  論文  参考訳（メタデータ） (2023-02-16T01:27:26Z)
• Improving Recommendation Fairness via Data Augmentation [66.4071365614835]
  協調フィルタリングに基づくレコメンデーションは、すべてのユーザの過去の行動データからユーザの好みを学習し、意思決定を容易にするために人気がある。 ユーザの敏感な属性に応じて異なるユーザグループに対して等しく機能しない場合には,レコメンダシステムは不公平であると考えられる。 本稿では,データ拡張の観点から,レコメンデーションフェアネスを改善する方法について検討する。
  論文  参考訳（メタデータ） (2023-02-13T13:11:46Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• Algorithmic Factors Influencing Bias in Machine Learning [2.055949720959582]
  既約誤差,正規化,特徴およびクラス不均衡が,この過小評価にどのように寄与するかを示す。 本稿は, この過小評価バイアスの影響を, 総合的対策の慎重な管理がいかに改善するかを実証して結論づける。
  論文  参考訳（メタデータ） (2021-04-28T20:45:41Z)
• Fair Representation Learning for Heterogeneous Information Networks [35.80367469624887]
  公平なHIN表現学習のための包括的非バイアス化手法を提案する。 これらのアルゴリズムの挙動,特にフェアネスと予測精度のトレードオフをバランスさせる能力について検討した。 キャリアカウンセリングの自動化アプリケーションにおいて,提案手法の性能を評価する。
  論文  参考訳（メタデータ） (2021-04-18T08:28:18Z)
• BeFair: Addressing Fairness in the Banking Sector [54.08949958349055]
  銀行セクターにおける産業的オープンイノベーションプロジェクトの最初の成果を提示する。 本稿では,MLの公平性に関する一般的なロードマップと,バイアスの特定と緩和を支援するBeFairと呼ばれるツールキットの実装を提案する。
  論文  参考訳（メタデータ） (2021-02-03T16:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。