論文の概要: Astraea: Grammar-based Fairness Testing

• arxiv url: http://arxiv.org/abs/2010.02542v5
• Date: Mon, 10 Jan 2022 08:11:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 06:13:27.114836
• Title: Astraea: Grammar-based Fairness Testing
• Title（参考訳）: Astraea: 文法ベースの公正テスト
• Authors: Ezekiel Soremekun and Sakshi Udeshi and Sudipta Chattopadhyay
• Abstract要約: 文法に基づくフェアネステスト手法(ASTRAEA)を提案する。 ASTRAEAは、ソフトウェアシステムにおける公平性違反を明らかにする差別的な入力を生成する。 また、観察されたソフトウェアバイアスの原因を分離することで、障害診断も提供する。
• 参考スコア（独自算出の注目度）: 0.5672132510411463
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Software often produces biased outputs. In particular, machine learning (ML) based software are known to produce erroneous predictions when processing discriminatory inputs. Such unfair program behavior can be caused by societal bias. In the last few years, Amazon, Microsoft and Google have provided software services that produce unfair outputs, mostly due to societal bias (e.g. gender or race). In such events, developers are saddled with the task of conducting fairness testing. Fairness testing is challenging; developers are tasked with generating discriminatory inputs that reveal and explain biases. We propose a grammar-based fairness testing approach (called ASTRAEA) which leverages context-free grammars to generate discriminatory inputs that reveal fairness violations in software systems. Using probabilistic grammars, ASTRAEA also provides fault diagnosis by isolating the cause of observed software bias. ASTRAEA's diagnoses facilitate the improvement of ML fairness. ASTRAEA was evaluated on 18 software systems that provide three major natural language processing (NLP) services. In our evaluation, ASTRAEA generated fairness violations with a rate of ~18%. ASTRAEA generated over 573K discriminatory test cases and found over 102K fairness violations. Furthermore, ASTRAEA improves software fairness by ~76%, via model-retraining.
• Abstract（参考訳）: ソフトウェアはしばしばバイアスのあるアウトプットを生成する。 特に機械学習(ml)ベースのソフトウェアは、判別入力を処理する際に誤った予測を生成することが知られている。 このような不公平なプログラム行動は社会的偏見によって引き起こされることがある。 ここ数年、Amazon、Microsoft、Googleは不公平なアウトプットを生み出すソフトウェアサービスを提供してきた。 このようなイベントでは、開発者はフェアネステストの実行に満足しています。 開発者はバイアスを明らかにし説明するための差別的なインプットを生成するタスクを負う。 本稿では,文脈自由文法を活用し,ソフトウェアシステムにおけるフェアネス違反を顕示する識別入力を生成する文法ベースフェアネステスト手法(astraea)を提案する。 ASTRAEAは確率文法を用いて、観測されたソフトウェアバイアスの原因を分離することで故障診断も提供する。 ASTRAEAの診断はMLフェアネスの改善を促進する。 ASTRAEAは3つの主要な自然言語処理(NLP)サービスを提供する18のソフトウェアシステムで評価された。 評価では,ASTRAEAはフェアネス違反を18%程度で発生した。 ASTRAEAは573K以上の差別試験を行い、102K以上の公正違反を発見した。 さらに、ASTRAEAはソフトウェアフェアネスを約76%改善する。

関連論文リスト

• Metamorphic Debugging for Accountable Software [8.001739956625483]
  法律書を正式な仕様に翻訳することは、一つの課題である。 クエリ(オラクル問題)に対する決定的な'真実'の欠如も問題である。 我々は,これらの課題に,関係仕様に焦点を合わせることで対処できることを提案する。
  論文  参考訳（メタデータ） (2024-09-24T14:45:13Z)
• Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• A First Look at Fairness of Machine Learning Based Code Reviewer Recommendation [14.50773969815661]
  本稿では,ソフトウェア工学(SE)分野におけるMLアプリケーションの公平性に関する最初の研究を行う。 我々の実証研究は、現在最先端のMLベースのコードレビュアーレコメンデーション技術が不公平で差別的な行動を示すことを示している。 本稿では,MLベースのコードレビュアレコメンデーションシステムが不公平である理由についても論じ,不公平を緩和するための解決策を提供する。
  論文  参考訳（メタデータ） (2023-07-21T01:57:51Z)
• BiasTestGPT: Using ChatGPT for Social Bias Testing of Language Models [73.29106813131818]
  テスト文は限られた手動テンプレートから生成されるか、高価なクラウドソーシングを必要とするため、現時点ではバイアステストは煩雑である。 ソーシャルグループと属性の任意のユーザ指定の組み合わせを考慮し、テスト文の制御可能な生成にChatGPTを使うことを提案する。 本稿では,HuggingFace上にホストされているオープンソースの総合的バイアステストフレームワーク(BiasTestGPT)について紹介する。
  論文  参考訳（メタデータ） (2023-02-14T22:07:57Z)
• Invalidator: Automated Patch Correctness Assessment via Semantic and Syntactic Reasoning [6.269370220586248]
  本稿では,意味論的および統語論的推論により,APR生成パッチの正当性を自動的に評価する手法を提案する。 我々は、Defects4Jの現実世界のプログラムで生成された885パッチのデータセットについて実験を行った。 実験の結果,INVALIDATORは79%のオーバーフィッティングパッチを正しく分類し,最高のベースラインで検出されたパッチを23%上回った。
  論文  参考訳（メタデータ） (2023-01-03T14:16:32Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• Understanding Unfairness in Fraud Detection through Model and Data Bias Interactions [4.159343412286401]
  アルゴリズムの不公平性は、データ内のモデルとバイアスの間の相互作用に起因すると我々は主張する。 フェアネスブラインドMLアルゴリズムが示す公平さと正確さのトレードオフに関する仮説を、異なるデータバイアス設定下で検討する。
  論文  参考訳（メタデータ） (2022-07-13T15:18:30Z)
• A Sandbox Tool to Bias(Stress)-Test Fairness Algorithms [19.86635585740634]
  バイアス注入型サンドボックスツールの概念と実装について, 各種バイアスの公平性について検討する。 既存のツールキットとは異なり、私たちのツールはMLパイプラインに事実上バイアスを注入する制御された環境を提供します。 特に、バイアス注入前において、偏りのない状態の真のラベルに介入した後に生じる予測を比較することで、与えられた治療法が注入されたバイアスを軽減することができるかどうかを検証できる。
  論文  参考訳（メタデータ） (2022-04-21T16:12:19Z)
• FairFil: Contrastive Neural Debiasing Method for Pretrained Text Encoders [68.8687509471322]
  本稿では,プリトレーニングされたエンコーダ出力をフェアフィルタネットワークを介してデバイアス表現に変換する,プリトレーニング文エンコーダの最初のニューラルデバイアス手法を提案する。 実世界のデータセットでは、fairfilは学習済みテキストエンコーダのバイアスを効果的に低減し、下流タスクで望ましいパフォーマンスを継続的に示します。
  論文  参考訳（メタデータ） (2021-03-11T02:01:14Z)
• BeFair: Addressing Fairness in the Banking Sector [54.08949958349055]
  銀行セクターにおける産業的オープンイノベーションプロジェクトの最初の成果を提示する。 本稿では,MLの公平性に関する一般的なロードマップと,バイアスの特定と緩和を支援するBeFairと呼ばれるツールキットの実装を提案する。
  論文  参考訳（メタデータ） (2021-02-03T16:37:10Z)
• On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
  我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。 結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
  論文  参考訳（メタデータ） (2020-05-12T11:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。