論文の概要: Uncovering and Quantifying Social Biases in Code Generation

• arxiv url: http://arxiv.org/abs/2305.15377v1
• Date: Wed, 24 May 2023 17:37:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 13:51:03.133544
• Title: Uncovering and Quantifying Social Biases in Code Generation
• Title（参考訳）: コード生成におけるソーシャルバイアスの発見と定量化
• Authors: Yan Liu, Xiaokang Chen, Yan Gao, Zhe Su, Fengji Zhang, Daoguang Zan, Jian-Guang Lou, Pin-Yu Chen, Tsung-Yi Ho
• Abstract要約: コード生成モデルにおいて,コードプロンプトを構築し,社会的バイアスを明らかにするための新しいパラダイムを提案する。 我々は,3つの指標とともにデータセットを開発し,社会の偏見と,異なる人口層間でのきめ細かい不公平さを評価する。 我々は、社会的バイアスの低いコード生成モデルをさらに選択するための有用な洞察を提供するために分析を行う。
• 参考スコア（独自算出の注目度）: 71.96047133403688
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the popularity of automatic code generation tools, such as Copilot, the study of the potential hazards of these tools is gaining importance. In this work, we explore the social bias problem in pre-trained code generation models. We propose a new paradigm to construct code prompts and successfully uncover social biases in code generation models. To quantify the severity of social biases in generated code, we develop a dataset along with three metrics to evaluate the overall social bias and fine-grained unfairness across different demographics. Experimental results on three pre-trained code generation models (Codex, InCoder, and CodeGen) with varying sizes, reveal severe social biases. Moreover, we conduct analysis to provide useful insights for further choice of code generation models with low social bias. (This work contains examples that potentially implicate stereotypes, associations, and other harms that could be offensive to individuals in certain social groups.)
• Abstract（参考訳）: copilotのような自動コード生成ツールが普及するにつれ、これらのツールの潜在的な危険性の研究が重要になっている。 本研究では,事前学習したコード生成モデルにおける社会的バイアス問題について検討する。 コード生成モデルにおいて,コードプロンプトを構築し,社会的バイアスを明らかにするための新しいパラダイムを提案する。 生成されたコードにおける社会的偏見の重症度を定量化するために,各人口層間での社会的偏見と微妙な不公平さを評価するために,3つの指標とともにデータセットを開発した。 プリトレーニングされた3つのコード生成モデル(codex、incoder、codegen)の実験の結果、深刻な社会的バイアスが明らかになった。 さらに,社会バイアスの少ないコード生成モデルのさらなる選択に有用な洞察を提供するために分析を行う。 (この作品には、特定の社会集団の個人に対して攻撃的なステレオタイプ、協会、その他の害を潜在的に含んでいる例が含まれる。)

関連論文リスト

• The Devil is in the Neurons: Interpreting and Mitigating Social Biases in Pre-trained Language Models [78.69526166193236]
  プレトレーニング言語モデル(PLM)は、社会的バイアスのような有害な情報を含むことが認識されている。 我々は,社会バイアスなどの望ましくない行動に起因する言語モデルにおいて,正確に単位(すなわちニューロン)を特定するために,sc Social Bias Neuronsを提案する。 StereoSetの以前の測定値からわかるように、我々のモデルは、低コストで言語モデリング能力を維持しながら、より高い公平性を達成する。
  論文  参考訳（メタデータ） (2024-06-14T15:41:06Z)
• SocialStigmaQA: A Benchmark to Uncover Stigma Amplification in Generative Language Models [8.211129045180636]
  我々は、生成言語モデルにおいて、シュティグマを通して、社会的偏見の増幅を捉えるためのベンチマークを導入する。 私たちのベンチマークであるSocialStigmaQAには、ソーシャルバイアスとモデル堅牢性の両方をテストするために慎重に構築された、さまざまなプロンプトスタイルの約10Kプロンプトが含まれています。 社会的に偏りのあるアウトプットの割合は、様々なデコード戦略やスタイルにまたがって45%から59%の範囲であることがわかった。
  論文  参考訳（メタデータ） (2023-12-12T18:27:44Z)
• Bias Testing and Mitigation in LLM-based Code Generation [23.787124657688267]
  本稿では,コード生成タスクに特化して設計された新しいバイアステストフレームワークを提案する。 調査対象のモデルが生成するコード関数の20.29%から44.93%が偏りに敏感なタスクを扱う際に偏りがあることがわかった。 コード生成モデルのバイアスを軽減するため、我々は5つのバイアス軽減プロンプト戦略を評価する。
  論文  参考訳（メタデータ） (2023-09-03T07:14:49Z)
• Exposing Bias in Online Communities through Large-Scale Language Models [3.04585143845864]
  この研究は、言語モデルにおけるバイアスの欠陥を使用して、6つの異なるオンラインコミュニティのバイアスを調査します。 得られたモデルのバイアスは、異なる人口層を持つモデルに促し、これらの世代における感情と毒性の値を比較することで評価される。 この作業は、トレーニングデータからバイアスがどの程度容易に吸収されるかを確認するだけでなく、さまざまなデータセットやコミュニティのバイアスを特定し比較するためのスケーラブルな方法も提示する。
  論文  参考訳（メタデータ） (2023-06-04T08:09:26Z)
• Uncovering and Categorizing Social Biases in Text-to-SQL [28.07279278808438]
  大規模な事前訓練された言語モデルは、異なる人口層に対する社会的偏見を持つと認められている。 既存のText-to-モデルは、SpiderやWikiといったクリーンで中立なデータセットでトレーニングされている。 この研究は、テキスト・ツー・モデルで社会的バイアスを発見し、分類することを目的としている。
  論文  参考訳（メタデータ） (2023-05-25T17:08:56Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• The Tail Wagging the Dog: Dataset Construction Biases of Social Bias Benchmarks [75.58692290694452]
  社会的偏見と、データセット構築時に選択された選択から生じる非社会的偏見を比較し、人間の目では識別できないかもしれない。 これらの浅い修正は、様々なモデルにまたがるバイアスの程度に驚くべき影響を及ぼす。
  論文  参考訳（メタデータ） (2022-10-18T17:58:39Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。