Fugu-MT 論文翻訳(概要): Mitigating Gender Bias in Code Large Language Models via Model Editing

論文の概要: Mitigating Gender Bias in Code Large Language Models via Model Editing

arxiv url: http://arxiv.org/abs/2410.07820v1
Date: Thu, 10 Oct 2024 11:11:32 GMT
ステータス: 処理完了
システム内更新日: 2024-10-31 14:46:14.521756
Title: Mitigating Gender Bias in Code Large Language Models via Model Editing
Title（参考訳）: モデル編集による大規模言語モデルにおけるジェンダーバイアスの緩和
Authors: Zhanyue Qin, Haochuan Wang, Zecheng Wang, Deyuan Liu, Cunhang Fan, Zhao Lv, Zhiying Tu, Dianhui Chu, Dianbo Sui,
Abstract要約: MG-Editing というモデル編集手法を開発し,位置決めと編集のフェーズを含む。 MG-Editing はモデルパラメータの粒度の5つの異なるレベルに適用できる。
参考スコア（独自算出の注目度）: 13.13191387443139
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In recent years, with the maturation of large language model (LLM) technology and the emergence of high-quality programming code datasets, researchers have become increasingly confident in addressing the challenges of program synthesis automatically. However, since most of the training samples for LLMs are unscreened, it is inevitable that LLMs' performance may not align with real-world scenarios, leading to the presence of social bias. To evaluate and quantify the gender bias in code LLMs, we propose a dataset named CodeGenBias (Gender Bias in the Code Generation) and an evaluation metric called FB-Score (Factual Bias Score) based on the actual gender distribution of correlative professions. With the help of CodeGenBias and FB-Score, we evaluate and analyze the gender bias in eight mainstream Code LLMs. Previous work has demonstrated that model editing methods that perform well in knowledge editing have the potential to mitigate social bias in LLMs. Therefore, we develop a model editing approach named MG-Editing (Multi-Granularity model Editing), which includes the locating and editing phases. Our model editing method MG-Editing can be applied at five different levels of model parameter granularity: full parameters level, layer level, module level, row level, and neuron level. Extensive experiments not only demonstrate that our MG-Editing can effectively mitigate the gender bias in code LLMs while maintaining their general code generation capabilities, but also showcase its excellent generalization. At the same time, the experimental results show that, considering both the gender bias of the model and its general code generation capability, MG-Editing is most effective when applied at the row and neuron levels of granularity.
Abstract（参考訳）: 近年,大規模言語モデル(LLM)技術の成熟と高品質なプログラミングコードデータセットの出現により,研究者はプログラム合成の課題に自動的に取り組むことに自信を持つようになった。しかし, LLMのトレーニングサンプルの多くはスクリーニングされていないため, LLMのパフォーマンスが現実のシナリオと一致しないことは避けられないため, 社会的偏見の存在につながる。コードLLMにおけるジェンダーバイアスの評価と定量化のために,コードGenBias(コードジェネレーションにおけるジェンダーバイアス)というデータセットと,相関専門職の実際のジェンダー分布に基づくFBスコア(Factual Bias Score)と呼ばれる評価指標を提案する。 CodeGenBiasとFB-Scoreの助けを借りて、8つの主要なCode LLMにおける性別バイアスを評価し分析する。これまでの研究では、知識編集に優れたモデル編集手法が、LLMにおける社会的バイアスを軽減する可能性があることが示されている。そこで我々はMG-Editing (Multi-Granularity Model Editing) と呼ばれるモデル編集手法を開発し,その配置と編集のフェーズを含む。モデル編集手法MG-Editingは, モデルパラメータの粒度レベル, 層レベル, モジュールレベル, 行レベル, ニューロンレベルの5つの異なるレベルに適用できる。大規模な実験は、MG編集が一般的なコード生成能力を保ちながら、コードLLMの性別バイアスを効果的に軽減できるだけでなく、その優れた一般化も示している。同時に、実験結果から、モデルの性別バイアスと一般的なコード生成能力の両方を考慮すると、MG-Editingは行やニューロンの粒度において最も効果的であることが示された。

関連論文リスト

Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
論文参考訳（メタデータ） (2024-08-07T17:14:58Z)
DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
論文参考訳（メタデータ） (2024-06-25T04:27:53Z)
AlchemistCoder: Harmonizing and Eliciting Code Capability by Hindsight Tuning on Multi-source Data [64.69872638349922]
本稿では、マルチソースデータに微調整されたコード生成と一般化機能を備えたコードLLMのシリーズであるAlchemistCoderを紹介する。本稿では,データ構築過程を微調整データに組み込んで,命令の進化,データフィルタリング,コードレビューなどのコード理解タスクを提案する。
論文参考訳（メタデータ） (2024-05-29T16:57:33Z)
Perturbation-Restrained Sequential Model Editing [33.51709226068619]
現在のモデル編集手法は、編集数が増加するにつれて、大きな言語モデル(LLM)の一般的な能力を損なう。編集用上層部における摂動抑制フレームワーク(PRUNE)を提案する。 PRUNEは、シーケンシャルモデル編集において、編集性能を効果的に維持しながら、かなりの汎用性を維持できる。
論文参考訳（メタデータ） (2024-05-27T04:40:56Z)
Evaluating the Factuality of Large Language Models using Large-Scale Knowledge Graphs [30.179703001666173]
大規模言語モデル(LLM)にとって、ファクチュアリティの問題は重要な問題である我々は,かなり大きなテストデータセットを用いて,LLMの性能を評価するためにGraphEvalを提案する。テストデータセットは、高価な人的努力なしで1000万以上の事実を持つ大規模な知識グラフから取得される。
論文参考訳（メタデータ） (2024-04-01T06:01:17Z)
Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
論文参考訳（メタデータ） (2024-03-14T08:18:59Z)
The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse [58.0132400208411]
単一の編集でさえモデル崩壊を引き起こし、様々なベンチマークタスクで大幅なパフォーマンス低下を示す。編集後の大規模言語モデルのベンチマークは、過激な時間とリソース集約である。我々は、GPT-3.5を用いて、ハードケースに基づいた新しいデータセット、HardEditを開発した。
論文参考訳（メタデータ） (2024-02-15T01:50:38Z)
Large Language Model (LLM) Bias Index -- LLMBI [0.0]
LLMBI(Large Language Model Bias Index)は、大規模言語モデル(LLM)に固有のバイアスを定量化し、対処するための先駆的なアプローチである。年齢,性別,人種的偏見に限らず,多次元の偏見を取り入れた複合スコアリングシステムを用いたLLMBIの定式化を行った。 OpenAIのAPIからの応答を用いた実証分析では,バイアス検出の代表的な方法として,高度な感情分析を採用している。
論文参考訳（メタデータ） (2023-12-22T15:38:13Z)
CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
論文参考訳（メタデータ） (2023-11-29T08:29:54Z)
Bias Testing and Mitigation in LLM-based Code Generation [23.787124657688267]
本稿では,コード生成タスクに特化して設計された新しいバイアステストフレームワークを提案する。調査対象のモデルが生成するコード関数の20.29%から44.93%が偏りに敏感なタスクを扱う際に偏りがあることがわかった。コード生成モデルのバイアスを軽減するため、我々は5つのバイアス軽減プロンプト戦略を評価する。
論文参考訳（メタデータ） (2023-09-03T07:14:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。