論文の概要: From If-Statements to ML Pipelines: Revisiting Bias in Code-Generation
- arxiv url: http://arxiv.org/abs/2604.21716v1
- Date: Thu, 23 Apr 2026 14:22:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-24 14:40:06.592699
- Title: From If-Statements to ML Pipelines: Revisiting Bias in Code-Generation
- Title(参考訳): If-StatementsからML Pipelinesへ - コード生成におけるバイアスの再検討
- Authors: Minh Duc Bui, Xenia Heilmann, Mattia Cerrato, Manuel Mager, Katharina von der Wense,
- Abstract要約: 生成したパイプラインには,機能選択中に大きなバイアスが生じることが分かりました。
このバイアスは条件文で捉えたバイアスよりもかなり多い。
本結果は, バイアス評価の有効なプロキシとして, 単純な条件に挑戦する。
- 参考スコア(独自算出の注目度): 19.73027849839387
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Prior work evaluates code generation bias primarily through simple conditional statements, which represent only a narrow slice of real-world programming and reveal solely overt, explicitly encoded bias. We demonstrate that this approach dramatically underestimates bias in practice by examining a more realistic task: generating machine learning (ML) pipelines. Testing both code-specialized and general-instruction large language models, we find that generated pipelines exhibit significant bias during feature selection. Sensitive attributes appear in 87.7% of cases on average, despite models demonstrably excluding irrelevant features (e.g., including "race" while dropping "favorite color" for credit scoring). This bias is substantially more prevalent than that captured by conditional statements, where sensitive attributes appear in only 59.2% of cases. These findings are robust across prompt mitigation strategies, varying numbers of attributes, and different pipeline difficulty levels. Our results challenge simple conditionals as valid proxies for bias evaluation and suggest current benchmarks underestimate bias risk in practical deployments.
- Abstract(参考訳): 以前の研究は、コード生成バイアスを主に単純な条件文で評価しており、これは現実世界のプログラミングの狭い部分だけを表し、明示的に符号化されたバイアスを明らかにする。
このアプローチは、より現実的なタスクである機械学習(ML)パイプラインを生成することによって、実践上のバイアスを劇的に過小評価する。
コード固有化と汎用的な大規模言語モデルの両方をテストすると、生成したパイプラインは特徴選択中に大きなバイアスを呈することがわかった。
感度特性は、無関係な特徴(例えば「レース」を含む)を除いて、平均87.7%のケースで現れる。
このバイアスは、59.2%のケースでのみセンシティブな属性が現れる条件付きステートメントよりもかなり多い。
これらの発見は、迅速な緩和戦略、属性の数の変化、パイプラインの難易度の違いにまたがって堅牢である。
本結果は, バイアス評価の有効なプロキシとして単純な条件に挑戦し, 実運用におけるバイアスリスクを過小評価する現在のベンチマークを提案する。
関連論文リスト
- Biases in the Blind Spot: Detecting What LLMs Fail to Mention [13.599496385950983]
大型言語モデル (LLM) は、しばしばチェーン・オブ・シント (CoT) 推論のトレースを提供するが、内部バイアスを隠蔽する可能性がある。
タスク固有の非言語バイアスを検出するために,完全に自動化されたブラックボックスパイプラインを導入する。
論文 参考訳(メタデータ) (2026-02-10T18:59:56Z) - BLADE: Bias-Linked Adaptive DEbiasing [2.7352017408152083]
BLADEは、バイアスやバイアスを伴うサンプルの事前知識を必要としない、生成的デバイアスのフレームワークである。
我々は,複数のベンチマークデータセット上でBLADEを評価し,最先端の手法を著しく上回ることを示す。
論文 参考訳(メタデータ) (2025-10-05T12:28:54Z) - Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。
本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
論文 参考訳(メタデータ) (2024-03-15T02:04:35Z) - Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。
Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
論文 参考訳(メタデータ) (2022-09-30T17:33:00Z) - Few-shot Instruction Prompts for Pretrained Language Models to Detect
Social Biases [55.45617404586874]
我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。
大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
論文 参考訳(メタデータ) (2021-12-15T04:19:52Z) - Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。
既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。
本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
論文 参考訳(メタデータ) (2021-09-16T23:40:28Z) - Learning Debiased Representation via Disentangled Feature Augmentation [19.348340314001756]
本稿では, 様々なバイアスを伴うサンプルを用いたトレーニングが, 脱バイアスに不可欠であることを示す実験的検討を行った。
本稿では, 多様なバイアス分散サンプルを合成するために, 特徴レベルのデータ拡張手法を提案する。
論文 参考訳(メタデータ) (2021-07-03T08:03:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。