論文の概要: From If-Statements to ML Pipelines: Revisiting Bias in Code-Generation
- arxiv url: http://arxiv.org/abs/2604.21716v1
- Date: Thu, 23 Apr 2026 14:22:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-24 14:40:06.592699
- Title: From If-Statements to ML Pipelines: Revisiting Bias in Code-Generation
- Title(参考訳): If-StatementsからML Pipelinesへ - コード生成におけるバイアスの再検討
- Abstract要約: 生成したパイプラインには,機能選択中に大きなバイアスが生じることが分かりました。
このバイアスは条件文で捉えたバイアスよりもかなり多い。
本結果は, バイアス評価の有効なプロキシとして, 単純な条件に挑戦する。
- 参考スコア(独自算出の注目度): 19.73027849839387
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Prior work evaluates code generation bias primarily through simple conditional statements, which represent only a narrow slice of real-world programming and reveal solely overt, explicitly encoded bias. We demonstrate that this approach dramatically underestimates bias in practice by examining a more realistic task: generating machine learning (ML) pipelines. Testing both code-specialized and general-instruction large language models, we find that generated pipelines exhibit significant bias during feature selection. Sensitive attributes appear in 87.7% of cases on average, despite models demonstrably excluding irrelevant features (e.g., including "race" while dropping "favorite color" for credit scoring). This bias is substantially more prevalent than that captured by conditional statements, where sensitive attributes appear in only 59.2% of cases. These findings are robust across prompt mitigation strategies, varying numbers of attributes, and different pipeline difficulty levels. Our results challenge simple conditionals as valid proxies for bias evaluation and suggest current benchmarks underestimate bias risk in practical deployments.
- Abstract(参考訳): 以前の研究は、コード生成バイアスを主に単純な条件文で評価しており、これは現実世界のプログラミングの狭い部分だけを表し、明示的に符号化されたバイアスを明らかにする。
このアプローチは、より現実的なタスクである機械学習(ML)パイプラインを生成することによって、実践上のバイアスを劇的に過小評価する。
コード固有化と汎用的な大規模言語モデルの両方をテストすると、生成したパイプラインは特徴選択中に大きなバイアスを呈することがわかった。
感度特性は、無関係な特徴(例えば「レース」を含む)を除いて、平均87.7%のケースで現れる。
このバイアスは、59.2%のケースでのみセンシティブな属性が現れる条件付きステートメントよりもかなり多い。
これらの発見は、迅速な緩和戦略、属性の数の変化、パイプラインの難易度の違いにまたがって堅牢である。
本結果は, バイアス評価の有効なプロキシとして単純な条件に挑戦し, 実運用におけるバイアスリスクを過小評価する現在のベンチマークを提案する。
関連論文リスト
- Biases in the Blind Spot: Detecting What LLMs Fail to Mention [13.599496385950983]
大型言語モデル (LLM) は、しばしばチェーン・オブ・シント (CoT) 推論のトレースを提供するが、内部バイアスを隠蔽する可能性がある。
タスク固有の非言語バイアスを検出するために,完全に自動化されたブラックボックスパイプラインを導入する。
論文 参考訳(メタデータ) (2026-02-10T18:59:56Z) - BLADE: Bias-Linked Adaptive DEbiasing [2.7352017408152083]
BLADEは、バイアスやバイアスを伴うサンプルの事前知識を必要としない、生成的デバイアスのフレームワークである。
我々は,複数のベンチマークデータセット上でBLADEを評価し,最先端の手法を著しく上回ることを示す。
論文 参考訳(メタデータ) (2025-10-05T12:28:54Z) - Rethinking Prompt-based Debiasing in Large Language Models [40.90578215191079]
大規模言語モデル(LLM)におけるバイアスの調査は、信頼できるAIを開発する上で不可欠である。
即発的なエンジニアリングは一般的であるが、その効果はモデルがバイアスを本質的に理解しているという仮定に依存している。
本研究では,BBQ と StereoSet のベンチマークを用いて,オープンソースモデルと商用 GPT モデルの両方を用いて,この仮定を体系的に解析した。
論文 参考訳(メタデータ) (2025-03-12T10:06:03Z) - Language-guided Detection and Mitigation of Unknown Dataset Bias [23.299264313976213]
本稿では,キャプションの部分的発生に基づく事前知識のないキーワードとして潜在的なバイアスを識別する枠組みを提案する。
我々のフレームワークは、事前知識のない既存のメソッドよりも優れているだけでなく、事前知識を前提としたメソッドにさえ匹敵する。
論文 参考訳(メタデータ) (2024-06-05T03:11:33Z) - Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。
本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
論文 参考訳(メタデータ) (2024-03-15T02:04:35Z) - Bias in Language Models: Beyond Trick Tests and Toward RUTEd Evaluation [49.3814117521631]
大規模言語モデル(LLM)におけるバイアスと公平性の標準ベンチマークは、プロンプトによって記述されたユーザー属性とインプットの関係を測定する。
本研究では, 子どもの就寝時間, ユーザ・ペルソナ, 英語学習演習の3つの文脈から, RUTEdの類似性を評価する。
標準偏差指標は、より現実的な偏差指標と有意な相関関係がないことがわかった。
論文 参考訳(メタデータ) (2024-02-20T01:49:15Z) - Revisiting the Dataset Bias Problem from a Statistical Perspective [72.94990819287551]
統計的観点から「データセットバイアス」問題を考察する。
問題の主な原因は、クラス属性 u と非クラス属性 b の強い相関関係である。
本稿では,各試料nの目的をフラクタル1p(u_n|b_n)で重み付けするか,その試料をフラクタル1p(u_n|b_n)に比例してサンプリングすることにより,データセットバイアスを軽減することを提案する。
論文 参考訳(メタデータ) (2024-02-05T22:58:06Z) - Self-supervised debiasing using low rank regularization [59.84695042540525]
純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。
ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。
注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
論文 参考訳(メタデータ) (2022-10-11T08:26:19Z) - Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。
Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
論文 参考訳(メタデータ) (2022-09-30T17:33:00Z) - Few-shot Instruction Prompts for Pretrained Language Models to Detect
Social Biases [55.45617404586874]
我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。
大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
論文 参考訳(メタデータ) (2021-12-15T04:19:52Z) - Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。
既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。
本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
論文 参考訳(メタデータ) (2021-09-16T23:40:28Z) - Learning Debiased Representation via Disentangled Feature Augmentation [19.348340314001756]
本稿では, 様々なバイアスを伴うサンプルを用いたトレーニングが, 脱バイアスに不可欠であることを示す実験的検討を行った。
本稿では, 多様なバイアス分散サンプルを合成するために, 特徴レベルのデータ拡張手法を提案する。
論文 参考訳(メタデータ) (2021-07-03T08:03:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。