論文の概要: Identity or Prompt Noise? A Calibrated Invariance Audit of LLM Code Generation

• arxiv url: http://arxiv.org/abs/2609.22511v1
• Date: Fri, 18 Sep 2026 19:20:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:47:13.52859
• Title: Identity or Prompt Noise? A Calibrated Invariance Audit of LLM Code Generation
• Title（参考訳）: アイデンティティとプロンプトノイズ : LLMコード生成の校正的不変性監査
• Abstract要約: アイデンティティの手がかりは、固定されたプログラミング仕様とは無関係であるが、不平等なサンプルから生の反事実的な違いが生じる可能性がある。 我々は、HumanEval+とMBPP+の7つのチェックポイントから、3073万のPython世代を監査する。
• 参考スコア（独自算出の注目度）: 2.544327666155944
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Identity cues are irrelevant to a fixed programming specification, but raw counterfactual differences can arise from unequal samples and prompt wording. We audit 30.73 million executed Python generations from seven checkpoints on HumanEval+ and MBPP+, supplemented by an exploratory 550B slice, under model-assigned gender, country, and occupation personas. Within-task randomization and false-discovery-rate control identify occupation as the most consistent structural axis: CodeBLEU dispersion exceeds its exchangeability null in 10/14 model--benchmark cells, remains significant in 8/12 full-coverage cells, and exceeds the country ratio in every paired cell, although the median excess is only 0.141 points. In six high-pass-rate cells, occupation dispersion replicates across token similarity, length, comments, reference similarity, and complexity, while pass-rate dispersion is significant in none. Country leads raw dispersion in 12/14 cells but has a median calibrated ratio of 1.00. Gender-associated variation cannot be separated from persona wording in this design. Thus, the evidence supports small, reproducible occupation-conditioned changes in code form, not stable disadvantage to named identities or demonstrated downstream harm. We use this finding to motivate a broader commentary on the potential impacts of bias in code generation, including the possibility that models may condition their outputs on identity information available from prior conversational context.
• Abstract（参考訳）: アイデンティティの手がかりは、固定されたプログラミング仕様とは無関係であるが、不平等なサンプルから生の反事実的な違いが生じる可能性がある。 我々は、HumanEval+とMBPP+の7つのチェックポイントから、モデル指定の性別、国、職業ペルソナの下で、探索的な550Bスライスで補足されたPython世代を3073万回監査した。 CodeBLEUの分散は10/14モデルでの交換性 null を超えるが、ベンチマーク細胞は8/12の完全被覆細胞で有意であり、各ペア細胞のカントリー比を超えるが、中央値の過剰値は0.141ポイントである。 6つのハイパスレート細胞において、占有分散はトークン類似性、長さ、コメント、参照類似性、複雑さにまたがって複製されるが、パスレート分散は重要ではない。 国は12/14細胞で生の分散を誘導するが、中等度比1.00である。 このデザインでは、ジェンダー関連変異はペルソナ語から分離することはできない。 したがって、この証拠はコード形式の小さな再現可能な職業条件の変更を支持しており、名前付きIDに対する安定した不利や下流の害を示すものではない。 この発見は、モデルが事前の会話のコンテキストから利用可能なアイデンティティ情報に対して出力を条件付けできる可能性を含む、コード生成におけるバイアスの潜在的な影響に関するより広範なコメントの動機付けとなる。

関連論文リスト

• Impute-EM: Native Mixed-State Diffusion Models for Heterogeneous Data Imputation [71.74203645336385]
  Impute-EMは、現在のモデルとインプットされていないエントリを交換し、完了したデータに拡散バックボーンをリフィットする。 我々は、この更新を特徴付け、観測されたマスクインデクシングされた辺縁線が、その限界で目標と一致していることを示す。
  論文  参考訳（メタデータ） (2026-09-14T09:39:13Z)
• Counterfactual Fairness Audits of Multi-Step Clinical LLM Agents Require a Measured Per-Action Instability Floor [3.0704370207786265]
  本研究は, アクションフロアを横に置かずに報告した反実的公正度推定値が, 相違の証拠として読めないことを示す。 FairMedAgentは, 臨床適応剤の作用の差異を評価するための評価ハーネスである。
  論文  参考訳（メタデータ） (2026-09-02T23:38:17Z)
• Why Does the Future Branch? Identifiable Closure Tests for Stochastic Physical World Models [0.0]
  ClosurePairsは、繰り返し発生する障害を伴う互換性のあるマイクロステートを横断します。 ソースの属性は確実に回復する。 非線形相互作用ベンチマークにおける等予算分解誤差を低減する。
  論文  参考訳（メタデータ） (2026-08-01T11:07:24Z)
• Score Distributions, Not Cells: Evaluating Single-Cell Perturbations Under Class Overlap [0.09558392439655013]
  2つの摂動によって異なる細胞の集団が生成され、同時に個々の細胞がどちらの細胞に属しているかが重なり合う。 セル毎の精度はモデルの品質よりもこの重複を測定する。 この修正は、細胞によってではなく、全人口の摂動を評価することである。
  論文  参考訳（メタデータ） (2026-07-06T01:47:02Z)
• BiAxisAudit: A Novel Framework to Evaluate LLM Bias Across Prompt Sensitivity and Response-Layer Divergence [22.315546054051143]
  大規模言語モデルのバイアス監査は、EU AI Actなどのガバナンスフレームワーク内で運用されている。 このプロトコルでは、各バイアススコアを2つの軸上での信頼性推定とともに報告する。
  論文  参考訳（メタデータ） (2026-05-09T16:26:49Z)
• Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions [50.1404916337174]
  大規模言語モデル(LLM)における母国語の確率的サンプリングの大規模,統計的に活用された最初の監査について述べる。 バッチ生成は, ほぼ完全に崩壊する一方, 中央値のパスレートが13%であり, 統計的妥当性はわずかであることがわかった。 現在のLCMには機能的な内部サンプルが欠如しており、統計的保証を必要とするアプリケーションに外部ツールを使う必要があると結論付けている。
  論文  参考訳（メタデータ） (2026-01-08T22:33:12Z)
• Unlasting: Unpaired Single-Cell Multi-Perturbation Estimation by Dual Conditional Diffusion Implicit Bridges [68.98973318553983]
  本稿では,Dual Diffusion Implicit Bridges (DDIB) に基づくフレームワークを提案する。 我々は、生物学的に意味のある方法で摂動シグナルを伝達するために遺伝子制御ネットワーク(GRN)情報を統合する。 また、サイレント遺伝子を予測し、生成したプロファイルの品質を向上させるためのマスキング機構も組み込んだ。
  論文  参考訳（メタデータ） (2025-06-26T09:05:38Z)
• Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
  モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。 我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
  論文  参考訳（メタデータ） (2023-06-19T18:48:15Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。