論文の概要: When and Why Do Linear Bias Probes Fail? A Geometric and Statistical Theory of Bias Detectability in Large Language Model Representations

• arxiv url: http://arxiv.org/abs/2609.22337v1
• Date: Tue, 21 Jul 2026 06:53:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.813802
• Title: When and Why Do Linear Bias Probes Fail? A Geometric and Statistical Theory of Bias Detectability in Large Language Model Representations
• Title（参考訳）: リニアバイアスプローブはいつ、なぜ失敗するのか? : 大規模言語モデル表現におけるバイアス検出の幾何学的・統計的理論
• Abstract要約: 線形探索は、大きな言語モデルにおける社会的バイアスを検出する標準的な手段である。 しかし、報告された調査のアキュラシーは、ほとんど事実評価から来ている。 私たちはこの曖昧さを解決する理論を発展させる。
• 参考スコア（独自算出の注目度）: 1.7545090618311434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linear probing is the standard instrument for detecting social biases in the hidden representations of large language models. Yet reported probe accuracies come almost exclusively from \emph{counterfactual} evaluations in which every input carries an explicit demographic marker. Once only a fraction $α$ of inputs carries demographic information, performance degrades sharply, and a weak probe may reflect either an unbiased model or an underpowered detector. We develop a theory that resolves this ambiguity. Modeling representations as two class-conditional clusters with Mahalanobis separation $s$ on a manifold of curvature $\kap$, we prove: (i) a finite-sample generalization bound governed by the manifold's extrinsic radius with a matching $\smash{\sqrt{\dB/n}}$ minimax lower bound; (ii) an exact purity law for the maximum linear-probe AUC, strictly increasing in $α$; (iii) a curvature ceiling: ambient chordal separation on a space form cannot exceed $2/\sqrt{\kap}$; and (iv) a detectability threshold below which no audit can distinguish probe output from chance. Every theorem is validated on synthetic manifolds with known ground truth and on six open-weight models $\times$ four bias dimensions, where the purity law predicts entire AUC--$α$ curves from a single cross-fitted $\hat s$ measured at $α=1$, with no parameters fitted to those curves. The framework turns bias auditing into a power analysis: given a target purity and effect size, it prescribes the sample budget $n(α)$ for a conclusive audit.
• Abstract（参考訳）: 線形探索は、大規模言語モデルの隠れ表現における社会的バイアスを検出する標準的な手段である。 しかし、報告された調査の精度は、すべての入力が明示的な人口統計マーカーを持つような 'emph{counterfactual' 評価からのみ得られる。 ひとたびわずか$αの入力が人口統計情報を持ち込むと、性能は急激に低下し、弱いプローブはバイアスのないモデルまたは低出力検出器を反映する可能性がある。 私たちはこの曖昧さを解決する理論を発展させる。 マハラノビス分離$s$を曲率の多様体上の2つのクラス条件クラスタとしてモデル化する。 i) 多様体の外生半径で有界な有限サンプル一般化で、一致する$\smash{\sqrt{\dB/n}}$ minimax 下界を持つ。 (ii)最大線型プローブ AUC に対する完全純度法則で、厳密には$α$; 三 曲率天井 空間上の周囲の和音の分離は二/\sqrt{\kap}$を超えない。 四 プローブ出力と確率を区別する監査を行わない検出可能性しきい値 すべての定理は、既知基底真理を持つ合成多様体と、6つのオープンウェイトモデル $\times$ 4 のバイアス次元で検証され、純度法則は全 AUC--$α$曲線を予測する。 このフレームワークはバイアス監査をパワー分析に変換する: 対象の純度と効果サイズが与えられた場合、決定的な監査のためにサンプル予算$n(α)$を規定する。

関連論文リスト

• The geometry of AI validation: Exact certification limits for iid best-of-N search [0.0]
  信頼性面上での検証とデプロイメントのルールをカーネルとして表現する。 B_m,N=1+2sum_r=1m(-1)rcos2Nr/[(m+1)]$
  論文  参考訳（メタデータ） (2026-08-21T15:18:11Z)
• Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
  分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。 我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
  論文  参考訳（メタデータ） (2026-08-06T19:49:48Z)
• Mean Testing under Truncation beyond Gaussian [3.9925887361256134]
  トランケーションは次数$O(_P,pvarepsilon1-1/p)$のバイアスを誘導する。 向きの正則性仮定の下では、トランケーションバイアスは線形順序$O(varepsilon)$に改善されることを示す。 本研究は,有限モーメント,準ガウス,中央規則構造系を連結し,トランケーション下での平均試験を行うための統一的な枠組みを提供する。
  論文  参考訳（メタデータ） (2026-05-02T09:13:50Z)
• Characterization of Gaussian Universality Breakdown in High-Dimensional Empirical Risk Minimization [7.721672385781673]
  非ガウス的なデータ設計の下で,高次元的凸リスク (ERM) について検討した。 平均$_hat$の近似を可能にするため、鍵統計量のmin-max特性を導出する。 我々は任意の$mathcalC2$正則化器が、そのヘッセンが 0 で、勾配が $_hat$ でのみ決定する二次形式に等しいことを証明した。
  論文  参考訳（メタデータ） (2026-04-03T16:07:02Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• A High-dimensional Convergence Theorem for U-statistics with Applications to Kernel-based Testing [3.469038201881982]
  次数2のU-統計量に対して収束定理を証明し、データ次元$d$はサンプルサイズ$n$でスケールすることができる。 我々はこの理論を、高次元性能の研究が困難である2つのカーネルベースの分散テスト MMD と KSD に適用した。
  論文  参考訳（メタデータ） (2023-02-11T12:49:46Z)
• The Generalized Lasso with Nonlinear Observations and Generative Priors [63.541900026673055]
  我々は、幅広い測定モデルで満たされるガウス下測度を仮定する。 この結果から, 局所埋込特性を仮定して, 均一回復保証まで拡張できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-22T16:43:35Z)
• Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model [50.38446482252857]
  本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。 最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。 対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-05-26T17:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。