論文の概要: Socio-Conformal Calibration in Complex Survey Data: Marginal Validity Is Not Enough for Subgroup Reliability

• arxiv url: http://arxiv.org/abs/2605.05562v1
• Date: Thu, 07 May 2026 01:10:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.471967
• Title: Socio-Conformal Calibration in Complex Survey Data: Marginal Validity Is Not Enough for Subgroup Reliability
• Title（参考訳）: 複雑な調査データにおける社会・コンフォーマルな校正:サブグループの信頼性にはほど遠いマージン的妥当性
• Authors: Amir Rafe, Subasish Das,
• Abstract要約: 我々は,Pew American Trends Panel上での5段階のAI態度予測の順序性予測について検討した。 標準コンフォメーションは4つのベース予測器全てに対して名目上の限界範囲を達成しているが、重み付けされたサブグループギャップは13ポイントである。 最強の予測者(XGBoost)にとって、モンドリアンは公平性と効率性のトレードオフを悪化させる。 グループしきい値を大域量子化に向けて縮小する正規化コンパレータは、この不安定性を緩和する。
• 参考スコア（独自算出の注目度）: 1.089614199781423
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine-learning systems used in survey-based social measurement require uncertainty estimates that are reliable across population subgroups, not merely valid in aggregate. We study ordinal conformal prediction for five-level AI-attitude forecasting on the Pew American Trends Panel (Wave 152; n=4,591; 12 race x education subgroups), comparing standard split conformal, Mondrian (group-specific) conformal, and a regularized Mondrian comparator across 100 respondent-disjoint splits with survey-weighted evaluation. Standard conformal achieves nominal marginal coverage for all four base predictors but leaves weighted subgroup gaps of ~13 percentage points. For the strongest predictor (XGBoost), Mondrian worsens the fairness-efficiency trade-off: weighted set size rises by +0.036 (dz =1.66) while the weighted subgroup gap grows by +0.013 (dz =0.30). A regularized comparator that shrinks group thresholds toward the global quantile mitigates this instability (Delta gap = -0.001, Delta size = +0.012) but does not yield a decisive fairness gain. Failure analysis traces the mechanism to calibration-cell fragmentation interacting with group-specific confidence mismatch. The negative result persists across alternate outcome codings and subgroup granularities, demonstrating that nominal marginal validity is insufficient for subgroup reliability and that naive group-specific calibration is not a dependable fairness remedy in complex survey settings.
• Abstract（参考訳）: 調査に基づく社会測定で使用される機械学習システムは、人口サブグループ間で信頼性の高い不確実性推定を必要とする。 我々は,Pew American Trends Panel (Wave 152; n=4,591; 12 race x education subgroups), 標準分割コンフォメーション, 標準分割コンフォメーション, 標準分割コンフォメーション, 正規化モンドリアンコンパレータを, サーベイ重み付き評価で比較した。 標準等角形は4つのベース予測器全てに対して名目上の限界範囲を達成しているが、重み付けされたサブグループギャップは ~13 ポイントである。 最強の予測器(XGBoost)では、モンドリアンは公平性と効率のトレードオフを悪化させ、重み付き集合のサイズは+0.036(dz =1.66)増加し、重み付き部分群ギャップは+0.013(dz =0.30)増大する。 この不安定性(デルタギャップ = -0.001, デルタサイズ = +0.012)を緩和するが、決定的な公平性は得られない。 故障解析は、グループ固有の信頼ミスマッチと相互作用するキャリブレーション細胞断片化のメカニズムを辿る。 負の結果は、相反する結果の符号化やサブグループの粒度に留まり、サブグループの信頼性には名目的限界妥当性が不十分であり、複雑な調査環境では、単純グループ固有のキャリブレーションが信頼できるフェアネス対策ではないことを証明している。

関連論文リスト

• Composite Silhouette: A Subsampling-based Aggregation Strategy [5.70259485914933]
  本稿では,クラスタ数選択のための内部基準であるComposite Silhouetteを紹介する。 単一のパーティションに頼るのではなく、繰り返しるサブサンプリングされたクラスタリングにまたがってエビデンスを集約する。 合成および実世界のデータセットの実験により、コンポジットシルエットはマイクロ・マクロ・アベリングの強度を効果的に再現することが示された。
  論文  参考訳（メタデータ） (2026-04-15T12:49:09Z)
• Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [61.45587642780908]
  画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。 本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。 我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
  論文  参考訳（メタデータ） (2025-03-12T15:46:12Z)
• Adaptive Uncertainty Quantification for Generative AI [0.0]
  分割コンフォーマルな推論を反映して、整合性のスコアを校正するブラックボックスアルゴリズムのラッパーを設計する。 校正セット上の適合点に頑健な回帰木を嵌合させることにより適応的分割を実現する。 従来のスプリット・コンフォーマルな推論とは異なり、適応的な分割とグループ内キャリブレーションは、局所的に拡張および縮小できる適応バンドをもたらす。
  論文  参考訳（メタデータ） (2024-08-16T19:37:33Z)
• How does promoting the minority fraction affect generalization? A theoretical study of the one-hidden-layer neural network on group imbalance [64.1656365676171]
  グループ不均衡は経験的リスク最小化において既知の問題である。 本稿では,個々の集団がサンプルの複雑さ,収束率,平均および群レベルの試験性能に与える影響を定量化する。
  論文  参考訳（メタデータ） (2024-03-12T04:38:05Z)
• Fair admission risk prediction with proportional multicalibration [0.16249424686052708]
  マルチキャリブレーション制約は、柔軟に定義されたサブポピュレーション間のキャリブレーション誤差を補正する。 意思決定者は特定のグループに対するモデル予測を信頼するか、不信にするかを学ぶことができる。 本稿では,グループ間および予測ビン内における正の校正誤差を制限する基準である比例多重校正を提案する。
  論文  参考訳（メタデータ） (2022-09-29T08:15:29Z)
• Distribution-free binary classification: prediction sets, confidence intervals and calibration [106.50279469344937]
  分布自由条件における二項分類のための不確実性定量化(キャリブレーション、信頼区間、予測セット)の3つの概念について検討する。 固定幅と一様質量の両双対の双対確率に対する信頼区間を導出する。 我々の「三脚」定理の結果として、双有理確率に対するこれらの信頼区間は分布自由キャリブレーションに繋がる。
  論文  参考訳（メタデータ） (2020-06-18T14:17:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。