論文の概要: Zero-Complement Extrapolation: Parameter Recovery and Classification in Severely Imbalanced Logistic Regression under Rank-Deficient Regimes
- arxiv url: http://arxiv.org/abs/2610.39194v2
- Date: Mon, 02 Nov 2026 01:27:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 02:41:45.008897
- Title: Zero-Complement Extrapolation: Parameter Recovery and Classification in Severely Imbalanced Logistic Regression under Rank-Deficient Regimes
- Title(参考訳): ゼロコンプリーメント外挿法: 厳密な不均衡なロジスティック回帰のパラメータ回復と分類
- Abstract要約: 本稿では,このパラダイムを少数派から多数派へとシフトさせる,新たなテキスト・キャリブレーションゼロ・コンプリメント推定器を提案する。
提案手法はパラメータのばらつきを防止し,高忠実度で超平面を復元し,F1スコアにおけるオラクルの回帰とSMOTEを著しく上回り,推定安定性を向上する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Parameter estimation and classification in binary logistic regression deteriorate severely when the number of minority class observations ($n_1$) is smaller than the feature dimension ($p$). Under such rank-deficient rarity ($n_1 < p$), maximum likelihood estimators suffer from quasi-complete separation, penalized likelihood methods exhibit severe intercept bias, and convex minority oversampling techniques such as SMOTE collapse into an $(n_1 - 1)$-dimensional affine subspace. In this paper, we propose a novel \textit{Self-Calibrated Zero-Complement} estimator that shifts the paradigm from minority interpolation to majority fringe extrapolation. Grounded in Stein's Lemma, we prove that the conditional expectation shift of the abundant majority class ($Y=0$) induced by logistic truncation uniquely identifies the true hyperplane normal $\boldsymbolβ$ after Mahalanobis whitening. We further establish that extrapolating synthetic minority instances outward from the high-quantile density fringe of the majority distribution along the conjugate direction preserves full-rank covariance regularity ($\mathrm{rank} = p$). To accommodate both semi-supervised environments (with an unlabeled background mean) and strictly supervised subsamples, we introduce a hybrid estimator incorporating the intrinsic third-moment skewness of the majority class alongside a location-shift-invariant zero-boundary intercept calibration. Extensive Monte Carlo simulations and real-world benchmark applications (Wisconsin Diagnostic Breast Cancer and Banknote Authentication) under extreme rarity ($n_1 \in \{3, 5\}$) demonstrate that our approach prevents parameter divergence, recovers the oracle hyperplane with high fidelity, and substantially outperforms Firth's regression and SMOTE in F1-score and estimation stability.
- Abstract(参考訳): バイナリロジスティック回帰のパラメータ推定と分類は、少数クラスの観測回数(n_1$)が特徴次元(p$)よりも小さい場合、著しく低下する。
このようなランク不足の希薄さ(n_1 < p$)の下では、最大可能性推定器は準完全分離に悩まされ、ペナル化可能性法は厳しいインターセプトバイアスを示し、SMOTEのような凸マイノリティオーバーサンプリング技術は、$(n_1 - 1)$-dimensional アフィン部分空間に崩壊する。
本稿では,少数補間から多数補間へパラダイムをシフトさせる新しいゼロ補間法を提案する。
スタインの補題において、ロジスティック・トランケーションによって誘導される多数多数類(Y=0$)の条件付き期待シフトが、マハラノビスの白化の後、真の超平面正規$\boldsymbolβ$を一意に特定することを証明する。
さらに、共役方向に沿った多数分布の高量子密度領域から外挿された合成マイノリティインスタンスは、フルランクの共分散正則性 (\mathrm{rank} = p$) を保持することを証明している。
半教師付き環境(ラベル付き背景平均)と厳密に教師付きサブサンプルの両方に対応するため,位置シフト不変なゼロバウンダリ・インターセプトキャリブレーションとともに,多数クラス固有の第3モーメントスキューネスを組み込んだハイブリッド推定器を導入する。
広範囲なモンテカルロシミュレーションと実世界のベンチマーク(Wisconsin Diagnostic Breast Cancer and Banknote Authentication)を極端に希薄($n_1 \in \{3, 5\}$)で行うと、我々のアプローチはパラメータのばらつきを防止し、高い忠実度でオラクル超平面を復元し、F1スコアと推定安定性においてファースの回帰とSMOTEを著しく上回ることを示した。
関連論文リスト
- Robust Latent Variable Graphical Models: Exact Recovery and Fundamental Limits [1.7430416823420511]
スパース行列として分解されるガウス精度行列のロバストな推定について検討した。
我々は,フロベニウス推定,グラフ復元,慣性回復のための情報理論上の限界を証明した。
論文 参考訳(メタデータ) (2026-10-19T11:19:49Z) - Sample complexity of variance-reduced policy gradient: weaker assumptions and lower bounds [61.41272490044518]
REINFORCEの分散還元バージョンは、$O(-3)$サンプルの複雑さを改善して$$-stationary点を求める。
本稿では, 従来の重みの分散を仮定することなく, 同一レートを達成できる, 防御重要度サンプリングに基づくアルゴリズムを提案する。
論文 参考訳(メタデータ) (2026-10-02T11:43:52Z) - Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。
我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
論文 参考訳(メタデータ) (2026-08-06T19:49:48Z) - Unbiased and Biased Variance-Reduced Forward-Reflected-Backward Splitting Methods for Stochastic Composite Inclusions [3.6997773420183866]
本研究では,フォワード反射逆スプリッティング法(FRBS)のための新しい分散還元法を開発した。
ミニバッチのような偏見のない推定器とは異なり、偏見のある変種の開発は基本的な技術的課題に直面している。
ループレスSVRGやSAGAを利用する場合,$mathcalO(n2/3-2)$と$mathcalO(-10/3)$が最良であることを示す。
論文 参考訳(メタデータ) (2026-03-16T17:39:25Z) - Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。
一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。
グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
論文 参考訳(メタデータ) (2026-02-26T15:27:53Z) - Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。
本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
論文 参考訳(メタデータ) (2025-12-31T12:08:29Z) - Robust Variational Bayes by Min-Max Median Aggregation [13.102667562202386]
本稿では,データセットの汚染と流出率を処理するための頑健なベイズフレームワークを提案する。
提案手法では,データを$m$不整合部分集合に分割し,ロバストなアグリゲーション原理に基づく共同最適化問題を定式化する。
以上の結果より,2段階のアプローチは,$m$の局所的後肢を直接集約するよりも,近似誤差が小さいことが示唆された。
論文 参考訳(メタデータ) (2025-12-14T13:02:00Z) - Minimax optimal transfer learning for high-dimensional additive regression [0.0]
まず,局所線形平滑化を考慮したスムーズなバックフィッティング推定法を提案する。
そこで我々は,移動学習フレームワーク内に新たな2段階推定手法を開発し,人口と経験レベルの理論的保証を提供する。
論文 参考訳(メタデータ) (2025-09-08T03:16:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。