論文の概要: Scalable Cox Regression via Grouped Risk Sets and Sharper LogSumExp Rates
- arxiv url: http://arxiv.org/abs/2609.40120v1
- Date: Wed, 30 Sep 2026 16:45:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:28.101653
- Title: Scalable Cox Regression via Grouped Risk Sets and Sharper LogSumExp Rates
- Title(参考訳): グループ化リスクセットとシャーパログSumExpレートによるスケーラブルな Cox 回帰
- Abstract要約: 大規模 Cox 回帰の計算課題に触発され,大規模集合上での LogSumExp 目標の最小化について検討した。
ソフト・プラス・サロゲートを用いて、正規化器ごとに1つの補助スカラーを導入し、偏りのない単一サンプル勾配を許容する。
リスクセットを徐々に減少させる実験は、ベースラインと比較して良いパフォーマンスを示す。
- 参考スコア(独自算出の注目度): 1.0067421338825544
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Motivated by the computational challenges of large-scale Cox regression, we study stochastic minimization of LogSumExp objectives over large sets. Mini-batch normalizer estimates generally yield biased gradients. We instead use a softplus surrogate that introduces one auxiliary scalar per normalizer and admits unbiased single-sample gradients. For smooth convex LogSumExp objectives, we prove an $O(T^{-1/2})$ averaged objective bound, improving the previous $T^{-1/4}$ analysis. With a strongly convex regularizer on the original variable, we also obtain a last-iterate squared-error rate of $\widetilde{O}(T^{-1})$ without strong convexity in the auxiliary variables. For Cox regression, the normalizers are defined over nested risk sets. We exploit this structure by grouping neighboring failures and sharing one auxiliary variable per group. The resulting compressed objective admits uniform score and curvature bounds that control the errors from grouping and softplus approximation. Together with the general optimization result, these bounds give a mean-square rate of $T^{-4/5}$, up to logarithmic factors, relative to the full Cox solution. The compressed estimator also matches the full estimator's asymptotic distribution. Experiments on synthetic and real survival datasets with slowly decreasing risk sets show a favorable performance relative to stochastic baselines.
- Abstract(参考訳): 大規模 Cox 回帰の計算課題に触発され,大規模集合上での LogSumExp 目標の確率的最小化について検討した。
ミニバッチ正規化器の推定は一般にバイアス勾配を生じる。
代わりにソフトプラスサロゲートを使用し、正規化器ごとに1つの補助スカラーを導入し、偏りのない単一サンプル勾配を許容する。
滑らかな凸 LogSumExp の目的に対しては、O(T^{-1/2})$平均目的境界を証明し、以前の$T^{-1/4}$解析を改善した。
元の変数に強い凸正則化子を持ち、補助変数に強い凸性を持たず、最後の2乗誤差率$\widetilde{O}(T^{-1})$を得る。
Coxレグレッションでは、正規化器はネストされたリスクセット上で定義される。
隣接する障害をグループ化し、グループ毎に1つの補助変数を共有することで、この構造を利用する。
その結果得られた圧縮対象は、グループ化やソフトプラス近似からエラーを制御する一様スコアと曲率境界を許容する。
一般的な最適化結果と合わせて、これらの境界は、完全なコックス解に対して対数因子までの平均平方レートが$T^{-4/5}$となる。
圧縮された推定器は、完全な推定器の漸近分布と一致する。
リスクセットが緩やかに減少する合成および実生存データセットの実験は、確率的ベースラインと比較して良好な性能を示す。
関連論文リスト
- WEIRDO: WEak resIdual Regularized DOob's h-transform diffusion alignment [0.0]
本研究では,拡散生成モデルを用いて学習した分布を推定する方法について検討する。
得られた誘導推定値の2乗誤差に基づいて高確率境界を導出する。
論文 参考訳(メタデータ) (2026-09-30T11:32:29Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳(メタデータ) (2026-05-23T22:00:38Z) - Online Covariance Estimation in Averaged SGD: Improved Batch-Mean Rates and Minimax Optimality via Trajectory Regression [12.805268849262243]
我々はPolyak-Ruppert averaged gradient descent (SGD)のオンライン共分散行列推定について検討した。
この構造は、このボトルネックがSGDドリフトからヘッセンの情報をサブ線形に蓄積していることを明らかにする。
論文 参考訳(メタデータ) (2026-04-12T20:49:33Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳(メタデータ) (2026-02-19T17:21:15Z) - Information Hidden in Gradients of Regression with Target Noise [2.8911861322232686]
勾配だけでヘッセンが明らかになることを示す。
我々はガウス以下の入力の下で非漸近作用素ノルム保証を提供する。
論文 参考訳(メタデータ) (2026-01-26T14:50:16Z) - SIMPLE: A Gradient Estimator for $k$-Subset Sampling [42.38652558807518]
この作業では、フォワードパスの離散$k$-subsetサンプリングに戻ります。
勾配推定器 SIMPLE は, 最先端推定器と比較して, バイアスやばらつきが低いことを示す。
実験結果から,線形回帰を説明・スパースする学習性能が向上した。
論文 参考訳(メタデータ) (2022-10-04T22:33:16Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳(メタデータ) (2022-06-17T06:10:20Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳(メタデータ) (2020-07-16T06:44:44Z) - Sharp Statistical Guarantees for Adversarially Robust Gaussian
Classification [54.22421582955454]
逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。
結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
論文 参考訳(メタデータ) (2020-06-29T21:06:52Z) - Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。
我々は、測定値の低減を行う降下ステップを適応的に選択する。
これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
論文 参考訳(メタデータ) (2020-06-02T17:52:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。