論文の概要: Mini-batch Estimation for Deep Cox Models: Statistical Foundations and Practical Guidance
- arxiv url: http://arxiv.org/abs/2408.02839v2
- Date: Thu, 09 Oct 2025 20:35:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 00:38:44.791465
- Title: Mini-batch Estimation for Deep Cox Models: Statistical Foundations and Practical Guidance
- Title（参考訳）: 深部コックスモデルのミニバッチ推定:統計的基礎と実践的ガイダンス
- Authors: Lang Zeng, Weijing Tang, Zhao Ren, Ying Ding,
- Abstract要約: 勾配降下(SGD)は、ディープコックスニューラルネットワーク(Cox-NN)の最適化に広く用いられている。
SGDは, 従来の部分的類似度とは異なるミニバッチ部分類似度の平均を最適化することを目的としている。
我々は,Cox-NN の mb-MPLE が一貫したものであり,最大最小収束率をポリ対数係数まで達成できることを確認した。
- 参考スコア（独自算出の注目度）: 7.0241507849464675
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The stochastic gradient descent (SGD) algorithm has been widely used to optimize deep Cox neural network (Cox-NN) by updating model parameters using mini-batches of data. We show that SGD aims to optimize the average of mini-batch partial-likelihood, which is different from the standard partial-likelihood. This distinction requires developing new statistical properties for the global optimizer, namely, the mini-batch maximum partial-likelihood estimator (mb-MPLE). We establish that mb-MPLE for Cox-NN is consistent and achieves the optimal minimax convergence rate up to a polylogarithmic factor. For Cox regression with linear covariate effects, we further show that mb-MPLE is $\sqrt{n}$-consistent and asymptotically normal with asymptotic variance approaching the information lower bound as batch size increases, which is confirmed by simulation studies. Additionally, we offer practical guidance on using SGD, supported by theoretical analysis and numerical evidence. For Cox-NN, we demonstrate that the ratio of the learning rate to the batch size is critical in SGD dynamics, offering insight into hyperparameter tuning. For Cox regression, we characterize the iterative convergence of SGD, ensuring that the global optimizer, mb-MPLE, can be approximated with sufficiently many iterations. Finally, we demonstrate the effectiveness of mb-MPLE in a large-scale real-world application where the standard MPLE is intractable.
- Abstract（参考訳）: 確率勾配勾配勾配法(SGD)アルゴリズムは、ミニバッチデータを用いてモデルパラメータを更新することにより、ディープコックスニューラルネットワーク(Cox-NN)の最適化に広く用いられている。
SGDは, 従来の部分的類似度とは異なるミニバッチ部分類似度の平均を最適化することを目的としている。
この区別は、グローバルオプティマイザのための新しい統計特性、すなわち、ミニバッチ最大部分類似度推定器(mb-MPLE)を開発する必要がある。
我々は,Cox-NN の mb-MPLE が一貫したものであり,最大最小収束率をポリ対数係数まで達成できることを確認した。
線形共変量効果を持つコックス回帰では、mb-MPLE が $\sqrt{n}$-consistent であり、漸近的に正規であり、バッチサイズの増加とともに下限に近づく漸近的分散は、シミュレーション研究によって確認される。
さらに,理論解析と数値的証拠によって支援されたSGDの使用に関する実践的なガイダンスを提供する。
Cox-NNの場合、SGD力学では学習率とバッチサイズとの比が重要であり、ハイパーパラメータチューニングの洞察を提供する。
Cox回帰では、SGDの反復収束を特徴付け、グローバルオプティマイザ mb-MPLE が十分に多くのイテレーションで近似できることを保証する。
最後に, mb-MPLE の有効性を実世界の大規模アプリケーションに適用し, 標準の MPLE を抽出可能であることを示す。
関連論文リスト
- Comparison of the Cox proportional hazards model and Random Survival Forest algorithm for predicting patient-specific survival probabilities in clinical trial data [0.0]
コックス比例ハザードモデルはしばしば、ランダム化制御試験(RCT)における時間-時間結果のモデル開発に使用される。
ランダムサバイバルフォレスト(RSF)は、高い予測性能で知られている機械学習アルゴリズムである。
我々は,実世界とシミュレーションデータにおけるCox回帰とRCFの予測性能を比較するために,包括的中性比較研究を行う。
論文 参考訳（メタデータ） (2025-02-05T12:26:43Z) - On the Convergence of DP-SGD with Adaptive Clipping [56.24689348875711]
勾配クリッピングによるグラディエントDescentは、微分プライベート最適化を実現するための強力な技術である。
本稿では,量子クリッピング(QC-SGD)を用いたSGDの総合収束解析について述べる。
本稿では,QC-SGDが一定閾値クリッピングSGDに類似したバイアス問題にどのように悩まされているかを示す。
論文 参考訳（メタデータ） (2024-12-27T20:29:47Z) - Deep Partially Linear Transformation Model for Right-Censored Survival Data [9.991327369572819]
本稿では,推定,推測,予測のための汎用かつ柔軟なフレームワークとして,深部部分線形変換モデル(DPLTM)を提案する。
総合シミュレーション研究は、推定精度と予測パワーの両方の観点から提案手法の優れた性能を示す。
論文 参考訳（メタデータ） (2024-12-10T15:50:43Z) - Efficient adjustment for complex covariates: Gaining efficiency with
DOPE [56.537164957672715]
共変量によって表現される情報のサブセットを調整可能なフレームワークを提案する。
理論的な結果に基づいて,平均処理効果(ATE)の効率的な評価を目的とした,デバイアスドアウトカム適応確率推定器(DOPE)を提案する。
その結果,DOPE は様々な観測環境において ATE 推定のための効率的かつ堅牢な手法を提供することがわかった。
論文 参考訳（メタデータ） (2024-02-20T13:02:51Z) - Bayesian Optimization through Gaussian Cox Process Models for
Spatio-temporal Data [27.922624489449017]
本稿ではガウスコックス過程の後方推定を新たに提案する。
さらに、効率的な計算のためのNystr"om近似を開発した。
論文 参考訳（メタデータ） (2024-01-25T22:26:15Z) - A Specialized Semismooth Newton Method for Kernel-Based Optimal
Transport [92.96250725599958]
カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。
SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
論文 参考訳（メタデータ） (2023-10-21T18:48:45Z) - Robust Stochastic Optimization via Gradient Quantile Clipping [6.2844649973308835]
グラディエントDescent(SGD)のための量子クリッピング戦略を導入する。
通常のクリッピングチェーンとして、グラデーション・ニュー・アウトリージを使用します。
本稿では,Huberiles を用いたアルゴリズムの実装を提案する。
論文 参考訳（メタデータ） (2023-09-29T15:24:48Z) - Efficient Private SCO for Heavy-Tailed Data via Averaged Clipping [40.69950711262191]
我々は、差分プライベート(DP)を保証する重み付きデータに対する差分プライベート凸最適化について検討する。
我々は,制約付きおよび制約なし凸問題に対するAClipped-dpSGDというアルゴリズムに対して,新たな収束結果を確立し,複雑性境界を改善した。
論文 参考訳（メタデータ） (2022-06-27T01:39:15Z) - Gaussian Process Inference Using Mini-batch Stochastic Gradient Descent:
Convergence Guarantees and Empirical Benefits [21.353189917487512]
勾配降下(SGD)とその変種は、機械学習問題のアルゴリズムとして確立されている。
我々は、最小バッチSGDが全ログ類似損失関数の臨界点に収束することを証明して一歩前進する。
我々の理論的な保証は、核関数が指数的あるいは固有デカイを示すことを前提としている。
論文 参考訳（メタデータ） (2021-11-19T22:28:47Z) - Differentially private training of neural networks with Langevin
dynamics forcalibrated predictive uncertainty [58.730520380312676]
その結果,DP-SGD(差分偏差勾配勾配勾配勾配勾配)は,低校正・過信深層学習モデルが得られることがわかった。
これは、医療診断など、安全クリティカルな応用にとって深刻な問題である。
論文 参考訳（メタデータ） (2021-07-09T08:14:45Z) - Exploring the Uncertainty Properties of Neural Networks' Implicit Priors
in the Infinite-Width Limit [47.324627920761685]
我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。
これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。
また,従来のNNGPを用いた分類手法の校正について検討した。
論文 参考訳（メタデータ） (2020-10-14T18:41:54Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z) - Adaptive Learning of the Optimal Batch Size of SGD [52.50880550357175]
本稿では,その繰り返しを通じて最適なバッチサイズを適応的に学習し,凸度と滑らかな関数を求める手法を提案する。
実験では、合成データと実データを用いて、ほぼ最適な振る舞いを示す。
我々は,本手法を分散実装に適したサンプリングを含む,文献上考慮されていないいくつかの新しいバッチ戦略に一般化する。
論文 参考訳（メタデータ） (2020-05-03T14:28:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。