論文の概要: Optimizing Cox Models with Stochastic Gradient Descent: Theoretical Foundations and Practical Guidances
- arxiv url: http://arxiv.org/abs/2408.02839v1
- Date: Mon, 5 Aug 2024 21:25:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-07 15:28:57.194799
- Title: Optimizing Cox Models with Stochastic Gradient Descent: Theoretical Foundations and Practical Guidances
- Title（参考訳）: 確率的グラディエントDescentによるコックスモデルの最適化 -理論的基礎と実践的ガイダンス-
- Authors: Lang Zeng, Weijing Tang, Zhao Ren, Ying Ding,
- Abstract要約: 勾配降下(SGD)は、最近Coxモデルの最適化に適応した。
本研究では,SGD推定器がバッチサイズ依存の目的関数を対象とすることを示す。
SGDアプリケーションでバッチサイズを選択するためのガイダンスを提供する。
- 参考スコア（独自算出の注目度）: 9.745755948802499
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optimizing Cox regression and its neural network variants poses substantial computational challenges in large-scale studies. Stochastic gradient descent (SGD), known for its scalability in model optimization, has recently been adapted to optimize Cox models. Unlike its conventional application, which typically targets a sum of independent individual loss, SGD for Cox models updates parameters based on the partial likelihood of a subset of data. Despite its empirical success, the theoretical foundation for optimizing Cox partial likelihood with SGD is largely underexplored. In this work, we demonstrate that the SGD estimator targets an objective function that is batch-size-dependent. We establish that the SGD estimator for the Cox neural network (Cox-NN) is consistent and achieves the optimal minimax convergence rate up to a polylogarithmic factor. For Cox regression, we further prove the $\sqrt{n}$-consistency and asymptotic normality of the SGD estimator, with variance depending on the batch size. Furthermore, we quantify the impact of batch size on Cox-NN training and its effect on the SGD estimator's asymptotic efficiency in Cox regression. These findings are validated by extensive numerical experiments and provide guidance for selecting batch sizes in SGD applications. Finally, we demonstrate the effectiveness of SGD in a real-world application where GD is unfeasible due to the large scale of data.
- Abstract（参考訳）: Coxレグレッションの最適化とそのニューラルネットワークのバリエーションは、大規模研究において重大な計算上の課題を生じさせる。
モデル最適化におけるスケーラビリティで知られている確率勾配勾配勾配(SGD)は、最近Coxモデルの最適化に適応した。
通常独立した個人損失の総和を対象とする従来のアプリケーションとは異なり、SGD for Cox モデルはデータのサブセットの部分的確率に基づいてパラメータを更新する。
実証的な成功にもかかわらず、CoxをSGDに最適化する理論的基礎は、ほとんど未発見である。
本研究では,SGD推定器がバッチサイズ依存の目的関数を対象とすることを示す。
我々は、コックスニューラルネットワーク(Cox-NN)のSGD推定器が一貫したものであり、最適最小収束率をポリ対数因子まで達成することを確認した。
Cox回帰については、SGD推定器の$\sqrt{n}$-consistencyと漸近正規性をさらに証明し、バッチサイズによって異なる。
さらに、バッチサイズがCox-NNトレーニングに与える影響と、Cox回帰におけるSGD推定器の漸近効率に与える影響を定量化する。
これらの知見は、広範囲な数値実験により検証され、SGDアプリケーションにおけるバッチサイズを選択するためのガイダンスを提供する。
最後に,大規模データによりGDが実現不可能な実世界のアプリケーションにおいて,SGDの有効性を実証する。
関連論文リスト
- Efficient adjustment for complex covariates: Gaining efficiency with
DOPE [56.537164957672715]
共変量によって表現される情報のサブセットを調整可能なフレームワークを提案する。
理論的な結果に基づいて,平均処理効果(ATE)の効率的な評価を目的とした,デバイアスドアウトカム適応確率推定器(DOPE)を提案する。
その結果,DOPE は様々な観測環境において ATE 推定のための効率的かつ堅牢な手法を提供することがわかった。
論文 参考訳（メタデータ） (2024-02-20T13:02:51Z) - Bayesian Optimization through Gaussian Cox Process Models for
Spatio-temporal Data [27.922624489449017]
本稿ではガウスコックス過程の後方推定を新たに提案する。
さらに、効率的な計算のためのNystr"om近似を開発した。
論文 参考訳（メタデータ） (2024-01-25T22:26:15Z) - A Specialized Semismooth Newton Method for Kernel-Based Optimal
Transport [92.96250725599958]
カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。
SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
論文 参考訳（メタデータ） (2023-10-21T18:48:45Z) - Robust Stochastic Optimization via Gradient Quantile Clipping [6.2844649973308835]
グラディエントDescent(SGD)のための量子クリッピング戦略を導入する。
通常のクリッピングチェーンとして、グラデーション・ニュー・アウトリージを使用します。
本稿では,Huberiles を用いたアルゴリズムの実装を提案する。
論文 参考訳（メタデータ） (2023-09-29T15:24:48Z) - Efficient Private SCO for Heavy-Tailed Data via Averaged Clipping [40.69950711262191]
我々は、差分プライベート(DP)を保証する重み付きデータに対する差分プライベート凸最適化について検討する。
我々は,制約付きおよび制約なし凸問題に対するAClipped-dpSGDというアルゴリズムに対して,新たな収束結果を確立し,複雑性境界を改善した。
論文 参考訳（メタデータ） (2022-06-27T01:39:15Z) - Gaussian Process Inference Using Mini-batch Stochastic Gradient Descent:
Convergence Guarantees and Empirical Benefits [21.353189917487512]
勾配降下(SGD)とその変種は、機械学習問題のアルゴリズムとして確立されている。
我々は、最小バッチSGDが全ログ類似損失関数の臨界点に収束することを証明して一歩前進する。
我々の理論的な保証は、核関数が指数的あるいは固有デカイを示すことを前提としている。
論文 参考訳（メタデータ） (2021-11-19T22:28:47Z) - Differentially private training of neural networks with Langevin
dynamics forcalibrated predictive uncertainty [58.730520380312676]
その結果,DP-SGD(差分偏差勾配勾配勾配勾配勾配)は,低校正・過信深層学習モデルが得られることがわかった。
これは、医療診断など、安全クリティカルな応用にとって深刻な問題である。
論文 参考訳（メタデータ） (2021-07-09T08:14:45Z) - Exploring the Uncertainty Properties of Neural Networks' Implicit Priors
in the Infinite-Width Limit [47.324627920761685]
我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。
これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。
また,従来のNNGPを用いた分類手法の校正について検討した。
論文 参考訳（メタデータ） (2020-10-14T18:41:54Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z) - Adaptive Learning of the Optimal Batch Size of SGD [52.50880550357175]
本稿では,その繰り返しを通じて最適なバッチサイズを適応的に学習し,凸度と滑らかな関数を求める手法を提案する。
実験では、合成データと実データを用いて、ほぼ最適な振る舞いを示す。
我々は,本手法を分散実装に適したサンプリングを含む,文献上考慮されていないいくつかの新しいバッチ戦略に一般化する。
論文 参考訳（メタデータ） (2020-05-03T14:28:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。