論文の概要: Optimizing Cox Models with Stochastic Gradient Descent: Theoretical Foundations and Practical Guidances

• arxiv url: http://arxiv.org/abs/2408.02839v1
• Date: Mon, 5 Aug 2024 21:25:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 15:28:57.194799
• Title: Optimizing Cox Models with Stochastic Gradient Descent: Theoretical Foundations and Practical Guidances
• Title（参考訳）: 確率的グラディエントDescentによるコックスモデルの最適化 -理論的基礎と実践的ガイダンス-
• Authors: Lang Zeng, Weijing Tang, Zhao Ren, Ying Ding,
• Abstract要約: 勾配降下(SGD)は、最近Coxモデルの最適化に適応した。 本研究では,SGD推定器がバッチサイズ依存の目的関数を対象とすることを示す。 SGDアプリケーションでバッチサイズを選択するためのガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 9.745755948802499
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimizing Cox regression and its neural network variants poses substantial computational challenges in large-scale studies. Stochastic gradient descent (SGD), known for its scalability in model optimization, has recently been adapted to optimize Cox models. Unlike its conventional application, which typically targets a sum of independent individual loss, SGD for Cox models updates parameters based on the partial likelihood of a subset of data. Despite its empirical success, the theoretical foundation for optimizing Cox partial likelihood with SGD is largely underexplored. In this work, we demonstrate that the SGD estimator targets an objective function that is batch-size-dependent. We establish that the SGD estimator for the Cox neural network (Cox-NN) is consistent and achieves the optimal minimax convergence rate up to a polylogarithmic factor. For Cox regression, we further prove the $\sqrt{n}$-consistency and asymptotic normality of the SGD estimator, with variance depending on the batch size. Furthermore, we quantify the impact of batch size on Cox-NN training and its effect on the SGD estimator's asymptotic efficiency in Cox regression. These findings are validated by extensive numerical experiments and provide guidance for selecting batch sizes in SGD applications. Finally, we demonstrate the effectiveness of SGD in a real-world application where GD is unfeasible due to the large scale of data.
• Abstract（参考訳）: Coxレグレッションの最適化とそのニューラルネットワークのバリエーションは、大規模研究において重大な計算上の課題を生じさせる。 モデル最適化におけるスケーラビリティで知られている確率勾配勾配勾配(SGD)は、最近Coxモデルの最適化に適応した。 通常独立した個人損失の総和を対象とする従来のアプリケーションとは異なり、SGD for Cox モデルはデータのサブセットの部分的確率に基づいてパラメータを更新する。 実証的な成功にもかかわらず、CoxをSGDに最適化する理論的基礎は、ほとんど未発見である。 本研究では,SGD推定器がバッチサイズ依存の目的関数を対象とすることを示す。 我々は、コックスニューラルネットワーク(Cox-NN)のSGD推定器が一貫したものであり、最適最小収束率をポリ対数因子まで達成することを確認した。 Cox回帰については、SGD推定器の$\sqrt{n}$-consistencyと漸近正規性をさらに証明し、バッチサイズによって異なる。 さらに、バッチサイズがCox-NNトレーニングに与える影響と、Cox回帰におけるSGD推定器の漸近効率に与える影響を定量化する。 これらの知見は、広範囲な数値実験により検証され、SGDアプリケーションにおけるバッチサイズを選択するためのガイダンスを提供する。 最後に,大規模データによりGDが実現不可能な実世界のアプリケーションにおいて,SGDの有効性を実証する。

関連論文リスト

• Comparison of the Cox proportional hazards model and Random Survival Forest algorithm for predicting patient-specific survival probabilities in clinical trial data [0.0]
  コックス比例ハザードモデルはしばしば、ランダム化制御試験(RCT)における時間-時間結果のモデル開発に使用される。 ランダムサバイバルフォレスト(RSF)は、高い予測性能で知られている機械学習アルゴリズムである。 我々は,実世界とシミュレーションデータにおけるCox回帰とRCFの予測性能を比較するために,包括的中性比較研究を行う。
  論文  参考訳（メタデータ） (2025-02-05T12:26:43Z)
• On the Convergence of DP-SGD with Adaptive Clipping [56.24689348875711]
  勾配クリッピングによるグラディエントDescentは、微分プライベート最適化を実現するための強力な技術である。 本稿では,量子クリッピング(QC-SGD)を用いたSGDの総合収束解析について述べる。 本稿では,QC-SGDが一定閾値クリッピングSGDに類似したバイアス問題にどのように悩まされているかを示す。
  論文  参考訳（メタデータ） (2024-12-27T20:29:47Z)
• Deep Partially Linear Transformation Model for Right-Censored Survival Data [9.991327369572819]
  本稿では,推定,推測,予測のための汎用かつ柔軟なフレームワークとして,深部部分線形変換モデル(DPLTM)を提案する。 総合シミュレーション研究は、推定精度と予測パワーの両方の観点から提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-10T15:50:43Z)
• Efficient adjustment for complex covariates: Gaining efficiency with DOPE [56.537164957672715]
  共変量によって表現される情報のサブセットを調整可能なフレームワークを提案する。 理論的な結果に基づいて,平均処理効果(ATE)の効率的な評価を目的とした,デバイアスドアウトカム適応確率推定器(DOPE)を提案する。 その結果,DOPE は様々な観測環境において ATE 推定のための効率的かつ堅牢な手法を提供することがわかった。
  論文  参考訳（メタデータ） (2024-02-20T13:02:51Z)
• Bayesian Optimization through Gaussian Cox Process Models for Spatio-temporal Data [27.922624489449017]
  本稿ではガウスコックス過程の後方推定を新たに提案する。 さらに、効率的な計算のためのNystr"om近似を開発した。
  論文  参考訳（メタデータ） (2024-01-25T22:26:15Z)
• A Specialized Semismooth Newton Method for Kernel-Based Optimal Transport [92.96250725599958]
  カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。 SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-21T18:48:45Z)
• Differentially private training of neural networks with Langevin dynamics forcalibrated predictive uncertainty [58.730520380312676]
  その結果,DP-SGD(差分偏差勾配勾配勾配勾配勾配)は,低校正・過信深層学習モデルが得られることがわかった。 これは、医療診断など、安全クリティカルな応用にとって深刻な問題である。
  論文  参考訳（メタデータ） (2021-07-09T08:14:45Z)
• Exploring the Uncertainty Properties of Neural Networks' Implicit Priors in the Infinite-Width Limit [47.324627920761685]
  我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。 これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。 また,従来のNNGPを用いた分類手法の校正について検討した。
  論文  参考訳（メタデータ） (2020-10-14T18:41:54Z)
• Adaptive Learning of the Optimal Batch Size of SGD [52.50880550357175]
  本稿では,その繰り返しを通じて最適なバッチサイズを適応的に学習し,凸度と滑らかな関数を求める手法を提案する。 実験では、合成データと実データを用いて、ほぼ最適な振る舞いを示す。 我々は,本手法を分散実装に適したサンプリングを含む,文献上考慮されていないいくつかの新しいバッチ戦略に一般化する。
  論文  参考訳（メタデータ） (2020-05-03T14:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。