論文の概要: An hybrid stochastic Newton algorithm for logistic regression

• arxiv url: http://arxiv.org/abs/2512.01790v1
• Date: Mon, 01 Dec 2025 15:27:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.925833
• Title: An hybrid stochastic Newton algorithm for logistic regression
• Title（参考訳）: ロジスティック回帰のためのハイブリッド確率ニュートンアルゴリズム
• Authors: Bernard Bercu, Luis Fredes, Eméric Gbaguidi,
• Abstract要約: 我々はヘッセン行列推定における2つの重み付け成分を含む新しいハイブリッドニュートンアルゴリズムを利用する。 累積余剰リスクのほぼ確実に収束することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we investigate a second-order stochastic algorithm for solving large-scale binary classification problems. We propose to make use of a new hybrid stochastic Newton algorithm that includes two weighted components in the Hessian matrix estimation: the first one coming from the natural Hessian estimate and the second associated with the stochastic gradient information. Our motivation comes from the fact that both parts evaluated at the true parameter of logistic regression, are equal to the Hessian matrix. This new formulation has several advantages and it enables us to prove the almost sure convergence of our stochastic algorithm to the true parameter. Moreover, we significantly improve the almost sure rate of convergence to the Hessian matrix. Furthermore, we establish the central limit theorem for our hybrid stochastic Newton algorithm. Finally, we show a surprising result on the almost sure convergence of the cumulative excess risk.
• Abstract（参考訳）: 本稿では,大規模二項分類問題を解くための2階確率アルゴリズムについて検討する。 本稿では,Hessian行列推定における2つの重み付き成分を含むハイブリッド確率ニュートンアルゴリズムを提案する。 我々の動機は、ロジスティック回帰の真のパラメータで評価された両方の部分がヘッセン行列と等しいという事実から来ている。 この新たな定式化にはいくつかの利点があり、確率的アルゴリズムの真パラメータへのほぼ確実に収束を証明できる。 さらに、ヘッセン行列へのほぼ確実な収束率を大幅に改善する。 さらに、ハイブリッド確率ニュートンアルゴリズムの中央極限定理を確立する。 最後に,累積余剰リスクのほぼ確実に収束することを示す。

関連論文リスト

• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Unified Convergence Theory of Stochastic and Variance-Reduced Cubic Newton Methods [37.1630298053787]
  我々はヘルパーフレームワークと呼ばれる新しいフレームワークを提案する。 グローバルな複雑性保証を備えた分散アルゴリズムと二階アルゴリズムの統一的なビューを提供する。
  論文  参考訳（メタデータ） (2023-02-23T12:18:28Z)
• Robust empirical risk minimization via Newton's method [9.797319790710711]
  実験的リスク最小化のためのニュートン法の新しい変種について検討した。 目的関数の勾配と Hessian は、ロバストな推定器に置き換えられる。 また,共役勾配法に基づくニュートン方向のロバストな解を求めるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-30T18:54:54Z)
• Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
  滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。 漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-06-17T06:10:20Z)
• Hessian Averaging in Stochastic Newton Methods Achieves Superlinear Convergence [69.65563161962245]
  ニュートン法を用いて,滑らかで強凸な目的関数を考える。 最適段階において局所収束に遷移する普遍重み付き平均化スキームが存在することを示す。
  論文  参考訳（メタデータ） (2022-04-20T07:14:21Z)
• A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
  均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。 提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:51:10Z)
• Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update [88.73437209862891]
  2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。 本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。 ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
  論文  参考訳（メタデータ） (2021-07-15T17:33:05Z)
• Stochastic Hamiltonian Gradient Methods for Smooth Games [51.47367707388402]
  ハミルトンの手法のクラスに焦点をあて、滑らかなゲームのあるクラスに対する最初の収束保証を提供する。 最適化文献からのツールを用いて、SHGDは勾配の近傍に直線的に収束することを示す。 この結果から,一般ゲームのクラスに対して,非漸近的でない最後の収束保証を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-08T15:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。