論文の概要: Efficient Logistic Regression with Mixture of Sigmoids
- arxiv url: http://arxiv.org/abs/2604.02920v1
- Date: Fri, 03 Apr 2026 09:36:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-06 17:20:24.434177
- Title: Efficient Logistic Regression with Mixture of Sigmoids
- Title（参考訳）: シグモイドの混合による効率的なロジスティック回帰
- Authors: Federico Di Gennaro, Saptarshi Chakraborty, Nikita Zhivotovskiy,
- Abstract要約: この結果から,EW に対する$O(dlog(Bn))$,$O(B3 n5)$が最短計算量で達成できることが示唆された。
この結果から,オンライン分類において,EWは計算処理が可能であり,幾何学的に適応可能であることがわかった。
- 参考スコア（独自算出の注目度）: 15.14559143371469
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: This paper studies the Exponential Weights (EW) algorithm with an isotropic Gaussian prior for online logistic regression. We show that the near-optimal worst-case regret bound $O(d\log(Bn))$ for EW, established by Kakade and Ng (2005) against the best linear predictor of norm at most $B$, can be achieved with total worst-case computational complexity $O(B^3 n^5)$. This substantially improves on the $O(B^{18}n^{37})$ complexity of prior work achieving the same guarantee (Foster et al., 2018). Beyond efficiency, we analyze the large-$B$ regime under linear separability: after rescaling by $B$, the EW posterior converges as $B\to\infty$ to a standard Gaussian truncated to the version cone. Accordingly, the predictor converges to a solid-angle vote over separating directions and, on every fixed-margin slice of this cone, the mode of the corresponding truncated Gaussian is aligned with the hard-margin SVM direction. Using this geometry, we derive non-asymptotic regret bounds showing that once $B$ exceeds a margin-dependent threshold, the regret becomes independent of $B$ and grows only logarithmically with the inverse margin. Overall, our results show that EW can be both computationally tractable and geometrically adaptive in online classification.
- Abstract（参考訳）: 本稿では,オンラインロジスティック回帰に先立って,等方性ガウスを用いた指数重み付きアルゴリズムについて検討する。
ここでは,Kakade と Ng (2005) によって確立された EW に対する最良線形予測器に対して,最良値の最小値 ($O(d\log(Bn))$) の最小値 ($O(B^3 n^5)$) の最小値 ($O(B^3 n^5)$) の最小値 ($O(B^3 n^5)$) で達成できることを示す。
これは、同じ保証を達成する前の作業の複雑さを$O(B^{18}n^{37})$で大幅に改善する(Foster et al , 2018)。
効率性以外にも、線形分離性の下では、大きな$B$レジームを解析する:$B$で再スケーリングした後、EW後続は$B\to\infty$として収束し、バージョンコーンにtruncatedされた標準ガウス形式に収束する。
したがって、予測器は、分離方向よりも固角投票に収束し、このコーンの固定マージンスライス毎に、対応するトランケートされたガウスのモードは、ハードマージンSVM方向と整合する。
この幾何学を用いて、B$が利得依存しきい値を超えると、後悔はB$とは独立になり、逆マージンと対数的にしか成長しないことを示す非漸近的後悔境界を導出する。
以上の結果から,オンライン分類において,EWは計算処理が可能であり,幾何学的に適応可能であることが示唆された。
関連論文リスト
- Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Anchor-MoE: A Mean-Anchored Mixture of Experts For Probabilistic Regression [0.0]
本稿では,確率的および点回帰の両方を扱うAnchored Mixture of Experts (Anchor-MoE)モデルを提案する。
Anchor-MoE がminimax-optimal $L2$ risk rate を達成することを示す。
RMSEとNLLの強いNGベースラインと一貫して一致または超える。
論文 参考訳（メタデータ） (2025-08-22T21:12:41Z) - Convergence Rate Analysis of LION [54.28350823319057]
LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。
従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
論文 参考訳（メタデータ） (2024-11-12T11:30:53Z) - Nonasymptotic Analysis of Stochastic Gradient Descent with the Richardson-Romberg Extrapolation [22.652143194356864]
本研究では, 勾配勾配勾配(SGD)を一定のステップサイズで解くことで, 密接な凸と滑らかな問題を解く問題に対処する。
得られた推定子の平均二乗誤差を、反復数$n$に対して拡張する。
我々の分析は、時相マルコフ連鎖と見なされるSGDの特性に依存している。
論文 参考訳（メタデータ） (2024-10-07T15:02:48Z) - Bounding the Width of Neural Networks via Coupled Initialization -- A
Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。
また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文 参考訳（メタデータ） (2022-06-26T06:51:31Z) - Optimal Online Generalized Linear Regression with Stochastic Noise and
Its Application to Heteroscedastic Bandits [88.6139446295537]
一般化線形モデルの設定におけるオンライン一般化線形回帰の問題について検討する。
ラベルノイズに対処するため、古典的追従正規化リーダ(FTRL)アルゴリズムを鋭く解析する。
本稿では,FTRLに基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-02-28T08:25:26Z) - Thinking Outside the Ball: Optimal Learning with Gradient Descent for
Generalized Linear Stochastic Convex Optimization [37.177329562964765]
我々は凸リプシッツ損失を伴う線形予測、あるいはより一般に一般化線型形式の凸最適化問題を考える。
この設定では、初期反復が明示的な正規化や投影を伴わずにグラディエント Descent (GD) を停止し、過大なエラーを最大$epsilon$で保証することを示した。
しかし、標準球における一様収束は、$Theta (1/epsilon4)$サンプルを用いた最適下界学習を保証できることを示しているが、分布依存球における一様収束に依存している。
論文 参考訳（メタデータ） (2022-02-27T09:41:43Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳（メタデータ） (2021-02-06T15:05:14Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。