論文の概要: Low Complexity Approximate Bayesian Logistic Regression for Sparse Online Learning

• arxiv url: http://arxiv.org/abs/2101.12113v1
• Date: Thu, 28 Jan 2021 16:59:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-01-31 18:07:05.617815
• Title: Low Complexity Approximate Bayesian Logistic Regression for Sparse Online Learning
• Title（参考訳）: スパースオンライン学習における低複雑性近似ベイズロジスティック回帰
• Authors: Gil I. Shamir and Wojciech Szpankowski
• Abstract要約: 本稿では,粗いオンラインロジスティックおよびプロビット回帰に対する解析近似を提案する。 変分推論や他の手法とは異なり、本手法は解析的閉形式を用いる。
• 参考スコア（独自算出の注目度）: 7.741539072749043
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Theoretical results show that Bayesian methods can achieve lower bounds on regret for online logistic regression. In practice, however, such techniques may not be feasible especially for very large feature sets. Various approximations that, for huge sparse feature sets, diminish the theoretical advantages, must be used. Often, they apply stochastic gradient methods with hyper-parameters that must be tuned on some surrogate loss, defeating theoretical advantages of Bayesian methods. The surrogate loss, defined to approximate the mixture, requires techniques as Monte Carlo sampling, increasing computations per example. We propose low complexity analytical approximations for sparse online logistic and probit regressions. Unlike variational inference and other methods, our methods use analytical closed forms, substantially lowering computations. Unlike dense solutions, as Gaussian Mixtures, our methods allow for sparse problems with huge feature sets without increasing complexity. With the analytical closed forms, there is also no need for applying stochastic gradient methods on surrogate losses, and for tuning and balancing learning and regularization hyper-parameters. Empirical results top the performance of the more computationally involved methods. Like such methods, our methods still reveal per feature and per example uncertainty measures.
• Abstract（参考訳）: 理論的には、ベイズ法はオンラインロジスティック回帰に対する後悔の限界を低くすることができる。 しかし実際には、このようなテクニックは特に大きな機能セットでは実現できないかもしれない。 膨大なスパース特徴集合に対して、理論上の利点を減少させる様々な近似を用いる必要がある。 しばしば、超パラメータを持つ確率勾配法を適用し、ある種の代理損失を調整し、ベイズ法の理論上の優位性を破る。 混合を近似するために定義されるサロゲート損失はモンテカルロサンプリングのような手法を必要とし、例えば計算量を増加させる。 疎度なオンラインロジスティックおよびプロビット回帰に対する低複雑性解析近似を提案する。 変分推論や他の手法とは異なり, 解析的閉形式を用い, 計算量を大幅に減少させる。 Gaussian Mixturesのような密なソリューションとは異なり、私たちのメソッドは複雑さを増すことなく巨大な機能セットでスパース問題を可能にします。 解析的閉形式を用いることで、確率勾配法をサロゲート損失に適用したり、学習と正規化ハイパーパラメータのチューニングとバランスをとる必要もない。 実験結果は、より計算にかかわる手法のパフォーマンスを上回ります。 このような手法と同様に、我々の手法も特徴や例による不確かさの度合いを明らかにしている。

関連論文リスト

• Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
  機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。 非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
  論文  参考訳（メタデータ） (2024-08-20T19:06:02Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Sparse Bayesian Learning for Complex-Valued Rational Approximations [0.03392423750246091]
  サロゲートモデルは、エンジニアリングタスクの計算負担を軽減するために使用される。 これらのモデルは入力パラメータに強い非線形依存を示す。 合理的近似にスパース学習アプローチを適用する。
  論文  参考訳（メタデータ） (2022-06-06T12:06:13Z)
• On efficient algorithms for computing near-best polynomial approximations to high-dimensional, Hilbert-valued functions from limited samples [1.0650780147044159]
  スパース近似は、限られたサンプルから滑らかで高次元の関数を近似するのに欠かせないものとなっている。 本稿では,指数的あるいは代数的収束率を主張するアルゴリズムと理論的保証と,サンプリング,アルゴリズム的,物理的離散化誤差に対する頑健性を紹介する。
  論文  参考訳（メタデータ） (2022-03-25T20:56:07Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Deep learning: a statistical viewpoint [120.94133818355645]
  ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。 特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。 我々はこれらの現象を具体的原理で補うと推測する。
  論文  参考訳（メタデータ） (2021-03-16T16:26:36Z)
• Effective Proximal Methods for Non-convex Non-smooth Regularized Learning [27.775096437736973]
  独立サンプリング方式は、一般に使用されている一様サンプリング方式の性能を向上させる傾向にあることを示す。 我々の新しい分析は、サンプリングの速度が今までで最高のものより速いことも示しています。
  論文  参考訳（メタデータ） (2020-09-14T16:41:32Z)
• Unified Analysis of Stochastic Gradient Methods for Composite Convex and Smooth Optimization [15.82816385434718]
  本稿では、滑らかで凸な損失と凸正則化器を最小化するための勾配アルゴリズムの収束解析のための統一定理を提案する。 我々は、Gorbunov, Hanzely & Richt'arik (2020) の統一解析を拡張し、損失関数が強く凸であるという要求を下げる。 我々の統一解析は、近位SGD、分散還元法、量子化、およびいくつかの座標降下型法などの既存のアルゴリズムのホストに適用できる。
  論文  参考訳（メタデータ） (2020-06-20T13:40:27Z)
• Detangling robustness in high dimensions: composite versus model-averaged estimation [11.658462692891355]
  ロバスト法は、実際にはユビキタスであるが、正規化推定や高次元の文脈ではまだ完全には理解されていない。 本稿では,これらの設定におけるロバスト性をさらに研究し,予測に焦点を当てたツールボックスを提供する。
  論文  参考訳（メタデータ） (2020-06-12T20:40:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。