論文の概要: Multinomial Logistic Regression Algorithms via Quadratic Gradient

• arxiv url: http://arxiv.org/abs/2208.06828v2
• Date: Wed, 29 Mar 2023 12:10:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-30 18:52:12.548219
• Title: Multinomial Logistic Regression Algorithms via Quadratic Gradient
• Title（参考訳）: 二次勾配による多項ロジスティック回帰アルゴリズム
• Authors: John Chiang
• Abstract要約: 本稿では,Adagrad法を高速化する適応勾配アルゴリズム(Adagrad)を提案する。 我々は、いくつかのマルチクラスプロブレムデータセット上で、拡張NAG法と拡張Adagrad法をテストする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multinomial logistic regression, also known by other names such as multiclass logistic regression and softmax regression, is a fundamental classification method that generalizes binary logistic regression to multiclass problems. A recently work proposed a faster gradient called $\texttt{quadratic gradient}$ that can accelerate the binary logistic regression training, and presented an enhanced Nesterov's accelerated gradient (NAG) method for binary logistic regression. In this paper, we extend this work to multiclass logistic regression and propose an enhanced Adaptive Gradient Algorithm (Adagrad) that can accelerate the original Adagrad method. We test the enhanced NAG method and the enhanced Adagrad method on some multiclass-problem datasets. Experimental results show that both enhanced methods converge faster than their original ones respectively.
• Abstract（参考訳）: 多項ロジスティック回帰(multinomial logistic regression)または多項ロジスティック回帰(multiclass logistic regression)、ソフトマックス回帰(softmax regression)は、二項ロジスティック回帰を多クラス問題に一般化する基本的な分類法である。 最近の研究では、二進ロジスティック回帰トレーニングを加速できる$\texttt{quadratic gradient}$と呼ばれるより高速な勾配を提案し、二進ロジスティック回帰のための強化ネステロフ加速勾配(nag)法を提案した。 本稿では,本手法を多クラスロジスティック回帰に拡張し,元のアダグラード法を高速化する拡張適応勾配アルゴリズム(adagrad)を提案する。 我々は、いくつかのマルチクラスプロブレムデータセット上で、拡張NAG法と拡張Adagrad法をテストする。 実験の結果, 2つの改良手法はそれぞれ, 元の手法よりも高速に収束することがわかった。

関連論文リスト

• MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.47014540413659]
  Adam、Adam、およびそれらの変種のような大規模な勾配アルゴリズムは、この種のトレーニングの開発の中心となっている。 本稿では,事前条件付き勾配最適化手法と,スケールドモーメント手法による分散低減を両立させる枠組みを提案する。
  論文  参考訳（メタデータ） (2024-11-15T18:57:39Z)
• Optimal lower bounds for logistic log-likelihoods [1.3124513975412255]
  ロジット変換は、おそらく線形設定を超えて最も広く採用されているリンク関数である。 2次よりも鋭い接する下界が、結果として生じるマイノライザーのトラクタビリティを損なうことなく導出できるかどうかはまだ分かっていない。 本稿は、新しい2次下界の設計と研究を通じて、このような挑戦的な問題に対処する。
  論文  参考訳（メタデータ） (2024-10-14T09:09:33Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Gradient Descent Converges Linearly for Logistic Regression on Separable Data [17.60502131429094]
  変動学習率による勾配勾配降下は損失$f(x) leq 1.1 cdot f(x*) + epsilon$ロジスティック回帰目標を示す。 また、ロジスティックなレグレッションを緩やかなレグレッションに適用し、スペルシ・エラーのトレードオフを指数関数的に改善する。
  論文  参考訳（メタデータ） (2023-06-26T02:15:26Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Privacy-Preserving Logistic Regression Training with A Faster Gradient Variant [0.0]
  プライバシー保護のロジスティック回帰トレーニングのために、$quadratic$ $gradient$と呼ばれる効率的な勾配を導入する。 実験結果から,改良アルゴリズムは収束速度を大幅に向上することが示された。 二次勾配法は、一階勾配降下法と二階ニュートン・ラフソン法を統合できる可能性が高い。
  論文  参考訳（メタデータ） (2022-01-26T09:44:13Z)
• Human Pose Regression with Residual Log-likelihood Estimation [48.30425850653223]
  本稿では,Residual Log-likelihood Estimation (RLE) を用いた新たな回帰パラダイムを提案する。 RLEは、トレーニングプロセスを容易にするために、未参照の基盤となる分布ではなく、分布の変化を学習する。 従来の回帰パラダイムと比較して、RLEによる回帰はテスト時間オーバーヘッドを伴わずに、MSCOCOに12.4mAPの改善をもたらす。
  論文  参考訳（メタデータ） (2021-07-23T15:06:31Z)
• Fast Margin Maximization via Dual Acceleration [52.62944011696364]
  指数関数的尾の損失を持つ線形分類器を訓練するための運動量に基づく手法を提案し,解析する。 この運動量に基づく法は、最大マルジン問題の凸双対、特にこの双対にネステロフ加速度を適用することによって導出される。
  論文  参考訳（メタデータ） (2021-07-01T16:36:39Z)
• Robust Regression Revisited: Acceleration and Improved Estimation Rates [25.54653340884806]
  強い汚染モデルの下で, 統計的回帰問題に対する高速アルゴリズムについて検討する。 目的は、逆向きに破損したサンプルを与えられた一般化線形モデル(GLM)を概ね最適化することである。 実行時や推定保証が改善された頑健な回帰問題に対して,ほぼ直線的な時間アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:21:56Z)
• PIANO: A Fast Parallel Iterative Algorithm for Multinomial and Sparse Multinomial Logistic Regression [0.0]
  PIANOはスパース多項ロジスティック回帰問題を解くために容易に拡張可能であることを示す。 また, PIANO が多項系およびスパース多項系ロジスティック回帰問題の定常点に収束することが証明された。
  論文  参考訳（メタデータ） (2020-02-21T05:15:48Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。