Fugu-MT 論文翻訳(概要): A termination criterion for stochastic gradient descent for binary classification

論文の概要: A termination criterion for stochastic gradient descent for binary classification

arxiv url: http://arxiv.org/abs/2003.10312v1
Date: Mon, 23 Mar 2020 15:00:21 GMT
ステータス: 処理完了
システム内更新日: 2022-12-21 00:33:39.926890
Title: A termination criterion for stochastic gradient descent for binary classification
Title（参考訳）: 二元分類における確率的勾配降下の終了基準
Authors: Sina Baghal, Courtney Paquette, Stephen A. Vavasis
Abstract要約: そこで本研究では, ステップサイズ勾配勾配定位のための新しい, 単純で, 安価に終了試験を提案する。実験の終了回数が有限であることを示すとともに,データ中のノイズが大きすぎると,終了時の予測分類器が誤分類の確率を最小化することを示す。
参考スコア（独自算出の注目度）: 3.216356957608319
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a new, simple, and computationally inexpensive termination test for constant step-size stochastic gradient descent (SGD) applied to binary classification on the logistic and hinge loss with homogeneous linear predictors. Our theoretical results support the effectiveness of our stopping criterion when the data is Gaussian distributed. This presence of noise allows for the possibility of non-separable data. We show that our test terminates in a finite number of iterations and when the noise in the data is not too large, the expected classifier at termination nearly minimizes the probability of misclassification. Finally, numerical experiments indicate for both real and synthetic data sets that our termination test exhibits a good degree of predictability on accuracy and running time.
Abstract（参考訳）: 等質線形予測器を用いたロジスティックおよびヒンジ損失の2値分類に適用し, 定常的なステップサイズ確率勾配勾配(SGD)に対する新しい, 単純で, 計算コストのかかる終了試験を提案する。この理論結果は,ガウス分布における停止基準の有効性を裏付けるものである。このノイズの存在は、非分離データの可能性を可能にする。実験の終了回数が有限であることを示すとともに,データ中のノイズが大きすぎると,終了時の予測分類器が誤分類の確率を最小化することを示す。最後に, 数値実験により, 終端試験が精度および走行時間に有意な予測可能性を示す実データと合成データの両方を示す。

関連論文リスト

Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
論文参考訳（メタデータ） (2024-03-18T05:49:45Z)
Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
勾配アルゴリズムは線形系を解くのに有効な方法である。最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
論文参考訳（メタデータ） (2023-06-20T15:07:37Z)
Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文参考訳（メタデータ） (2022-11-30T05:33:29Z)
Theoretical characterization of uncertainty in high-dimensional linear classification [24.073221004661427]
本研究では,高次元入力データとラベルの限られたサンプル数から学習する不確実性が,近似メッセージパッシングアルゴリズムによって得られることを示す。我々は,信頼度を適切に正則化することで緩和する方法について論じるとともに,損失に対するクロスバリデーションが0/1誤差よりもキャリブレーションが優れていることを示す。
論文参考訳（メタデータ） (2022-02-07T15:32:07Z)
On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。理論的にも経験的にも二重降下現象を観察する。
論文参考訳（メタデータ） (2021-10-13T17:47:39Z)
Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文参考訳（メタデータ） (2021-08-25T21:30:27Z)
Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文参考訳（メタデータ） (2021-07-05T21:05:11Z)
High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文参考訳（メタデータ） (2021-06-28T00:17:01Z)
Estimation and Applications of Quantiles in Deep Binary Classification [0.0]
チェック損失に基づく量子回帰は統計学において広く使われている推論パラダイムである。二項分類設定におけるチェック損失の類似について考察する。我々は、予測が信頼できるかどうかを判断するために使用できる個別信頼度スコアを開発する。
論文参考訳（メタデータ） (2021-02-09T07:07:42Z)
Finite-sample Analysis of Interpolating Linear Classifiers in the Overparameterized Regime [16.1176305285103]
2クラス線形分類における最大マージンアルゴリズムの集団リスクに関するバウンダリを証明した。誤分類ノイズを含むランダムデータに適用したこのアルゴリズムを解析する。
論文参考訳（メタデータ） (2020-04-25T00:06:18Z)
Double Trouble in Double Descent : Bias and Variance(s) in the Lazy Regime [32.65347128465841]
深層ニューラルネットワークは、トレーニングデータを完璧に補間しながら、素晴らしいパフォーマンスを達成することができる。バイアス分散トレードオフのU曲線ではなく、テストエラーはしばしば「二重降下」に従う。我々は、ニューラルネットワークのいわゆる遅延学習システムにおいて、この現象の定量的理論を開発する。
論文参考訳（メタデータ） (2020-03-02T17:39:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。