論文の概要: A Log-linear Gradient Descent Algorithm for Unbalanced Binary
Classification using the All Pairs Squared Hinge Loss
- arxiv url: http://arxiv.org/abs/2302.11062v1
- Date: Tue, 21 Feb 2023 23:35:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-23 16:43:27.202332
- Title: A Log-linear Gradient Descent Algorithm for Unbalanced Binary
Classification using the All Pairs Squared Hinge Loss
- Title（参考訳）: 全対二乗ヒンジ損失を用いた非平衡二分分類のための対線形勾配降下アルゴリズム
- Authors: Kyle R. Rust and Toby D. Hocking
- Abstract要約: 本稿では,2乗損失と2乗損失の関数表現を新たに提案し,線形時間あるいは対数線形時間で勾配を計算するアルゴリズムを提案する。
我々の新しいアルゴリズムは、以前のアルゴリズムよりも不均衡なデータセットのAUC値が高く、以前よりも大きなバッチサイズを利用できる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Receiver Operating Characteristic (ROC) curves are plots of true positive
rate versus false positive rate which are used to evaluate binary
classification algorithms. Because the Area Under the Curve (AUC) is a constant
function of the predicted values, learning algorithms instead optimize convex
relaxations which involve a sum over all pairs of labeled positive and negative
examples. Naive learning algorithms compute the gradient in quadratic time,
which is too slow for learning using large batch sizes. We propose a new
functional representation of the square loss and squared hinge loss, which
results in algorithms that compute the gradient in either linear or log-linear
time, and makes it possible to use gradient descent learning with large batch
sizes. In our empirical study of supervised binary classification problems, we
show that our new algorithm can achieve higher test AUC values on imbalanced
data sets than previous algorithms, and make use of larger batch sizes than
were previously feasible.
- Abstract（参考訳）: 受信者動作特性(roc)曲線は、バイナリ分類アルゴリズムの評価に用いられる真正率と偽正率のプロットである。
曲線(auc)の下の領域は予測値の定数関数であるため、学習アルゴリズムは代わりにラベル付き正および負の例のすべての対の和を含む凸緩和を最適化する。
ネイブラーニングアルゴリズムは2次時間で勾配を計算するが、これは大きなバッチサイズで学習するには遅すぎる。
本稿では,2乗損失と2乗損失の関数表現を新たに提案し,線形あるいは対数直線時間で勾配を計算し,大きなバッチサイズで勾配降下学習を行うアルゴリズムを提案する。
教師付きバイナリ分類問題に関する実証研究において,本アルゴリズムは従来のアルゴリズムよりも不均衡データセットで高いテスト auc 値を達成し,従来よりも大きなバッチサイズを活用できることを示した。
関連論文リスト
- Efficient line search for optimizing Area Under the ROC Curve in gradient descent [2.094821665776961]
偽陰性率と偽陰性率のAUM(Area Under Min)の分別線形/定数特性について検討した。
降下段階毎に最適な学習率を選択するための,新しい効率的な経路追従アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-11T08:59:06Z) - A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent [57.64826450787237]
本研究では, 分散勾配降下アルゴリズムの挙動を, 敵対的腐敗の有無で解析する方法を示す。
汚職耐性の分散最適化アルゴリズムを設計するために、(怠慢な)ミラー降下からアイデアをどう使うかを示す。
MNISTデータセットの線形回帰、サポートベクトル分類、ソフトマックス分類に基づく実験は、我々の理論的知見を裏付けるものである。
論文 参考訳（メタデータ） (2024-07-19T08:29:12Z) - Learning the Positions in CountSketch [49.57951567374372]
本稿では,まずランダムなスケッチ行列に乗じてデータを圧縮し,最適化問題を高速に解くスケッチアルゴリズムについて検討する。
本研究では,ゼロでないエントリの位置を最適化する学習ベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-11T07:28:35Z) - Online Learning Under A Separable Stochastic Approximation Framework [20.26530917721778]
分離可能な近似フレームワークを用いて,機械学習モデルのクラスに対するオンライン学習アルゴリズムを提案する。
提案アルゴリズムは,他の一般的な学習アルゴリズムと比較して,より堅牢でテスト性能が高いことを示す。
論文 参考訳（メタデータ） (2023-05-12T13:53:03Z) - Optimizing ROC Curves with a Sort-Based Surrogate Loss Function for
Binary Classification and Changepoint Detection [1.332560004325655]
我々は、Under Min(FP, FN) の略である AUM と呼ばれる新しい凸損失関数を提案する。
新たなAUM学習により,AUCが向上し,従来のベースラインに匹敵する結果が得られた。
論文 参考訳（メタデータ） (2021-07-02T21:21:19Z) - Gradient Boosted Binary Histogram Ensemble for Large-scale Regression [60.16351608335641]
本研究では,2値ヒストグラム分割とアンサンブル学習に基づくテキストグラディエント2値ヒストグラムアンサンブル(GBBHE)と呼ばれる大規模回帰問題に対する勾配向上アルゴリズムを提案する。
実験では, 勾配向上回帰木 (GBRT) などの他の最先端アルゴリズムと比較して, GBBHEアルゴリズムは大規模データセット上での実行時間が少なく, 有望な性能を示す。
論文 参考訳（メタデータ） (2021-06-03T17:05:40Z) - Correcting Momentum with Second-order Information [50.992629498861724]
最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。
我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
論文 参考訳（メタデータ） (2021-03-04T19:01:20Z) - Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。
いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
論文 参考訳（メタデータ） (2021-03-01T08:25:26Z) - Reparametrizing gradient descent [0.0]
本稿では,ノルム適応勾配勾配という最適化アルゴリズムを提案する。
我々のアルゴリズムは準ニュートン法と比較することもできるが、定常点ではなく根を求める。
論文 参考訳（メタデータ） (2020-10-09T20:22:29Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。