Fugu-MT 論文翻訳(概要): Trade-offs in Top-k Classification Accuracies on Losses for Deep Learning

論文の概要: Trade-offs in Top-k Classification Accuracies on Losses for Deep Learning

arxiv url: http://arxiv.org/abs/2007.15359v1
Date: Thu, 30 Jul 2020 10:18:57 GMT
ステータス: 処理完了
システム内更新日: 2022-11-05 13:22:50.675422
Title: Trade-offs in Top-k Classification Accuracies on Losses for Deep Learning
Title（参考訳）: ディープラーニングの損失に関するトップk分類精度のトレードオフ
Authors: Azusa Sawada, Eiji Kaneko, Kazutoshi Sagi
Abstract要約: クロスエントロピー(CE)は、無限のトレーニングデータとモデル複雑さなしでトップk予測を最適化することを保証されていない。私たちの新しい損失は、基本的にCEが1つのクラスとして時間的トップkクラスをグループ化することで修正されます。我々の損失は、CEが10より大きい場合に比べて、上位kの精度が良いことが判明した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper presents an experimental analysis about trade-offs in top-k classification accuracies on losses for deep leaning and proposal of a novel top-k loss. Commonly-used cross entropy (CE) is not guaranteed to optimize top-k prediction without infinite training data and model complexities. The objective is to clarify when CE sacrifices top-k accuracies to optimize top-1 prediction, and to design loss that improve top-k accuracy under such conditions. Our novel loss is basically CE modified by grouping temporal top-k classes as a single class. To obtain a robust decision boundary, we introduce an adaptive transition from normal CE to our loss, and thus call it top-k transition loss. It is demonstrated that CE is not always the best choice to learn top-k prediction in our experiments. First, we explore trade-offs between top-1 and top-k (=2) accuracies on synthetic datasets, and find a failure of CE in optimizing top-k prediction when we have complex data distribution for a given model to represent optimal top-1 prediction. Second, we compare top-k accuracies on CIFAR-100 dataset targeting top-5 prediction in deep learning. While CE performs the best in top-1 accuracy, in top-5 accuracy our loss performs better than CE except using one experimental setup. Moreover, our loss has been found to provide better top-k accuracies compared to CE at k larger than 10. As a result, a ResNet18 model trained with our loss reaches 99 % accuracy with k=25 candidates, which is a smaller candidate number than that of CE by 8.
Abstract（参考訳）: 本稿では,トップk分類精度におけるトレードオフが深い傾きの損失と新しいトップk損失の提案に与える影響を実験的に分析する。一般的なクロスエントロピー(CE)は、無限のトレーニングデータやモデル複雑さなしでトップk予測を最適化することが保証されていない。 CEはトップ1予測を最適化するためにトップ1精度を犠牲にしていつトップ1精度を向上させるかを明らかにする。我々の新しい損失は、基本的にceを1つのクラスとして時間的トップkクラスをグループ化することで修正する。堅牢な決定境界を得るためには、通常のCEから損失への適応的な遷移を導入し、トップk遷移損失と呼ぶ。実験の結果,CEは必ずしもトップk予測を学習する最善の選択肢ではないことがわかった。まず, 合成データセットにおけるtop-1とtop-k(=2)のトレードオフについて検討し, 最適top-1予測を表すモデルに対する複雑なデータ分布が存在する場合のtop-k予測の最適化においてceの失敗を見出す。第2に、ディープラーニングにおけるtop-5予測をターゲットとしたcifar-100データセットのtop-kアキュラリティを比較する。 CEはトップ1の精度で最善を尽くすが、トップ5の精度では、CEよりも損失が良い。また,10より大きいkではceよりも高いtop-k accuraciesが得られている。その結果、損失でトレーニングされたResNet18モデルは、k=25の候補で99%の精度に達し、CEの候補数よりも8。

関連論文リスト

Aligning GPTRec with Beyond-Accuracy Goals with Reinforcement Learning [67.71952251641545]
GPTRecはアイテム・バイ・イテムレコメンデーションのためのTop-Kモデルの代替品である。 GPTRecは,従来のグリーディ・リグレード手法よりも精度とセカンダリ・メトリクスのトレードオフが優れていることを示す。 2つのデータセットに対する実験により、GPTRecのNext-K生成アプローチは、古典的なグリージーな再ランク技術よりも精度と二次メトリクスのトレードオフが優れていることが示された。
論文参考訳（メタデータ） (2024-03-07T19:47:48Z)
Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文参考訳（メタデータ） (2023-03-25T08:56:21Z)
A Case Study on the Classification of Lost Circulation Events During Drilling using Machine Learning Techniques on an Imbalanced Large Dataset [0.0]
イランのアザデガン油田から得られた65,000以上のデータと階級不均衡問題を利用する。データセットの17のパラメータのうち11は、5つの失われた循環イベントの分類に使用される。分類モデルを生成するために,6つの基本機械学習アルゴリズムと4つのアンサンブル学習手法を用いた。
論文参考訳（メタデータ） (2022-09-04T12:28:40Z)
Optimizing Partial Area Under the Top-k Curve: Theory and Practice [151.5072746015253]
トップk曲線下部分領域(AUTKC)と呼ばれる新しい計量法を開発した。 AUTKCはより優れた識別能力を持ち、ベイズ最適スコア関数は条件付き確率に対して正しいトップKランクを与えることができる。提案手法を最適化するために,実証的なサロゲートリスク最小化フレームワークを提案する。
論文参考訳（メタデータ） (2022-09-03T11:09:13Z)
Differentiable Top-k Classification Learning [29.75063301688965]
単一 k を使わずに、複数の k に対してモデルを同時に最適化する。緩和kは, 上位5の精度向上だけでなく, 上位1の精度向上につながることがわかった。
論文参考訳（メタデータ） (2022-06-15T04:13:59Z)
ADT-SSL: Adaptive Dual-Threshold for Semi-Supervised Learning [68.53717108812297]
Semi-Supervised Learning (SSL)は、ラベル付きデータとラベルなしデータを併用してモデルをトレーニングすることで、高度な分類タスクを実現している。本稿では,半教師付き学習(ADT-SSL)のための適応的デュアル閾値法を提案する。実験の結果,提案したADT-SSLは最先端の分類精度を実現することがわかった。
論文参考訳（メタデータ） (2022-05-21T11:52:08Z)
GSC Loss: A Gaussian Score Calibrating Loss for Deep Learning [16.260520216972854]
ディープニューラルネットワーク(DNN)が生み出す予測スコアを校正するために,一般ガウススコア校正(GSC)損失を提案する。 10以上のベンチマークデータセットに対する大規模な実験は、提案されたGSC損失が、さまざまな視覚的タスクにおいて一貫した、重要なパフォーマンス向上をもたらすことを実証している。
論文参考訳（メタデータ） (2022-03-02T02:52:23Z)
Stochastic smoothing of the top-K calibrated hinge loss for deep imbalanced classification [8.189630642296416]
トップK損失に関する最近の進展にインスパイアされたトップKヒンジ損失を導入する。提案手法は,フレキシブルな"摂動"フレームワーク上に構築されたトップK演算子の平滑化に基づいている。我々の損失関数は、バランスの取れたデータセットの場合において非常によく機能し、計算時間もかなり少ないことを示します。
論文参考訳（メタデータ） (2022-02-04T15:39:32Z)
Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
論文参考訳（メタデータ） (2021-05-16T09:13:56Z)
Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization [62.8384110757689]
ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。 7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
論文参考訳（メタデータ） (2020-10-11T13:19:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。