論文の概要: EXACT: How to Train Your Accuracy
- arxiv url: http://arxiv.org/abs/2205.09615v1
- Date: Thu, 19 May 2022 15:13:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-20 21:13:44.404546
- Title: EXACT: How to Train Your Accuracy
- Title(参考訳): EXACT: 正確さのトレーニング方法
- Authors: Ivan Karpukhin, Stanislav Dereka, Sergey Kolesnikov
- Abstract要約: 本稿では,モデル出力にアセンシティを導入し,予測精度を最適化することで,新しい最適化フレームワークを提案する。
画像分類実験により,提案手法は広く用いられている分類損失の強力な代替手段であることが示された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Classification tasks are usually evaluated in terms of accuracy. However,
accuracy is discontinuous and cannot be directly optimized using gradient
ascent. Popular methods minimize cross-entropy, Hinge loss, or other surrogate
losses, which can lead to suboptimal results. In this paper, we propose a new
optimization framework by introducing stochasticity to a model's output and
optimizing expected accuracy, i.e. accuracy of the stochastic model. Extensive
experiments on image classification show that the proposed optimization method
is a powerful alternative to widely used classification losses.
- Abstract(参考訳): 分類は通常、正確性の観点から評価される。
しかし、精度は不連続であり、勾配法による直接最適化はできない。
一般的な方法は、クロスエントロピー、ヒンジ損失、その他の代理損失を最小限に抑え、最適以下の結果をもたらす。
本稿では,モデルの出力に確率性を導入し,予測精度,すなわち確率モデルの精度を最適化することで,新しい最適化手法を提案する。
画像分類に関する広範囲な実験により,提案手法は広く用いられている分類損失の強力な代替手段であることが示された。
関連論文リスト
- Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳(メタデータ) (2024-05-29T01:32:17Z) - Sampling from Gaussian Process Posteriors using Stochastic Gradient
Descent [43.097493761380186]
勾配アルゴリズムは線形系を解くのに有効な方法である。
最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。
実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
論文 参考訳(メタデータ) (2023-06-20T15:07:37Z) - Comparison of neural closure models for discretised PDEs [1.9230846600335954]
2つの既存の定理は、その短期的正確性に基づいて、神経閉鎖モデルの長期的正確性についての洞察を与える新しい方法で解釈される。
論文 参考訳(メタデータ) (2022-10-26T12:50:37Z) - DEBOSH: Deep Bayesian Shape Optimization [48.80431740983095]
形状最適化に適した不確実性に基づく新しい手法を提案する。
効果的なBOを可能にし、その結果の形状の質を最先端のアプローチを超えて向上させる。
論文 参考訳(メタデータ) (2021-09-28T11:01:42Z) - From inexact optimization to learning via gradient concentration [22.152317081922437]
本稿では,滑らかな損失関数を持つ線形モデルの文脈における現象について検討する。
本稿では、不正確な最適化と確率論、特に勾配集中のアイデアを組み合わせた証明手法を提案する。
論文 参考訳(メタデータ) (2021-06-09T21:23:29Z) - Evaluating State-of-the-Art Classification Models Against Bayes
Optimality [106.50867011164584]
正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。
われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
論文 参考訳(メタデータ) (2021-06-07T06:21:20Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳(メタデータ) (2020-09-01T19:12:11Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。