論文の概要: Loss Function Entropy Regularization for Diverse Decision Boundaries
- arxiv url: http://arxiv.org/abs/2205.00224v1
- Date: Sat, 30 Apr 2022 10:16:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-05 06:18:06.626766
- Title: Loss Function Entropy Regularization for Diverse Decision Boundaries
- Title（参考訳）: 多様な決定境界に対する損失関数エントロピー正規化
- Authors: Chong Sue Sin
- Abstract要約: 損失関数エントロピー正規化(Los Function Entropy Regularization, LFER)は、事前学習および対照的学習目的関数に付加される正規化用語である。
LFERは最先端技術に匹敵する精度を持つアンサンブルを生成できるが、決定境界は様々であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Is it possible to train several classifiers to perform meaningful
crowd-sourcing to produce a better prediction label set without any
ground-truth annotation? In this paper, we will attempt to modify the
contrastive learning objectives to automatically train a self-complementing
ensemble to produce a state-of-the-art prediction on the CIFAR10 and
CIFAR100-20 task. This paper will present a remarkably simple method to modify
a single unsupervised classification pipeline to automatically generate an
ensemble of neural networks with varied decision boundaries to learn a larger
feature set of classes. Loss Function Entropy Regularization (LFER), are
regularization terms to be added upon the pre-training and contrastive learning
objective functions, gives us a gear to modify the entropy state of the output
space of unsupervised learning, thereby diversifying the latent representation
of decision boundaries of neural networks. Ensemble trained with LFER have
higher successful prediction accuracy for samples near decision boundaries.
LFER is a effective gear to perturb decision boundaries, and has proven to be
able to produce classifiers that beat state-of-the-art at contrastive learning
stage. Experiments show that LFER can produce an ensemble where each have
accuracy comparable to the state-of-the-art, yet have each have varied latent
decision boundaries. It allows us to essence perform meaningful verification
for samples near decision boundaries, encouraging correct classification of
near-boundary samples. By compounding the probability of correct prediction of
a single sample amongst an ensemble of neural network trained, our method is
able to improve upon a single classifier by denoising and affirming correct
feature mappings.
- Abstract（参考訳）: 複数の分類器を訓練して有意義なクラウドソーシングを行い、地味なアノテーションなしでより良い予測ラベルを作成することは可能か?
本稿では,コントラスト学習目標を修正し,自己補完アンサンブルの自動学習を行い,cifar10とcifar100-20タスクの最先端予測を生成する。
本稿では,単一教師なし分類パイプラインを改良して,決定境界の異なるニューラルネットワークのアンサンブルを自動生成し,より大規模な特徴集合を学習する,極めて簡単な手法を提案する。
損失関数エントロピー正則化(lfer, loss function entropy regularization)は、事前学習およびコントラスト学習対象関数に付加すべき正規化用語であり、教師なし学習の出力空間のエントロピー状態を変更するためのギアを与え、ニューラルネットワークの判断境界の潜在表現を多様化させる。
lferで訓練されたアンサンブルは、決定境界付近のサンプルの予測精度が高い。
LFERは意思決定境界を乱す効果的な手段であり、対照的な学習段階において最先端技術に勝る分類器を作成できることが証明されている。
実験により、LFERは、それぞれの精度が最先端に匹敵するアンサンブルを生成できるが、それぞれが遅延決定境界を持つことを示す。
これにより、決定境界付近のサンプルに対して有意義な検証を行い、境界近傍のサンプルの正しい分類を奨励することができる。
トレーニングされたニューラルネットワークのアンサンブル内の単一サンプルの正確な予測確率を合成することにより、正しい特徴写像を識別し、確認することにより、単一分類器を改善することができる。
関連論文リスト
- Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。
deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。
カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
論文 参考訳（メタデータ） (2023-07-06T04:13:57Z) - Multi-Head Multi-Loss Model Calibration [13.841172927454204]
我々は,深層アンサンブルの訓練と推論に要する費用を省く,単純化されたアンサンブルの形式を導入する。
具体的には、各頭部は、重み付きクロスエントロピー損失を最小限に抑えるために訓練されるが、重みは異なる枝によって異なる。
その結果,2つの挑戦データセットにおいて精度を犠牲にすることなく,精度の高いキャリブレーションを達成できることが示唆された。
論文 参考訳（メタデータ） (2023-03-02T09:32:32Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳（メタデータ） (2022-02-14T16:42:16Z) - Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。
プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。
我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文 参考訳（メタデータ） (2021-10-22T01:55:01Z) - Self-Supervised Learning by Estimating Twin Class Distributions [26.7828253129684]
本稿では,大規模未ラベルデータセットをエンドツーエンドに分類し,自己教師付き表現学習手法TWISTを提案する。
2つの拡張画像の2つのクラス分布を生成するために、ソフトマックス演算で終了するシマセネットワークを用いる。
具体的には、各サンプルの分布のエントロピーを最小化し、各サンプルのクラス予測を行い、平均分布のエントロピーを最大化し、異なるサンプルの予測を多様化させる。
論文 参考訳（メタデータ） (2021-10-14T14:39:39Z) - Discriminative Nearest Neighbor Few-Shot Intent Detection by
Transferring Natural Language Inference [150.07326223077405]
データ不足を緩和するためには、ほとんどショットラーニングが注目を集めている。
深部自己注意を伴う識別的近傍分類を提示する。
自然言語推論モデル(NLI)を変換することで識別能力を高めることを提案する。
論文 参考訳（メタデータ） (2020-10-25T00:39:32Z) - Deep Ordinal Regression with Label Diversity [19.89482062012177]
本稿では,複数の離散データ表現を同時に使用することで,ニューラルネットワーク学習を改善することを提案する。
我々のアプローチはエンドツーエンドで微分可能であり、従来の学習方法への単純な拡張として追加することができる。
論文 参考訳（メタデータ） (2020-06-29T08:23:43Z) - Auto-Ensemble: An Adaptive Learning Rate Scheduling based Deep Learning
Model Ensembling [11.324407834445422]
本稿では,ディープラーニングモデルのチェックポイントを収集し,それらを自動的にアンサンブルする自動アンサンブル(AE)を提案する。
この手法の利点は、一度のトレーニングで学習率をスケジューリングすることで、モデルを様々な局所最適化に収束させることである。
論文 参考訳（メタデータ） (2020-03-25T08:17:31Z) - Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。
任意の関数に対するランダム化スムージングの統一的なビューを示す。
本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
論文 参考訳（メタデータ） (2020-02-07T21:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。