論文の概要: RankMixup: Ranking-Based Mixup Training for Network Calibration
- arxiv url: http://arxiv.org/abs/2308.11990v1
- Date: Wed, 23 Aug 2023 08:25:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-24 15:05:38.327834
- Title: RankMixup: Ranking-Based Mixup Training for Network Calibration
- Title（参考訳）: RankMixup: ネットワーク校正のためのランキングベースの混合トレーニング
- Authors: Jongyoun Noh, Hyekang Park, Junghyup Lee and Bumsub Ham
- Abstract要約: ネットワークキャリブレーションは、信頼度を正確に見積もることを目的としている。
最近のアプローチでは、ミックスアップを利用してトレーニング中のネットワークの予測を調整している。
RankMixupは、ネットワークキャリブレーションのための新しいミックスアップベースのフレームワークである。
- 参考スコア（独自算出の注目度）: 29.994235475637435
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Network calibration aims to accurately estimate the level of confidences,
which is particularly important for employing deep neural networks in
real-world systems. Recent approaches leverage mixup to calibrate the network's
predictions during training. However, they do not consider the problem that
mixtures of labels in mixup may not accurately represent the actual
distribution of augmented samples. In this paper, we present RankMixup, a novel
mixup-based framework alleviating the problem of the mixture of labels for
network calibration. To this end, we propose to use an ordinal ranking
relationship between raw and mixup-augmented samples as an alternative
supervisory signal to the label mixtures for network calibration. We
hypothesize that the network should estimate a higher level of confidence for
the raw samples than the augmented ones (Fig.1). To implement this idea, we
introduce a mixup-based ranking loss (MRL) that encourages lower confidences
for augmented samples compared to raw ones, maintaining the ranking
relationship. We also propose to leverage the ranking relationship among
multiple mixup-augmented samples to further improve the calibration capability.
Augmented samples with larger mixing coefficients are expected to have higher
confidences and vice versa (Fig.1). That is, the order of confidences should be
aligned with that of mixing coefficients. To this end, we introduce a novel
loss, M-NDCG, in order to reduce the number of misaligned pairs of the
coefficients and confidences. Extensive experimental results on standard
benchmarks for network calibration demonstrate the effectiveness of RankMixup.
- Abstract（参考訳）: ネットワークキャリブレーションは信頼性のレベルを正確に推定することを目的としており、これは現実世界のシステムでディープニューラルネットワークを使用する上で特に重要である。
最近のアプローチではmixupを利用してトレーニング中のネットワークの予測を校正している。
しかし、ミックスアップ中のラベルの混合が実際のサンプルの分布を正確に表現できないという問題は考慮されていない。
本稿では,ネットワークキャリブレーションのためのラベルの混合問題を緩和する新しいミックスアップベースのフレームワークであるrankmixupを提案する。
そこで本研究では,ネットワークキャリブレーションのためのラベル混合に対する代替監督信号として,生試料と混合試料の順序ランキング関係を用いることを提案する。
本論では, ネットワークは, 改良されたサンプルよりも高い信頼度を推定すべきであると仮定する(第1図)。
この考え方を実現するため,混合型ランキング損失 (MRL) を導入し, 改良標本に対する信頼度を生品と比較して低くし, ランキング関係を維持した。
また,複数のミキサアップ強化試料のランク付け関係を利用してキャリブレーション性能を向上させることを提案する。
混合係数が大きい増量試料は信頼性が高く、その逆も期待されている(第1図)。
すなわち、信頼の順序は混合係数の順序と一致すべきである。
この目的のために,係数と信頼度の不一致ペア数を減少させるために,新たな損失であるM-NDCGを導入する。
ネットワークキャリブレーションの標準ベンチマークに関する広範囲な実験結果がrankmixupの有効性を示している。
関連論文リスト
- SUMix: Mixup with Semantic and Uncertain Information [41.99721365685618]
混合データ拡張アプローチは、ディープラーニングの様々なタスクに応用されている。
そこで我々は,SUMix という新しい手法を提案し,混合率と混合試料の不確かさを学習する。
論文 参考訳（メタデータ） (2024-07-10T16:25:26Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - Adversarial AutoMixup [50.1874436169571]
本稿では,AdAutomixupを提案する。
画像分類のための堅牢な分類器を訓練するために、挑戦的なサンプルを生成する。
本手法は, 様々な分類シナリオにおいて, 技術状況に優れる。
論文 参考訳（メタデータ） (2023-12-19T08:55:00Z) - Tailoring Mixup to Data for Calibration [12.050401897136501]
Mixupはキャリブレーションと予測の不確実性を改善する技術である。
この研究では、データ間の距離が混合されるにつれて、多様体の侵入の可能性が増加することを論じる。
本研究では, 混合する試料間の類似度に応じて, 係数の基底分布を動的に変化させることを提案する。
論文 参考訳（メタデータ） (2023-11-02T17:48:28Z) - Semantic Equivariant Mixup [54.734054770032934]
Mixupは、トレーニング分布を拡張し、ニューラルネットワークを正規化する、確立されたデータ拡張テクニックである。
以前のミックスアップの変種はラベル関連の情報に過度に焦点をあてる傾向がある。
入力中のよりリッチな意味情報を保存するための意味的同変混合(sem)を提案する。
論文 参考訳（メタデータ） (2023-08-12T03:05:53Z) - C-Mixup: Improving Generalization in Regression [71.10418219781575]
混合アルゴリズムは、一対の例とその対応するラベルを線形補間することによって一般化を改善する。
ラベルの類似度に基づいてサンプリング確率を調整するC-Mixupを提案する。
C-Mixupは6.56%、4.76%、5.82%の改善、タスクの一般化、アウト・オブ・ディストリビューションの堅牢性を実現している。
論文 参考訳（メタデータ） (2022-10-11T20:39:38Z) - RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and
Out Distribution Robustness [94.69774317059122]
学習目的として使うのではなく、標準のクロスエントロピー損失に対する追加の正則化剤として利用すれば、良好なミックスアップの有効性がさらに向上できることが示される。
この単純な変更は、精度を大幅に改善するだけでなく、Mixupの予測不確実性推定の品質を大幅に改善する。
論文 参考訳（メタデータ） (2022-06-29T09:44:33Z) - Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated
Label Mixing [104.630875328668]
ミックスアップスキームは、強化されたトレーニングサンプルを作成するために、サンプルのペアを混ぜることを提案する。
両世界のベストを捉えた、斬新だがシンプルなミックスアップ版を提示する。
論文 参考訳（メタデータ） (2021-12-16T11:27:48Z) - An Empirical Study of the Effects of Sample-Mixing Methods for Efficient
Training of Generative Adversarial Networks [0.0]
生成敵対ネットワーク(GAN)のトレーニングは、発電機が高品質のサンプルを提供する前に巨大なイテレーションを必要とすることがよく知られています。
本研究では, この問題を緩和するために, 試料混合法であるMixup, CutMix, SRMixの効果を検討した。
論文 参考訳（メタデータ） (2021-04-08T06:40:23Z) - When and How Mixup Improves Calibration [19.11486078732542]
多くの機械学習アプリケーションでは、モデルが予測の不確実性を正確に把握する信頼スコアを提供することが重要である。
本論文では,Mixupが2つの自然データモデルを用いてテキスト次元設定のキャリブレーションを改善することを理論的に証明する。
ラベルのないデータを組み込むことでモデルの校正が低下することもあるが、ミックスアップトレーニングを追加することで校正が改善される。
論文 参考訳（メタデータ） (2021-02-11T22:24:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。