Fugu-MT 論文翻訳(概要): Class Interference Regularization

論文の概要: Class Interference Regularization

arxiv url: http://arxiv.org/abs/2009.02396v1
Date: Fri, 4 Sep 2020 21:03:32 GMT
ステータス: 処理完了
システム内更新日: 2022-10-22 02:07:54.365101
Title: Class Interference Regularization
Title（参考訳）: クラス干渉正規化
Authors: Bharti Munjal, Sikandar Amin, Fabio Galasso
Abstract要約: 対照的な損失は、人物の再識別、顔認証、少人数のショットラーニングのための最先端のパフォーマンスをもたらす。我々は,新しい,シンプルで効果的な正規化手法であるクラス干渉正規化(CIR)を提案する。 CIRは、負のクラスの平均埋め込みに向かってランダムに移動することで出力特徴を摂動する。
参考スコア（独自算出の注目度）: 7.248447600071719
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Contrastive losses yield state-of-the-art performance for person re-identification, face verification and few shot learning. They have recently outperformed the cross-entropy loss on classification at the ImageNet scale and outperformed all self-supervision prior results by a large margin (SimCLR). Simple and effective regularization techniques such as label smoothing and self-distillation do not apply anymore, because they act on multinomial label distributions, adopted in cross-entropy losses, and not on tuple comparative terms, which characterize the contrastive losses. Here we propose a novel, simple and effective regularization technique, the Class Interference Regularization (CIR), which applies to cross-entropy losses but is especially effective on contrastive losses. CIR perturbs the output features by randomly moving them towards the average embeddings of the negative classes. To the best of our knowledge, CIR is the first regularization technique to act on the output features. In experimental evaluation, the combination of CIR and a plain Siamese-net with triplet loss yields best few-shot learning performance on the challenging tieredImageNet. CIR also improves the state-of-the-art technique in person re-identification on the Market-1501 dataset, based on triplet loss, and the state-of-the-art technique in person search on the CUHK-SYSU dataset, based on a cross-entropy loss. Finally, on the task of classification CIR performs on par with the popular label smoothing, as demonstrated for CIFAR-10 and -100.
Abstract（参考訳）: 対照的な損失は、人物の再識別、顔認証、ショット学習に最先端のパフォーマンスをもたらす。彼らは最近、ImageNetスケールの分類におけるクロスエントロピー損失を上回り、大きなマージン(SimCLR)による全ての自己超越結果を上回りました。ラベルの平滑化や自己蒸留といった単純かつ効果的な正則化技術は、多項ラベル分布に作用し、クロスエントロピー損失に適応し、対照的な損失を特徴付けるタプル比較項には適用されないため、もはや適用されない。本稿では, クロスエントロピー損失に適用できる新しい, 単純かつ効果的な正規化手法であるクラス干渉正規化(CIR)を提案するが, 対照的な損失に対して特に有効である。 CIRは、負のクラスの平均埋め込みに向かってランダムに移動することで出力特徴を摂動する。我々の知る限りでは、CIRは出力機能に作用する最初の正規化技術である。実験的評価では、cirと三重項損失を持つ平ジームネットの組み合わせは、挑戦的な階層イメージネット上で最善のマイナショット学習性能をもたらす。 CIRはまた、三重項損失に基づくMarket-1501データセットの個人識別における最先端技術と、クロスエントロピー損失に基づくCUHK-SYSUデータセットの個人検索における最先端技術を改善した。最後に, CIFAR-10 や CIFAR-100 で示されるように, CIR の分類作業は, ラベルスムース化と同等である。

関連論文リスト

A Unified Contrastive Loss for Self-Training [3.3454373538792552]
自己学習法は、半教師あり学習において、豊富なラベルのないデータを利用するのに有効であることが証明されている。本稿では,CE損失の全ての事例を一意の対照的な損失に置き換える,自己学習手法を強化するための一般的な枠組みを提案する。私たちのフレームワークは,ラベル付きデータに制限のある3つのデータセットに対して,大幅なパフォーマンス向上を実現しています。
論文参考訳（メタデータ） (2024-09-11T14:22:41Z)
EnsLoss: Stochastic Calibrated Loss Ensembles for Preventing Overfitting in Classification [1.3778851745408134]
経験的リスク最小化フレームワーク内で損失関数を結合する新しいアンサンブル手法,すなわちEnsLossを提案する。まず、損失のCC条件を損失導関数に変換し、明示的な損失関数の必要性を回避した。理論的には、我々のアプローチの統計的一貫性を確立し、その利点に関する洞察を提供する。
論文参考訳（メタデータ） (2024-09-02T02:40:42Z)
Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning [42.14439854721613]
本稿では,クラス増分学習シナリオに特化して,ベイズ学習駆動型コントラスト損失(BLCL)を持つプロトタイプネットワークを提案する。提案手法は,ベイズ学習手法を用いて,クロスエントロピーとコントラスト損失関数のバランスを動的に適用する。
論文参考訳（メタデータ） (2024-05-17T19:49:02Z)
CR-SAM: Curvature Regularized Sharpness-Aware Minimization [8.248964912483912]
Sharpness-Aware Minimization (SAM) は,1段階の勾配上昇を近似として,最悪のケース損失を最小限に抑え,一般化性を高めることを目的としている。本稿では,トレーニングとテストセットの両面における損失景観の曲率を正確に測定する正規化ヘッセントレースを提案する。特に、損失景観の過度な非線形性に対抗するために、曲率正規化SAM(CR-SAM)を提案する。
論文参考訳（メタデータ） (2023-12-21T03:46:29Z)
All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
論文参考訳（メタデータ） (2023-05-25T08:19:31Z)
Tuned Contrastive Learning [77.67209954169593]
そこで本研究では,TCL(Tuned Contrastive Learning)損失という,新たなコントラスト損失関数を提案する。 TCLはバッチ内の複数の正と負に一般化し、ハードな正とハードな負の勾配応答を調整および改善するためのパラメータを提供する。我々は、TCLを自己教師付き設定に拡張する方法を示し、それを様々なSOTA自己教師型学習手法と経験的に比較する。
論文参考訳（メタデータ） (2023-05-18T03:26:37Z)
Do Lessons from Metric Learning Generalize to Image-Caption Retrieval? [67.45267657995748]
半ハードな負のトリプルト損失は、スクラッチから最適化されたイメージキャプション検索(ICR)メソッドのデファクト選択となっている。近年のメトリクス学習の進歩により、画像検索や表現学習といったタスクにおいて、三重項損失を上回る新たな損失関数が生まれている。これらの結果は,2つのICR法における3つの損失関数を比較することで,ICRの設定に一般化するかどうかを問う。
論文参考訳（メタデータ） (2022-02-14T15:18:00Z)
Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity [55.29408396918968]
多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
論文参考訳（メタデータ） (2021-12-30T00:27:30Z)
Orthogonal Projection Loss [59.61277381836491]
直交射影損失(OPL)と呼ばれる新しい損失関数を開発する。 OPLは、機能空間におけるクラス内クラスタリングとクラス間分離を直接実施する。 OPLは、慎重な負のマイニングを必要とせず、バッチサイズに敏感であるため、ユニークな利点がある。
論文参考訳（メタデータ） (2021-03-25T17:58:00Z)
A Flatter Loss for Bias Mitigation in Cross-dataset Facial Age Estimation [37.107335288543624]
年齢推定ベンチマークのためのクロスデータセットプロトコルを提唱する。本稿では,ニューラルネットワークのトレーニングに有効な新しい損失関数を提案する。
論文参考訳（メタデータ） (2020-10-20T15:22:29Z)
Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
論文参考訳（メタデータ） (2020-09-08T21:55:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。