論文の概要: ELODI: Ensemble Logit Difference Inhibition for Positive-Congruent Training

• arxiv url: http://arxiv.org/abs/2205.06265v3
• Date: Sat, 20 Apr 2024 23:40:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 01:49:47.027241
• Title: ELODI: Ensemble Logit Difference Inhibition for Positive-Congruent Training
• Title（参考訳）: ELODI:Positive-Congruent Trainingのためのロジット差分抑制
• Authors: Yue Zhao, Yantao Shen, Yuanjun Xiong, Shuo Yang, Wei Xia, Zhuowen Tu, Bernt Schiele, Stefano Soatto,
• Abstract要約: 負のフリップ率(NFR)を減少させる既存の方法は、新しいモデルに古いモデルを模倣させたり、アンサンブルを使用したりすることで、全体的な精度を犠牲にしている。 我々は、NFRの低減におけるアンサンブルの役割を分析し、通常決定境界に近くない負のフリップを取り除くことを観察する。 本稿では,誤り率とNFRの両方でパラゴン性能を実現する分類システムを訓練するためのELODI(Ensemble Logit Difference Inhibition)を提案する。
• 参考スコア（独自算出の注目度）: 110.52785254565518
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Negative flips are errors introduced in a classification system when a legacy model is updated. Existing methods to reduce the negative flip rate (NFR) either do so at the expense of overall accuracy by forcing a new model to imitate the old models, or use ensembles, which multiply inference cost prohibitively. We analyze the role of ensembles in reducing NFR and observe that they remove negative flips that are typically not close to the decision boundary, but often exhibit large deviations in the distance among their logits. Based on the observation, we present a method, called Ensemble Logit Difference Inhibition (ELODI), to train a classification system that achieves paragon performance in both error rate and NFR, at the inference cost of a single model. The method distills a homogeneous ensemble to a single student model which is used to update the classification system. ELODI also introduces a generalized distillation objective, Logit Difference Inhibition (LDI), which only penalizes the logit difference of a subset of classes with the highest logit values. On multiple image classification benchmarks, model updates with ELODI demonstrate superior accuracy retention and NFR reduction.
• Abstract（参考訳）: 負のフリップ(負のフリップ)は、レガシーモデルが更新されたときに分類システムで導入されたエラーである。 既存の負のフリップ率(NFR)を減らす方法は、新しいモデルに古いモデルを模倣させたり、推論コストを禁ずるアンサンブルを使ったりすることで、全体的な精度を犠牲にしている。 我々は、NFRの減少におけるアンサンブルの役割を分析し、通常決定境界に近くない負のフリップを除去するが、ロジット間の距離に大きな偏差を示すことが多いことを観察する。 本研究は,誤差率とNFRの両方でパラゴン性能を実現する分類システムを,単一モデルの推論コストで訓練する手法であるELODI(Ensemble Logit Difference Inhibition)を提案する。 この方法は、分類システムを更新するために使用される単一学生モデルに均質なアンサンブルを蒸留する。 ELODIはまた、最大ロジット値を持つクラスのサブセットのロジット差のみを罰する一般化された蒸留目標であるロジット差分抑制(LDI)も導入している。 複数の画像分類ベンチマークでは、ELODIによるモデル更新により、精度の保持とNFRの低減が向上した。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Bias Mitigating Few-Shot Class-Incremental Learning [17.185744533050116]
  クラス増分学習は,限定された新規クラスサンプルを用いて,新規クラスを継続的に認識することを目的としている。 最近の手法では,段階的なセッションで特徴抽出器を微調整することにより,ベースクラスとインクリメンタルクラスの精度の不均衡を緩和している。 本研究では,FSCIL問題におけるモデルバイアスを緩和する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-01T10:37:41Z)
• Regularizing with Pseudo-Negatives for Continual Self-Supervised Learning [62.40718385934608]
  効果的な継続型自己教師型学習(CSSL)のためのPNR(Pseudo-Negative Regularization)フレームワークを提案する。 我々のPNRは,新たに学習した表現が過去の学習と矛盾しないように,モデルに基づく拡張によって得られた擬陰性情報を活用する。
  論文  参考訳（メタデータ） (2023-06-08T10:59:35Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Churn Reduction via Distillation [54.5952282395487]
  本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。 次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
  論文  参考訳（メタデータ） (2021-06-04T18:03:31Z)
• Positive-Congruent Training: Towards Regression-Free Model Updates [87.25247195148187]
  画像分類において、サンプルワイドの不整合は「負のフリップ」として現れる 新しいモデルは、古い(参照)モデルによって正しく分類されたテストサンプルの出力を誤って予測する。 そこで本研究では,PC トレーニングのための簡易なアプローチである Focal Distillation を提案する。
  論文  参考訳（メタデータ） (2020-11-18T09:00:44Z)
• Counterfactual fairness: removing direct effects through regularization [0.0]
  制御ダイレクトエフェクト(CDE)による因果関係を考慮したフェアネスの新たな定義を提案する。 我々は古典的公正度対策に取り組むための正規化を開発し、新しい公正度定義を満たす因果正則化を示す。 その結果,モデル性能を低下させることなく,予測から不公平さを軽減できることが判明した。
  論文  参考訳（メタデータ） (2020-02-25T10:13:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。