論文の概要: ELODI: Ensemble Logit Difference Inhibition for Positive-Congruent
Training
- arxiv url: http://arxiv.org/abs/2205.06265v1
- Date: Thu, 12 May 2022 17:59:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-13 13:37:53.709124
- Title: ELODI: Ensemble Logit Difference Inhibition for Positive-Congruent
Training
- Title(参考訳): ELODI:Positive-Congruent Trainingのためのロジット差分抑制
- Authors: Yue Zhao, Yantao Shen, Yuanjun Xiong, Shuo Yang, Wei Xia, Zhuowen Tu,
Bernt Shiele, Stefano Soatto
- Abstract要約: 負のフリップは、レガシーモデルを新しいものに置き換えた場合に、分類システムで発生するエラーである。
本稿では,単一モデルの推論コストにおいて,誤り率とNFRの両方のパフォーマンスをパラゴンで達成する分類システムを訓練する手法を提案する。
- 参考スコア(独自算出の注目度): 94.89729728865507
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Negative flips are errors introduced in a classification system when a legacy
model is replaced with a new one. Existing methods to reduce the negative flip
rate (NFR) either do so at the expense of overall accuracy using model
distillation, or use ensembles, which multiply inference cost prohibitively. We
present a method to train a classification system that achieves paragon
performance in both error rate and NFR, at the inference cost of a single
model. Our method introduces a generalized distillation objective, Logit
Difference Inhibition (LDI), that penalizes changes in the logits between the
new and old model, without forcing them to coincide as in ordinary
distillation. LDI affords the model flexibility to reduce error rate along with
NFR. The method uses a homogeneous ensemble as the reference model for LDI,
hence the name Ensemble LDI, or ELODI. The reference model can then be
substituted with a single model at inference time. The method leverages the
observation that negative flips are typically not close to the decision
boundary, but often exhibit large deviations in the distance among their
logits, which are reduced by ELODI.
- Abstract(参考訳): 負のフリップは、レガシーモデルを新しいものに置き換えた場合に、分類システムで発生するエラーである。
正フリップ率(NFR)を下げる既存の方法は、モデル蒸留による全体的な精度を犠牲にするか、推論コストを禁ずるアンサンブルを使用するかのいずれかである。
本稿では,単一モデルの推論コストにおいて,誤り率とNFRの両方でパラゴン性能を実現する分類システムを訓練する方法を提案する。
本研究では, 一般蒸留目的であるロジット差抑制法(ldi)を導入し, 通常の蒸留法と一致させることなく, 新旧モデル間のロジットの変化をペナライズする。
LDIは、NFRとともにエラー率を減らすためのモデル柔軟性を提供する。
この方法はLDIの参照モデルとして同質アンサンブルを使用するため、Ensemble LDI(ELODI)と呼ばれる。
参照モデルは、推論時に単一のモデルに置換することができる。
この手法では、負のフリップは一般に決定境界に近づかないが、エローディによって減少するロジット間の距離の偏差が大きいという観測を活用している。
関連論文リスト
- Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2024-03-01T03:27:08Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳(メタデータ) (2023-04-10T17:54:38Z) - Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。
異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。
このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
論文 参考訳(メタデータ) (2023-03-30T17:30:42Z) - Stable Target Field for Reduced Variance Score Estimation in Diffusion
Models [5.9115407007859755]
拡散モデルは、固定された前方拡散過程を反転させてサンプルを生成する。
このような分散の源泉は、中間雑音分散スケールの取り扱いにあると論じる。
より安定したトレーニングターゲットとして重み付けされた条件スコアを計算するために使用する参照バッチを組み込むことにより、この問題を修復することを提案する。
論文 参考訳(メタデータ) (2023-02-01T18:57:01Z) - A Data-driven feature selection and machine-learning model benchmark for
the prediction of longitudinal dispersion coefficient [29.58577229101903]
縦方向分散(LD)係数の正確な予測は、関連するシミュレーションにおいて性能の飛躍をもたらすことができる。
本研究では, 蒸留した局所最適値と代表MLモデルとの数値比較により, 大域的最適特徴集合を提案した。
その結果,サポートベクタマシンは他のモデルよりも大幅に性能が向上していることがわかった。
論文 参考訳(メタデータ) (2021-07-16T09:50:38Z) - Churn Reduction via Distillation [54.5952282395487]
本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。
次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
論文 参考訳(メタデータ) (2021-06-04T18:03:31Z) - Autocalibration and Tweedie-dominance for Insurance Pricing with Machine
Learning [0.0]
逸脱の最小化には, 下位部分モーメントの重み付き差分の積分と, 特定のスケールで測定されたバイアスとのトレードオフが伴うことが示された。
バイアスを補正する新しい手法は、分析にさらに局所的なGLMステップを追加する。
凸順序は、競合するモデルを比較する自然なツールであるように見える。
論文 参考訳(メタデータ) (2021-03-05T12:40:30Z) - Positive-Congruent Training: Towards Regression-Free Model Updates [87.25247195148187]
画像分類において、サンプルワイドの不整合は「負のフリップ」として現れる
新しいモデルは、古い(参照)モデルによって正しく分類されたテストサンプルの出力を誤って予測する。
そこで本研究では,PC トレーニングのための簡易なアプローチである Focal Distillation を提案する。
論文 参考訳(メタデータ) (2020-11-18T09:00:44Z) - Counterfactual fairness: removing direct effects through regularization [0.0]
制御ダイレクトエフェクト(CDE)による因果関係を考慮したフェアネスの新たな定義を提案する。
我々は古典的公正度対策に取り組むための正規化を開発し、新しい公正度定義を満たす因果正則化を示す。
その結果,モデル性能を低下させることなく,予測から不公平さを軽減できることが判明した。
論文 参考訳(メタデータ) (2020-02-25T10:13:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。