Fugu-MT 論文翻訳(概要): On the Importance of Firth Bias Reduction in Few-Shot Classification

論文の概要: On the Importance of Firth Bias Reduction in Few-Shot Classification

arxiv url: http://arxiv.org/abs/2110.02529v1
Date: Wed, 6 Oct 2021 06:32:37 GMT
ステータス: 処理完了
システム内更新日: 2021-10-07 14:45:57.196714
Title: On the Importance of Firth Bias Reduction in Few-Shot Classification
Title（参考訳）: マイズショット分類におけるファースバイアス低減の重要性について
Authors: Saba Ghaffari, Ehsan Saleh, David Forsyth and Yu-xiong Wang
Abstract要約: ファースバイアスの低減は、最大同値推定器の小さなサンプルバイアスから、最初のオーダー項$O(N-1)$を除去する。一般的なFirthバイアス低減手法は,多項ロジスティック分類のための均一なクラス割り当て確率の促進に有効であることを示す。
参考スコア（独自算出の注目度）: 11.99987896566975
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Learning accurate classifiers for novel categories from very few examples, known as few-shot image classification, is a challenging task in statistical machine learning and computer vision. The performance in few-shot classification suffers from the bias in the estimation of classifier parameters; however, an effective underlying bias reduction technique that could alleviate this issue in training few-shot classifiers has been overlooked. In this work, we demonstrate the effectiveness of Firth bias reduction in few-shot classification. Theoretically, Firth bias reduction removes the first order term $O(N^{-1})$ from the small-sample bias of the Maximum Likelihood Estimator. Here we show that the general Firth bias reduction technique simplifies to encouraging uniform class assignment probabilities for multinomial logistic classification, and almost has the same effect in cosine classifiers. We derive the optimization objective for Firth penalized multinomial logistic and cosine classifiers, and empirically evaluate that it is consistently effective across the board for few-shot image classification, regardless of (1) the feature representations from different backbones, (2) the number of samples per class, and (3) the number of classes. Finally, we show the robustness of Firth bias reduction, in the case of imbalanced data distribution. Our implementation is available at https://github.com/ehsansaleh/firth_bias_reduction
Abstract（参考訳）: ごく少数の例から、新しいカテゴリの正確な分類器を学習することは、統計的な機械学習とコンピュータビジョンにおいて難しい課題である。少数ショット分類の性能は、分類器パラメータの推定におけるバイアスに苦しむが、少数ショット分類器のトレーニングにおいてこの問題を緩和する効果的なバイアス低減技術が見過ごされている。そこで本研究では,Firth バイアス低減手法の有効性について述べる。理論的には、firthバイアス低減は、最大度推定子の小サンプルバイアスから1次項$o(n^{-1})$を取り除く。本稿では,多項ロジスティック分類における一様クラス割当確率の促進に汎用firthバイアス低減手法を単純化し,コサイン分類器においてほぼ同じ効果を持つことを示す。本研究では,Firthのペナル化多項ロジスティック・コサイン分類器の最適化目標を導出し,(1)異なるバックボーンの特徴表現,(2)クラス毎のサンプル数,(3)クラス数によらず,少数の画像分類において一貫した有効性を実証的に評価した。最後に,不均衡データ分布の場合,firthバイアス低減のロバスト性を示す。私たちの実装はhttps://github.com/ehsansaleh/firth_bias_reductionで利用可能です。

関連論文リスト

Classes Are Not Equal: An Empirical Study on Image Recognition Fairness [100.36114135663836]
我々は,クラスが等しくないことを実験的に証明し,様々なデータセットにまたがる画像分類モデルにおいて,公平性の問題が顕著であることを示した。以上の結果から,モデルでは認識が困難であるクラスに対して,予測バイアスが大きくなる傾向が示唆された。データ拡張および表現学習アルゴリズムは、画像分類のある程度の公平性を促進することにより、全体的なパフォーマンスを向上させる。
論文参考訳（メタデータ） (2024-02-28T07:54:50Z)
Mitigating Word Bias in Zero-shot Prompt-based Classifiers [55.60306377044225]
一致したクラス先行は、オラクルの上界性能と強く相関していることを示す。また,NLPタスクに対するプロンプト設定において,一貫したパフォーマンス向上を示す。
論文参考訳（メタデータ） (2023-09-10T10:57:41Z)
How to Fix a Broken Confidence Estimator: Evaluating Post-hoc Methods for Selective Classification with Deep Neural Networks [1.4502611532302039]
我々は,ロジットの単純な$p$-norm正規化を行い,次に最大ロジットを信頼度推定器とすることで,選択的分類性能が著しく向上することを示した。我々の結果は、分布シフトの下で一貫していることが示されている。
論文参考訳（メタデータ） (2023-05-24T18:56:55Z)
Spuriosity Rankings: Sorting Data to Measure and Mitigate Biases [62.54519787811138]
本稿では,突発的手がかりに依存したモデルバイアスを簡易かつ効果的に測定・緩和する手法を提案する。我々は,解釈可能なネットワークの深部神経的特徴をベースとして,それらのクラス内の画像のランク付けを行う。以上の結果から,素早い特徴依存によるモデルバイアスは,モデルがどのようにトレーニングされたかよりも,モデルがトレーニングされていることの影響がはるかに大きいことが示唆された。
論文参考訳（メタデータ） (2022-12-05T23:15:43Z)
Exploring Category-correlated Feature for Few-shot Image Classification [27.13708881431794]
本稿では,従来の知識として,新しいクラスとベースクラスのカテゴリ相関を探索し,シンプルで効果的な特徴補正手法を提案する。提案手法は, 広く使用されている3つのベンチマークにおいて, 一定の性能向上が得られる。
論文参考訳（メタデータ） (2021-12-14T08:25:24Z)
Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文参考訳（メタデータ） (2021-10-22T01:55:01Z)
Statistical Theory for Imbalanced Binary Classification [8.93993657323783]
最適分類性能は、これまで形式化されていなかったクラス不均衡の特定の性質に依存することを示す。具体的には、一様クラス不均衡と呼ばれる新しいクラス不均衡のサブタイプを提案する。これらの結果は、不均衡二項分類に対する最初の有意義な有限サンプル統計理論のいくつかを提供する。
論文参考訳（メタデータ） (2021-07-05T03:55:43Z)
Improving Classification Accuracy with Graph Filtering [9.153817737157366]
提案されたグラフフィルタリング手法は、平均を維持しながらクラス内分散を減らす効果があることを示した。本手法は一般にすべての分類問題に適用されるが,クラス内ノイズが小さいサンプル選択に大きく影響しうる場合において特に有用である。
論文参考訳（メタデータ） (2021-01-12T22:51:55Z)
Theoretical Insights Into Multiclass Classification: A High-dimensional Asymptotic View [82.80085730891126]
線形多クラス分類の最初の現代的精度解析を行う。分析の結果,分類精度は分布に依存していることがわかった。得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
論文参考訳（メタデータ） (2020-11-16T05:17:29Z)
Learning and Evaluating Representations for Deep One-class Classification [59.095144932794646]
ディープワンクラス分類のための2段階フレームワークを提案する。まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
論文参考訳（メタデータ） (2020-11-04T23:33:41Z)
Classifier-independent Lower-Bounds for Adversarial Robustness [13.247278149124757]
理論的には、テストタイムの逆数と雑音の分類例に対するロバスト性の限界を解析する。最適輸送理論を用いて、与えられた分類問題に対して分類器ができるベイズ最適誤差の変分式を導出する。一般的な距離ベース攻撃の場合,ベイズ最適誤差に対して明らかな下限を導出する。
論文参考訳（メタデータ） (2020-06-17T16:46:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。