Fugu-MT 論文翻訳(概要): Massively Scaling Heteroscedastic Classifiers

論文の概要: Massively Scaling Heteroscedastic Classifiers

arxiv url: http://arxiv.org/abs/2301.12860v1
Date: Mon, 30 Jan 2023 13:14:25 GMT
ステータス: 処理完了
システム内更新日: 2023-01-31 14:51:44.123576
Title: Massively Scaling Heteroscedastic Classifiers
Title（参考訳）: 大規模ヘテロセダス的分類器
Authors: Mark Collier, Rodolphe Jenatton, Basil Mustafa, Neil Houlsby, Jesse Berent and Effrosyni Kokiopoulou
Abstract要約: パラメータカウントがクラス数とは独立にスケールするヘテロスセダスティックな分類器であるHET-XLを提案する。最大4Bの画像と30kのクラスを持つ大規模な画像分類データセットでは、我々の手法は14倍のパラメータを必要とせず、保留セットの温度を調整する必要がなく、ベースラインのヘテロスセダスティック分類器よりも一貫して性能が良い。
参考スコア（独自算出の注目度）: 22.554227247650186
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Heteroscedastic classifiers, which learn a multivariate Gaussian distribution over prediction logits, have been shown to perform well on image classification problems with hundreds to thousands of classes. However, compared to standard classifiers, they introduce extra parameters that scale linearly with the number of classes. This makes them infeasible to apply to larger-scale problems. In addition heteroscedastic classifiers introduce a critical temperature hyperparameter which must be tuned. We propose HET-XL, a heteroscedastic classifier whose parameter count when compared to a standard classifier scales independently of the number of classes. In our large-scale settings, we show that we can remove the need to tune the temperature hyperparameter, by directly learning it on the training data. On large image classification datasets with up to 4B images and 30k classes our method requires 14X fewer additional parameters, does not require tuning the temperature on a held-out set and performs consistently better than the baseline heteroscedastic classifier. HET-XL improves ImageNet 0-shot classification in a multimodal contrastive learning setup which can be viewed as a 3.5 billion class classification problem.
Abstract（参考訳）: 予測ロジット上で多変量ガウス分布を学習するヘテロシデスティック分類器は、数百から数千のクラスで画像分類問題においてうまく機能することが示されている。しかし、標準的な分類器と比較して、クラス数と線形にスケールする余分なパラメータを導入する。これにより、より大規模な問題に適用できない。さらに、異方性分類器は、調整しなければならない臨界温度ハイパーパラメータを導入する。標準分類器と比較した場合のパラメータ数がクラス数とは独立にスケールするヘテロシデスティック分類器het-xlを提案する。大規模な設定では、トレーニングデータ上で直接学習することで、温度ハイパーパラメータをチューニングする必要がなくなります。最大4bのイメージと30kのクラスを持つ大規模な画像分類データセットでは、この方法は追加パラメータを14倍少なくし、ホールドアウトセットの温度をチューニングする必要がなく、ベースラインのヘテロシドスティック分類器よりも一貫して優れた性能を発揮する。 HET-XLは、35億のクラス分類問題と見なせるマルチモーダルコントラスト学習設定において、ImageNet 0ショットの分類を改善している。

関連論文リスト

Generating Multi-Center Classifier via Conditional Gaussian Distribution [7.77615886942767]
実世界のデータでは、1つのクラスは複数の局所的なクラスタ(例えば異なるポーズの鳥)を含むことができる。各クラスに対して条件付きガウス分布を作成し、次に複数のサブセンターをサンプリングする。このアプローチにより、モデルがクラス内の局所構造をより効率的にキャプチャできる。
論文参考訳（メタデータ） (2024-01-29T08:06:33Z)
Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。不均衡回帰タスクを解くために階層型分類器を構築することを提案する。不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
論文参考訳（メタデータ） (2023-10-26T04:54:39Z)
Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。提案手法は,画像分類における既存の手法よりも優れている。
論文参考訳（メタデータ） (2022-12-02T07:31:39Z)
GMM-IL: Image Classification using Incrementally Learnt, Independent Probabilistic Models for Small Sample Sizes [0.4511923587827301]
本稿では,視覚的特徴学習と確率モデルを組み合わせた2段階アーキテクチャを提案する。我々は、ソフトマックスヘッドを用いた等価ネットワークのベンチマークを上回り、サンプルサイズが12以下の場合の精度が向上し、3つの不均衡なクラスプロファイルに対する重み付きF1スコアが向上した。
論文参考訳（メタデータ） (2022-12-01T15:19:42Z)
Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
論文参考訳（メタデータ） (2022-11-21T18:47:11Z)
Prediction Calibration for Generalized Few-shot Semantic Segmentation [101.69940565204816]
汎用Few-shot Semantic (GFSS) は、各画像ピクセルを、豊富なトレーニング例を持つベースクラスか、クラスごとにわずかに(例: 1-5)のトレーニングイメージを持つ新しいクラスのいずれかに分割することを目的としている。我々は、融合したマルチレベル機能を用いて、分類器の最終予測をガイドするクロスアテンションモジュールを構築する。私たちのPCNは、最先端の代替品よりも大きなマージンで優れています。
論文参考訳（メタデータ） (2022-10-15T13:30:12Z)
Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文参考訳（メタデータ） (2021-10-22T01:55:01Z)
Correlated Input-Dependent Label Noise in Large-Scale Image Classification [4.979361059762468]
我々は、データセット内のラベルノイズとしてヘテロセダスティック(herescedastic, label noise)として知られる入力依存のモデリングに対して、原則的な確率論的アプローチをとる。学習された共分散構造は、意味的に類似したクラスと共起するクラスの間のラベルノイズの既知の情報源をキャプチャする。 We set a new-of-the-art results on WebVision 1.0 with 76.6% top-1 accuracy。
論文参考訳（メタデータ） (2021-05-19T17:30:59Z)
Improving Calibration for Long-Tailed Recognition [68.32848696795519]
このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
論文参考訳（メタデータ） (2021-04-01T13:55:21Z)
Multiclass Anomaly Detection in GI Endoscopic Images using Optimized Deep One-class Classification in an Imbalanced Dataset [0.0]
ワイヤレスカプセル内視鏡は、医師が消化管を非侵襲的に検査するのに役立つ。 KID2やKvasirのような利用可能なデータセットの多くは、効果的な人工知能(AI)システムのトレーニングを難しくする不均衡な問題に悩まされている。本研究では,一類分類器のアンサンブルを用いて異常を検出する。
論文参考訳（メタデータ） (2021-03-15T16:28:42Z)
Bayesian Few-Shot Classification with One-vs-Each P\'olya-Gamma Augmented Gaussian Processes [7.6146285961466]
FSC(Few-shot Classification)は、人間のような機械学習への道のりの重要なステップである。 P'olya-Gamma augmentation と one-vs-each softmax approximation の新たな組み合わせを提案する。標準的な数ショット分類ベンチマークと数ショットドメイン転送タスクの両方において、精度の向上と不確かさの定量化を実証した。
論文参考訳（メタデータ） (2020-07-20T19:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。