論文の概要: Free Lunch for Few-shot Learning: Distribution Calibration
- arxiv url: http://arxiv.org/abs/2101.06395v2
- Date: Mon, 15 Mar 2021 08:34:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-28 04:35:49.473143
- Title: Free Lunch for Few-shot Learning: Distribution Calibration
- Title（参考訳）: ファウショット学習のためのフリーランチ:分散校正
- Authors: Shuo Yang, Lu Liu, Min Xu
- Abstract要約: キャリブレーション分布から抽出した特徴を用いて学習した単純なロジスティック回帰分類器は、2つのデータセットにおける最先端の精度より優れていることを示す。
- 参考スコア（独自算出の注目度）: 10.474018806591397
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning from a limited number of samples is challenging since the learned
model can easily become overfitted based on the biased distribution formed by
only a few training examples. In this paper, we calibrate the distribution of
these few-sample classes by transferring statistics from the classes with
sufficient examples, then an adequate number of examples can be sampled from
the calibrated distribution to expand the inputs to the classifier. We assume
every dimension in the feature representation follows a Gaussian distribution
so that the mean and the variance of the distribution can borrow from that of
similar classes whose statistics are better estimated with an adequate number
of samples. Our method can be built on top of off-the-shelf pretrained feature
extractors and classification models without extra parameters. We show that a
simple logistic regression classifier trained using the features sampled from
our calibrated distribution can outperform the state-of-the-art accuracy on two
datasets (~5% improvement on miniImageNet compared to the next best). The
visualization of these generated features demonstrates that our calibrated
distribution is an accurate estimation.
- Abstract（参考訳）: 限られた数のサンプルから学ぶことは、学習したモデルが、ほんの少数のトレーニング例で作られたバイアス分布に基づいて簡単に過度に適合できるため、難しい。
本稿では,各クラスから統計を十分な例で伝達することにより,これらの少数サンプルクラスの分布を校正し,その校正分布から十分な数のサンプルを抽出し,インプットを分類器に拡張する。
特徴表現のすべての次元はガウス分布に従うと仮定し、分布の平均と分散は、十分な数のサンプルでよりよく推定される統計値の類似クラスから借りることができる。
提案手法は,事前訓練された特徴抽出器と,余分なパラメータを伴わない分類モデルに基づいて構築することができる。
キャリブレーションされた分布から抽出した特徴を用いて学習した単純なロジスティック回帰分類器は、2つのデータセットにおける最先端の精度(次回に比べて miniImageNet が約5%向上)より優れていることを示す。
これらの特徴の可視化は、校正分布が正確な推定であることを示す。
関連論文リスト
- Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。
その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。
この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文 参考訳（メタデータ） (2024-10-17T16:42:12Z) - Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-11T13:44:49Z) - Logarithm-transform aided Gaussian Sampling for Few-Shot Learning [0.0]
実験データをガウス様分布に変換する既存手法より優れている新しいガウス変換を提案する。
次に、この新しい変換を少数の画像分類に利用し、より少ないデータをサンプリングしながら、性能が大幅に向上したことを示す。
論文 参考訳（メタデータ） (2023-09-28T10:50:32Z) - Boosting Few-Shot Text Classification via Distribution Estimation [38.99459686893034]
そこで本稿では,未ラベルの問合せサンプルを用いて,新しいクラスの分布を推定する,単純かつ効果的な2つの手法を提案する。
具体的には、まずクラスまたはサンプルをガウス分布に従って仮定し、元のサポートセットと最も近いクエリサンプルを使用する。
そして,推定分布から抽出したラベル付きサンプルを増量し,分類モデルの訓練に十分な監督力を与える。
論文 参考訳（メタデータ） (2023-03-26T05:58:39Z) - Learnable Distribution Calibration for Few-Shot Class-Incremental
Learning [122.2241120474278]
FSCIL(Few-shot class-incremental Learning)は、古いクラス分布を記憶し、少数のトレーニングサンプルから新しいクラス分布を推定するという課題に直面している。
本稿では,これら2つの課題を統一フレームワークを用いて体系的に解決することを目的とした,学習可能な分布校正手法を提案する。
論文 参考訳（メタデータ） (2022-10-01T09:40:26Z) - Feature Generation for Long-tail Classification [36.186909933006675]
そこで本研究では,テールカテゴリーの分布を推定して有意義な特徴を生成する方法を示す。
また、t-SNE視覚化を用いて生成した特徴の質的分析を行い、末尾クラス分布のキャリブレーションに最も近い隣人を解析する。
論文 参考訳（メタデータ） (2021-11-10T21:34:29Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳（メタデータ） (2021-10-20T12:25:22Z) - Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。
粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
論文 参考訳（メタデータ） (2021-10-06T16:58:34Z) - Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。
我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。
Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
論文 参考訳（メタデータ） (2020-07-24T05:18:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。