論文の概要: A Maximum Log-Likelihood Method for Imbalanced Few-Shot Learning Tasks
- arxiv url: http://arxiv.org/abs/2211.14668v1
- Date: Sat, 26 Nov 2022 21:31:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 16:25:30.024036
- Title: A Maximum Log-Likelihood Method for Imbalanced Few-Shot Learning Tasks
- Title（参考訳）: 不均衡なFew-Shot学習課題に対する最大ログライクレーション法
- Authors: Samuel Hess and Gregory Ditzler
- Abstract要約: 数ショットアーキテクチャのための新しい最大ログ類似度指標を提案する。
提案手法は,従来の類似度指標よりも優れた性能を実現することを示す。
また,提案アルゴリズムは,評価データが不均衡である場合に,最先端のトランスダクティブな数ショット性能を実現することを示す。
- 参考スコア（独自算出の注目度）: 3.2895195535353308
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Few-shot learning is a rapidly evolving area of research in machine learning
where the goal is to classify unlabeled data with only one or "a few" labeled
exemplary samples. Neural networks are typically trained to minimize a distance
metric between labeled exemplary samples and a query set. Early few-shot
approaches use an episodic training process to sub-sample the training data
into few-shot batches. This training process matches the sub-sampling done on
evaluation. Recently, conventional supervised training coupled with a cosine
distance has achieved superior performance for few-shot. Despite the diversity
of few-shot approaches over the past decade, most methods still rely on the
cosine or Euclidean distance layer between the latent features of the trained
network. In this work, we investigate the distributions of trained few-shot
features and demonstrate that they can be roughly approximated as exponential
distributions. Under this assumption of an exponential distribution, we propose
a new maximum log-likelihood metric for few-shot architectures. We demonstrate
that the proposed metric achieves superior performance accuracy w.r.t.
conventional similarity metrics (e.g., cosine, Euclidean, etc.), and achieve
state-of-the-art inductive few-shot performance. Further, additional gains can
be achieved by carefully combining multiple metrics and neither of our methods
require post-processing feature transformations, which are common to many
algorithms. Finally, we demonstrate a novel iterative algorithm designed around
our maximum log-likelihood approach that achieves state-of-the-art transductive
few-shot performance when the evaluation data is imbalanced. We have made our
code publicly available at https://github.com/samuelhess/MLL_FSL/.
- Abstract（参考訳）: Few-shot Learningは、ラベルなしデータを1つまたは"数"のラベル付きサンプルで分類することを目的として、機械学習における急速に発展している研究分野である。
ニューラルネットワークは通常、ラベル付きサンプルとクエリセットの間の距離メトリックを最小化するために訓練される。
初期の少数ショットアプローチでは、エピソディックトレーニングプロセスを使用して、トレーニングデータを少数ショットバッチにサブサンプルする。
このトレーニングプロセスは、評価に関するサブサンプリングと一致します。
近年,コサイン距離と組み合わされた従来の教師付きトレーニングは,数発で優れた性能を達成している。
過去10年間のアプローチの多様性にもかかわらず、ほとんどの手法は訓練されたネットワークの潜在的特徴の間のコサイン層やユークリッド距離層に依存している。
本研究では,訓練された少数ショット特徴量の分布について検討し,指数分布として近似できることを示す。
この指数分布の仮定の下で、数ショットアーキテクチャのための新しい最大ログ様計量を提案する。
提案手法は従来の類似度指標(cosine, euclideanなど)において優れた性能向上を達成し,最先端のインダクティブな少数ショット性能を実現する。
さらに、複数のメトリクスを慎重に組み合わせることで、さらなるゲインを達成することができ、どちらの手法も多くのアルゴリズムに共通するポストプロセッシング機能変換を必要としない。
最後に,評価データが不均衡な場合に,最先端のトランスダクティブな少数ショット性能を実現するための,我々の最大ログライクなアプローチに基づいて設計された新しい反復アルゴリズムを示す。
私たちはコードをhttps://github.com/samuelhess/MLL_FSL/で公開しました。
関連論文リスト
- Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-11T13:44:49Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Intra-class Adaptive Augmentation with Neighbor Correction for Deep
Metric Learning [99.14132861655223]
深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。
クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。
本手法は,検索性能の最先端手法を3%～6%向上させる。
論文 参考訳（メタデータ） (2022-11-29T14:52:38Z) - Compare learning: bi-attention network for few-shot learning [6.559037166322981]
距離学習と呼ばれる数ショットの学習手法の1つは、画像のペアが同じカテゴリに属しているかどうかを判断するために、まず遠距離計量を学習することで、この課題に対処する。
本稿では, インスタンスの埋め込みの類似性を正確に, グローバルかつ効率的に測定できる, Bi-attention Network という新しい手法を提案する。
論文 参考訳（メタデータ） (2022-03-25T07:39:10Z) - BatchFormer: Learning to Explore Sample Relationships for Robust
Representation Learning [93.38239238988719]
本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。
BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。
我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
論文 参考訳（メタデータ） (2022-03-03T05:31:33Z) - Engineering the Neural Automatic Passenger Counter [0.0]
我々は、信頼性、性能、そして品質のカウントを向上させるために、機械学習の様々な側面を探求し、活用する。
アンサンブル量子化のようなアグリゲーション技術がバイアスを減少させる方法を示し、その結果の全体的拡散について考察する。
論文 参考訳（メタデータ） (2022-03-02T14:56:11Z) - Squeezing Backbone Feature Distributions to the Max for Efficient
Few-Shot Learning [3.1153758106426603]
ラベル付きサンプルの少ない使用によって生じる不確実性のため、ほとんどショット分類が難しい問題である。
本稿では,特徴ベクトルをガウス分布に近づけるように処理するトランスファーベース手法を提案する。
また,学習中に未学習のサンプルが利用可能となる多段階的数ショット学習では,達成された性能をさらに向上させる最適なトランスポートインスピレーションアルゴリズムも導入する。
論文 参考訳（メタデータ） (2021-10-18T16:29:17Z) - An Empirical Comparison of Instance Attribution Methods for NLP [62.63504976810927]
本研究は,トレーニングサンプルの重要性に関して,異なるインスタンス属性が一致した度合いを評価する。
単純な検索メソッドは、グラデーションベースの方法によって識別されたものと異なるトレーニングインスタンスを生成する。
論文 参考訳（メタデータ） (2021-04-09T01:03:17Z) - Frustratingly Simple Few-Shot Object Detection [98.42824677627581]
希少なクラスにおける既存検出器の最後の層のみを微調整することは、数発の物体検出タスクに不可欠である。
このような単純なアプローチは、現在のベンチマークで約220ポイントのメタ学習方法より優れている。
論文 参考訳（メタデータ） (2020-03-16T00:29:14Z) - An end-to-end approach for the verification problem: learning the right
distance [15.553424028461885]
パラメトリックな擬似距離を導入し、エンコーダと共同で学習することで、メトリック学習の設定を強化する。
まず、仮説テストに使用できる確率比を近似して示す。
提案手法では,実際の距離を持つメートル法学習に比べて,学習の簡易化が図られている。
論文 参考訳（メタデータ） (2020-02-21T18:46:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。