論文の概要: Few-Shot Non-Parametric Learning with Deep Latent Variable Model

• arxiv url: http://arxiv.org/abs/2206.11573v1
• Date: Thu, 23 Jun 2022 09:35:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-24 21:06:00.202248
• Title: Few-Shot Non-Parametric Learning with Deep Latent Variable Model
• Title（参考訳）: ディープ潜在変数モデルを用いた少数ショット非パラメトリック学習
• Authors: Zhiying Jiang, Yiqin Dai, Ji Xin, Ming Li, Jimmy Lin
• Abstract要約: 遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 50.746273235463754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most real-world problems that machine learning algorithms are expected to solve face the situation with 1) unknown data distribution; 2) little domain-specific knowledge; and 3) datasets with limited annotation. We propose Non-Parametric learning by Compression with Latent Variables (NPC-LV), a learning framework for any dataset with abundant unlabeled data but very few labeled ones. By only training a generative model in an unsupervised way, the framework utilizes the data distribution to build a compressor. Using a compressor-based distance metric derived from Kolmogorov complexity, together with few labeled data, NPC-LV classifies without further training. We show that NPC-LV outperforms supervised methods on all three datasets on image classification in low data regime and even outperform semi-supervised learning methods on CIFAR-10. We demonstrate how and when negative evidence lowerbound (nELBO) can be used as an approximate compressed length for classification. By revealing the correlation between compression rate and classification accuracy, we illustrate that under NPC-LV, the improvement of generative models can enhance downstream classification accuracy.
• Abstract（参考訳）: 機械学習アルゴリズムが解決するであろう現実世界のほとんどの問題は、状況に直面する。 1) 未知のデータ分布 2)ドメイン固有の知識は少ない。 3) 限定アノテーション付きデータセット。 ラベル付きデータが多いがラベル付きデータが少ないデータセットの学習フレームワークである潜在変数(npc-lv)を用いた圧縮による非パラメトリック学習を提案する。 生成モデルを教師なしの方法でトレーニングするだけで、フレームワークはデータ分散を利用して圧縮機を構築する。 コルモゴロフ複雑性から導かれる圧縮機による距離測定とラベル付きデータの少ないデータを用いて、NPC-LVはさらなる訓練をせずに分類する。 画像分類ではnpc-lvが3つのデータセットの教師あり学習法を上回り,cifar-10では半教師あり学習法を上回った。 負のエビデンスの下限値(nelbo)を分類の近似圧縮長として用いる方法と方法を示す。 圧縮速度と分類精度の相関関係を明らかにすることにより,npc-lvでは,生成モデルの改良により下流分類精度が向上することを示す。

関連論文リスト

• Continuous Contrastive Learning for Long-Tailed Semi-Supervised Recognition [50.61991746981703]
  現在の最先端のLTSSLアプローチは、大規模な未ラベルデータに対して高品質な擬似ラベルに依存している。 本稿では,長期学習における様々な提案を統一する新しい確率的枠組みを提案する。 我々は、信頼度とスムーズな擬似ラベルを用いて、我々のフレームワークをラベルなしデータに拡張する、連続的コントラスト学習手法であるCCLを導入する。
  論文  参考訳（メタデータ） (2024-10-08T15:06:10Z)
• Low-Resource Crop Classification from Multi-Spectral Time Series Using Lossless Compressors [6.379065975644869]
  深層学習は多スペクトル時間データを用いた作物分類の精度を大幅に向上させた。 ラベル付きサンプルが少ない低リソース環境では、深層学習モデルは不十分なデータのために性能が悪い。 本稿では,これらの状況に対処するために,ディープラーニングモデルに代わる非学習的代替案を提案する。
  論文  参考訳（メタデータ） (2024-05-28T12:28:12Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Mutual Information Learned Classifiers: an Information-theoretic Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
  クロスエントロピー損失は、重度のオーバーフィッティング動作を示すモデルを見つけるのに容易である。 本稿では,既存のDNN分類器のクロスエントロピー損失最小化が,基礎となるデータ分布の条件エントロピーを本質的に学習することを証明する。 ラベルと入力の相互情報を学習することで、DNN分類器を訓練する相互情報学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-03T15:09:19Z)
• Mutual Information Learned Classifiers: an Information-theoretic Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
  既存のクロスエントロピー損失最小化問題は,基礎となるデータ分布のラベル条件エントロピーを本質的に学習することを示す。 ラベルと入力の相互情報を学習することで、ディープニューラルネットワーク分類器を訓練する相互情報学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-21T01:06:30Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)
• Improving Contrastive Learning on Imbalanced Seed Data via Open-World Sampling [96.8742582581744]
  我々は、Model-Aware K-center (MAK)と呼ばれるオープンワールドなラベルなしデータサンプリングフレームワークを提案する。 MAKは、尾性、近接性、多様性の3つの単純な原則に従う。 我々はMAKが学習した機能の全体的な表現品質とクラスバランス性の両方を継続的に改善できることを実証した。
  論文  参考訳（メタデータ） (2021-11-01T15:09:41Z)
• Tensor feature hallucination for few-shot learning [17.381648488344222]
  限られた監督と限られたデータによって、サンプルを分類するという課題に対処するショットは少ない。 数ショット分類のための合成データ生成に関するこれまでの研究は、複雑なモデルを活用することに重点を置いていた。 本稿では,単純かつ簡単な合成データ生成手法を効果的に利用する方法を検討する。
  論文  参考訳（メタデータ） (2021-06-09T18:25:08Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• MUSCLE: Strengthening Semi-Supervised Learning Via Concurrent Unsupervised Learning Using Mutual Information Maximization [29.368950377171995]
  我々は、教師なし学習と半教師なし学習を併用するために、相互情報に基づく教師なし・半教師付き並行学習(MUSCLE)を導入する。 MUSCLEはニューラルネットワークのスタンドアロントレーニングスキームとして使用することができ、他の学習手法にも組み込むことができる。 提案手法は,CIFAR-10,CIFAR-100,Mini-Imagenetなど,いくつかの標準ベンチマークにおいて,その性能に優れることを示す。
  論文  参考訳（メタデータ） (2020-11-30T23:01:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。