論文の概要: Few-Shot Non-Parametric Learning with Deep Latent Variable Model

• arxiv url: http://arxiv.org/abs/2206.11573v1
• Date: Thu, 23 Jun 2022 09:35:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-24 21:06:00.202248
• Title: Few-Shot Non-Parametric Learning with Deep Latent Variable Model
• Title（参考訳）: ディープ潜在変数モデルを用いた少数ショット非パラメトリック学習
• Authors: Zhiying Jiang, Yiqin Dai, Ji Xin, Ming Li, Jimmy Lin
• Abstract要約: 遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 50.746273235463754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most real-world problems that machine learning algorithms are expected to solve face the situation with 1) unknown data distribution; 2) little domain-specific knowledge; and 3) datasets with limited annotation. We propose Non-Parametric learning by Compression with Latent Variables (NPC-LV), a learning framework for any dataset with abundant unlabeled data but very few labeled ones. By only training a generative model in an unsupervised way, the framework utilizes the data distribution to build a compressor. Using a compressor-based distance metric derived from Kolmogorov complexity, together with few labeled data, NPC-LV classifies without further training. We show that NPC-LV outperforms supervised methods on all three datasets on image classification in low data regime and even outperform semi-supervised learning methods on CIFAR-10. We demonstrate how and when negative evidence lowerbound (nELBO) can be used as an approximate compressed length for classification. By revealing the correlation between compression rate and classification accuracy, we illustrate that under NPC-LV, the improvement of generative models can enhance downstream classification accuracy.
• Abstract（参考訳）: 機械学習アルゴリズムが解決するであろう現実世界のほとんどの問題は、状況に直面する。 1) 未知のデータ分布 2)ドメイン固有の知識は少ない。 3) 限定アノテーション付きデータセット。 ラベル付きデータが多いがラベル付きデータが少ないデータセットの学習フレームワークである潜在変数(npc-lv)を用いた圧縮による非パラメトリック学習を提案する。 生成モデルを教師なしの方法でトレーニングするだけで、フレームワークはデータ分散を利用して圧縮機を構築する。 コルモゴロフ複雑性から導かれる圧縮機による距離測定とラベル付きデータの少ないデータを用いて、NPC-LVはさらなる訓練をせずに分類する。 画像分類ではnpc-lvが3つのデータセットの教師あり学習法を上回り,cifar-10では半教師あり学習法を上回った。 負のエビデンスの下限値(nelbo)を分類の近似圧縮長として用いる方法と方法を示す。 圧縮速度と分類精度の相関関係を明らかにすることにより,npc-lvでは,生成モデルの改良により下流分類精度が向上することを示す。

関連論文リスト

• Mutual Information Learned Classifiers: an Information-theoretic Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
  クロスエントロピー損失は、重度のオーバーフィッティング動作を示すモデルを見つけるのに容易である。 本稿では,既存のDNN分類器のクロスエントロピー損失最小化が,基礎となるデータ分布の条件エントロピーを本質的に学習することを証明する。 ラベルと入力の相互情報を学習することで、DNN分類器を訓練する相互情報学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-03T15:09:19Z)
• Mutual Information Learned Classifiers: an Information-theoretic Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
  既存のクロスエントロピー損失最小化問題は,基礎となるデータ分布のラベル条件エントロピーを本質的に学習することを示す。 ラベルと入力の相互情報を学習することで、ディープニューラルネットワーク分類器を訓練する相互情報学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-21T01:06:30Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)
• Improving Contrastive Learning on Imbalanced Seed Data via Open-World Sampling [96.8742582581744]
  我々は、Model-Aware K-center (MAK)と呼ばれるオープンワールドなラベルなしデータサンプリングフレームワークを提案する。 MAKは、尾性、近接性、多様性の3つの単純な原則に従う。 我々はMAKが学習した機能の全体的な表現品質とクラスバランス性の両方を継続的に改善できることを実証した。
  論文  参考訳（メタデータ） (2021-11-01T15:09:41Z)
• Tensor feature hallucination for few-shot learning [17.381648488344222]
  限られた監督と限られたデータによって、サンプルを分類するという課題に対処するショットは少ない。 数ショット分類のための合成データ生成に関するこれまでの研究は、複雑なモデルを活用することに重点を置いていた。 本稿では,単純かつ簡単な合成データ生成手法を効果的に利用する方法を検討する。
  論文  参考訳（メタデータ） (2021-06-09T18:25:08Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• MUSCLE: Strengthening Semi-Supervised Learning Via Concurrent Unsupervised Learning Using Mutual Information Maximization [29.368950377171995]
  我々は、教師なし学習と半教師なし学習を併用するために、相互情報に基づく教師なし・半教師付き並行学習(MUSCLE)を導入する。 MUSCLEはニューラルネットワークのスタンドアロントレーニングスキームとして使用することができ、他の学習手法にも組み込むことができる。 提案手法は,CIFAR-10,CIFAR-100,Mini-Imagenetなど,いくつかの標準ベンチマークにおいて,その性能に優れることを示す。
  論文  参考訳（メタデータ） (2020-11-30T23:01:04Z)
• Solving Long-tailed Recognition with Deep Realistic Taxonomic Classifier [68.38233199030908]
  ロングテール認識は、現実世界のシナリオにおける自然な非一様分散データに取り組む。 モダンは人口密度の高いクラスではうまく機能するが、そのパフォーマンスはテールクラスでは著しく低下する。 Deep-RTCは、リアリズムと階層的予測を組み合わせたロングテール問題の新しい解法として提案されている。
  論文  参考訳（メタデータ） (2020-07-20T05:57:42Z)
• Fast and Three-rious: Speeding Up Weak Supervision with Triplet Methods [24.190587751595455]
  弱監督は、基底的真理アノテーションに頼ることなく機械学習モデルを構築する一般的な方法である。 既存の手法では、雑音源をモデル化するために潜時変数推定を用いる。 弱監督に高度に適用可能な潜在変数モデルのクラスについて、モデルパラメータに対する閉形式解を見つけることができることを示す。 この洞察を使ってFlyingSquidを構築します。FlyingSquidは、以前の弱い監視アプローチよりも桁違いに高速に実行される弱い監視フレームワークです。
  論文  参考訳（メタデータ） (2020-02-27T07:51:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。