論文の概要: 'Less Than One'-Shot Learning: Learning N Classes From M
- arxiv url: http://arxiv.org/abs/2009.08449v1
- Date: Thu, 17 Sep 2020 17:55:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 08:44:29.902487
- Title: 'Less Than One'-Shot Learning: Learning N Classes From M<N Samples
- Title（参考訳）: 一人以上の」ショットラーニング:M<NサンプルからNクラスを学ぶ
- Authors: Ilia Sucholutsky, Matthias Schonlau
- Abstract要約: 数ショットの学習環境では、モデルは、そのクラスから少数のサンプルだけを与えられた新しいクラスを学習しなければならない。
モデルが$N$の新しいクラスを学習しなければならないのは,MN$の例のみである。
- 参考スコア（独自算出の注目度）: 13.70633147306388
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks require large training sets but suffer from high
computational cost and long training times. Training on much smaller training
sets while maintaining nearly the same accuracy would be very beneficial. In
the few-shot learning setting, a model must learn a new class given only a
small number of samples from that class. One-shot learning is an extreme form
of few-shot learning where the model must learn a new class from a single
example. We propose the `less than one'-shot learning task where models must
learn $N$ new classes given only $M<N$ examples and we show that this is
achievable with the help of soft labels. We use a soft-label generalization of
the k-Nearest Neighbors classifier to explore the intricate decision landscapes
that can be created in the `less than one'-shot learning setting. We analyze
these decision landscapes to derive theoretical lower bounds for separating $N$
classes using $M<N$ soft-label samples and investigate the robustness of the
resulting systems.
- Abstract（参考訳）: ディープニューラルネットワークは大きなトレーニングセットを必要とするが、高い計算コストと長いトレーニング時間に苦しむ。
ほぼ同じ精度を維持しながら、より小さなトレーニングセットでのトレーニングは、非常に有益である。
数少ない学習設定では、モデルは、そのクラスから少数のサンプルしか与えていない新しいクラスを学ばなければならない。
ワンショット学習(one-shot learning)は、モデルが1つの例から新しいクラスを学ばなければならない、最小限の学習の極端な形態である。
我々は、モデルが$m<n$の例しか与えていない新しいクラスを学ばなければならない`less than one'-shot学習タスクを提案し、ソフトラベルの助けを借りて実現可能であることを示す。
我々は,k-nearest近傍の分類器のソフトラベル一般化を用いて,'less than one'-shot learning設定で生成可能な複雑な意思決定環境を探索する。
我々はこれらの意思決定環境を分析し、$M<N$ソフトラベルサンプルを用いて$N$クラスを分離するための理論的下限を導出し、その結果のシステムの堅牢性を調べる。
関連論文リスト
- Pre-Trained Vision-Language Models as Partial Annotators [40.89255396643592]
事前学習された視覚言語モデルは、画像と自然言語の統一表現をモデル化するために大量のデータを学習する。
本稿では,事前学習型モデルアプリケーションのための「事前学習型-弱教師付き学習」パラダイムについて検討し,画像分類タスクの実験を行う。
論文 参考訳（メタデータ） (2024-05-23T17:17:27Z) - One-bit Supervision for Image Classification: Problem, Solution, and
Beyond [114.95815360508395]
本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。
多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。
複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
論文 参考訳（メタデータ） (2023-11-26T07:39:00Z) - Continual Learning in Open-vocabulary Classification with Complementary Memory Systems [19.337633598158778]
オープン語彙画像分類におけるフレキシブルで効率的な連続学習法を提案する。
サンプルのクラスが模範クラス内にあるというゼロショット推定確率を用いて、CLIPゼロショットモデルと模範モデルからの予測を組み合わせる。
また,遅延学習の原則を適応した"ツリープローブ"手法を提案し,競合精度の高い新しい例からバッチ学習線形モデルへの高速学習を実現する。
論文 参考訳（メタデータ） (2023-07-04T01:47:34Z) - Language models are weak learners [71.33837923104808]
本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。
これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。
結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
論文 参考訳（メタデータ） (2023-06-25T02:39:19Z) - Multimodality Helps Unimodality: Cross-Modal Few-Shot Learning with Multimodal Models [69.31424345583537]
人間はクロスモーダル情報を使って、新しい概念を効率的に学習する。
犬について読んだり、バークを聴いたりすることで、より優れた$bfビジュアルの犬分類器を構築できることを示す。
我々は、最初の(知識のために)オーディオヴィジュアルな数ショットのベンチマークを構築し、画像分類と音声分類の両方の性能を向上させるために、クロスモーダルトレーニングを使用する。
論文 参考訳（メタデータ） (2023-01-16T05:40:42Z) - GMM-IL: Image Classification using Incrementally Learnt, Independent
Probabilistic Models for Small Sample Sizes [0.4511923587827301]
本稿では,視覚的特徴学習と確率モデルを組み合わせた2段階アーキテクチャを提案する。
我々は、ソフトマックスヘッドを用いた等価ネットワークのベンチマークを上回り、サンプルサイズが12以下の場合の精度が向上し、3つの不均衡なクラスプロファイルに対する重み付きF1スコアが向上した。
論文 参考訳（メタデータ） (2022-12-01T15:19:42Z) - Optimizing Active Learning for Low Annotation Budgets [6.753808772846254]
ディープラーニングでは、アクティブな学習は通常、微調整によって連続した深層モデルを更新する反復的なプロセスとして実装される。
移行学習にインスパイアされたアプローチを用いてこの問題に対処する。
本稿では,ALプロセスの反復性を利用してより堅牢なサンプルを抽出する新しい取得関数を提案する。
論文 参考訳（メタデータ） (2022-01-18T18:53:10Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳（メタデータ） (2021-06-06T00:04:49Z) - Few-shot Weakly-Supervised Object Detection via Directional Statistics [55.97230224399744]
少数ショットコモンオブジェクトローカライゼーション(COL)と少数ショット弱監視オブジェクト検出(WSOD)のための確率論的多重インスタンス学習手法を提案する。
本モデルでは,新しいオブジェクトの分布を同時に学習し,期待-最大化ステップにより局所化する。
提案手法は, 単純であるにもかかわらず, 少数のCOLとWSOD, 大規模WSODタスクにおいて, 高いベースラインを達成できることを示す。
論文 参考訳（メタデータ） (2021-03-25T22:34:16Z) - Few-Shot Learning with Intra-Class Knowledge Transfer [100.87659529592223]
アンバランスなデータセットを用いた数発の分類タスクについて検討する。
近年の研究では、生成モデルを用いて数発の授業のトレーニングデータを増やすことで、この課題を解決することが提案されている。
本稿では,近隣クラスが類似した統計情報を共有するという直感で,近隣クラスからのクラス内知識を活用することを提案する。
論文 参考訳（メタデータ） (2020-08-22T18:15:38Z) - Auto-Ensemble: An Adaptive Learning Rate Scheduling based Deep Learning
Model Ensembling [11.324407834445422]
本稿では,ディープラーニングモデルのチェックポイントを収集し,それらを自動的にアンサンブルする自動アンサンブル(AE)を提案する。
この手法の利点は、一度のトレーニングで学習率をスケジューリングすることで、モデルを様々な局所最適化に収束させることである。
論文 参考訳（メタデータ） (2020-03-25T08:17:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。