論文の概要: Simultaneous Perturbation Stochastic Approximation for Few-Shot Learning
- arxiv url: http://arxiv.org/abs/2006.05152v1
- Date: Tue, 9 Jun 2020 09:47:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 14:26:14.724674
- Title: Simultaneous Perturbation Stochastic Approximation for Few-Shot Learning
- Title（参考訳）: ファウショット学習のための同時摂動確率近似
- Authors: Andrei Boiarov, Oleg Granichin, Olga Granichina
- Abstract要約: 本稿では, プロトタイプ型ネットワーク手法に基づく, プロトタイプライクな少数ショット学習手法を提案する。
ベンチマークデータセットを用いた実験の結果,提案手法は元のネットワークよりも優れていることが示された。
- 参考スコア（独自算出の注目度）: 0.5801044612920815
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Few-shot learning is an important research field of machine learning in which
a classifier must be trained in such a way that it can adapt to new classes
which are not included in the training set. However, only small amounts of
examples of each class are available for training. This is one of the key
problems with learning algorithms of this type which leads to the significant
uncertainty. We attack this problem via randomized stochastic approximation. In
this paper, we suggest to consider the new multi-task loss function and propose
the SPSA-like few-shot learning approach based on the prototypical networks
method. We provide a theoretical justification and an analysis of experiments
for this approach. The results of experiments on the benchmark dataset
demonstrate that the proposed method is superior to the original prototypical
networks.
- Abstract（参考訳）: ほとんどショット学習は機械学習の重要な研究分野であり、分類器はトレーニングセットに含まれない新しいクラスに適応できるように訓練されなければならない。
しかし、トレーニングには各クラスの少数の例しか利用できない。
これは、このタイプの学習アルゴリズムにおける重要な問題の1つであり、大きな不確実性をもたらす。
我々はランダムな確率近似を用いてこの問題に対処する。
本稿では,新しいマルチタスク損失関数について考察し,プロトタイプネットワーク法に基づくSPSAライクな少数ショット学習手法を提案する。
このアプローチのための理論的な正当化と実験の分析を提供する。
ベンチマークデータセットを用いた実験の結果,提案手法は原型ネットワークよりも優れていることが示された。
関連論文リスト
- Informative regularization for a multi-layer perceptron RR Lyrae
classifier under data shift [3.303002683812084]
本稿では,情報正規化とアドホックなトレーニング手法に基づくスケーラブルで容易に適応可能なアプローチを提案し,シフト問題を緩和する。
提案手法は,特徴量からの知識をニューラルネットワークに組み込むことで,基礎となるデータシフト問題を管理する。
論文 参考訳（メタデータ） (2023-03-12T02:49:19Z) - A Closer Look at Few-shot Classification Again [68.44963578735877]
トレーニングフェーズと適応フェーズで構成されている。
トレーニングアルゴリズムと適応アルゴリズムが完全に絡み合っていることを実証的に証明する。
各フェーズのメタアナリシスは、いくつかの興味深い洞察を示し、いくつかのショット分類の重要な側面をよりよく理解するのに役立ちます。
論文 参考訳（メタデータ） (2023-01-28T16:42:05Z) - An Empirical Investigation of the Role of Pre-training in Lifelong
Learning [21.995593026269578]
複数のタスクを逐次学習する際の破滅的忘れの影響を,ジェネリック事前学習が暗黙的に軽減することを示す。
本研究では、この現象を損失景観を解析し、トレーニング済みの重みがより広いミニマへと導くことで忘れやすいように見えることを明らかにする。
論文 参考訳（メタデータ） (2021-12-16T19:00:55Z) - A Representation Learning Perspective on the Importance of
Train-Validation Splitting in Meta-Learning [14.720411598827365]
各タスクからのデータを、メタトレーニング中にトレインとバリデーションセットに分割する。
列車価分割は,表現性を損なうことなく,学習した表現を低ランクにすることを促すと論じる。
サンプル効率は低ランク性から恩恵を受けるため、分割戦略は見当たらないテストタスクを解決するのに非常に少数のサンプルを必要とする。
論文 参考訳（メタデータ） (2021-06-29T17:59:33Z) - An Effective Baseline for Robustness to Distributional Shift [5.627346969563955]
ディープラーニングシステムの安全なデプロイには,トレーニング中に見られるものと異なる入力のカテゴリに直面した場合,確実な予測を控えることが重要な要件である。
本論文では, 吸収の原理を用いた分布異常検出の簡便かつ高効率な手法を提案する。
論文 参考訳（メタデータ） (2021-05-15T00:46:11Z) - An Empirical Comparison of Instance Attribution Methods for NLP [62.63504976810927]
本研究は,トレーニングサンプルの重要性に関して,異なるインスタンス属性が一致した度合いを評価する。
単純な検索メソッドは、グラデーションベースの方法によって識別されたものと異なるトレーニングインスタンスを生成する。
論文 参考訳（メタデータ） (2021-04-09T01:03:17Z) - Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。
まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。
第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
論文 参考訳（メタデータ） (2021-01-20T11:48:12Z) - A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。
予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
論文 参考訳（メタデータ） (2020-07-08T11:35:47Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳（メタデータ） (2020-06-12T12:23:50Z) - Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。
PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。
PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
論文 参考訳（メタデータ） (2020-05-11T09:53:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。