論文の概要: On Episodes, Prototypical Networks, and Few-shot Learning

• arxiv url: http://arxiv.org/abs/2012.09831v1
• Date: Thu, 17 Dec 2020 18:52:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-02 07:36:19.208377
• Title: On Episodes, Prototypical Networks, and Few-shot Learning
• Title（参考訳）: エピソード, 原型的ネットワーク, 数少ない学習について
• Authors: Steinar Laenen and Luca Bertinetto
• Abstract要約: プロトタイピックネットワークとマッチングネットワークにおけるエピソディック学習の有用性について検討する。 プロトタイプおよびマッチングネットワークの場合、トレーニングサンプルをサポートセットとクエリセットの間で分離するエピソード学習戦略を用いるのは有害である。
• 参考スコア（独自算出の注目度）: 11.309804906912374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Episodic learning is a popular practice among researchers and practitioners interested in few-shot learning. It consists of organising training in a series of learning problems, each relying on small "support" and "query" sets to mimic the few-shot circumstances encountered during evaluation. In this paper, we investigate the usefulness of episodic learning in Prototypical Networks and Matching Networks, two of the most popular algorithms making use of this practice. Surprisingly, in our experiments we found that, for Prototypical and Matching Networks, it is detrimental to use the episodic learning strategy of separating training samples between support and query set, as it is a data-inefficient way to exploit training batches. These "non-episodic" variants, which are closely related to the classic Neighbourhood Component Analysis, reliably improve over their episodic counterparts in multiple datasets, achieving an accuracy that (in the case of Prototypical Networks) is competitive with the state-of-the-art, despite being extremely simple.
• Abstract（参考訳）: エピソディクス学習は、少数の学習に興味を持つ研究者や実践者の間で人気のある実践である。 一連の学習問題のトレーニングを組織化し、それぞれが小さな"サポート"セットと"クエリ"セットに依存して、評価中に遭遇する数少ない状況を模倣する。 本稿では,この手法を応用したアルゴリズムの2つである,プロトタイプネットワークとマッチングネットワークにおけるエピソード学習の有用性について検討する。 驚くべきことに、私たちの実験では、プロトタイプネットワークとマッチングネットワークでは、トレーニングサンプルをサポートとクエリセットに分離するエピソディクス学習戦略を使うのは、トレーニングバッチを利用するデータ非効率な方法である、ということが分かりました。 古典的な近傍成分分析と密接に関連しているこれらの「非エピソジック」変種は、複数のデータセットにおけるエピソジックな特徴よりも確実に改善され、非常に単純なにもかかわらず(プロトタイプネットワークの場合)最先端技術と競合する正確性を達成する。

関連論文リスト

• Dissecting U-net for Seismic Application: An In-Depth Study on Deep Learning Multiple Removal [3.058685580689605]
  地震処理は、しばしばデータ収集時に現れる多重を抑圧する必要がある。 我々は、その使い方の複雑さを減らしながら、競争力のある結果を提供するディープラーニングベースの代替案を提示します。
  論文  参考訳（メタデータ） (2022-06-24T07:16:27Z)
• Modality Competition: What Makes Joint Training of Multi-modal Network Fail in Deep Learning? (Provably) [75.38159612828362]
  最高のユニモーダルネットワークは、共同で訓練されたマルチモーダルネットワークよりも優れていることが観察されている。 この研究は、ニューラルネットワークにおけるそのようなパフォーマンスギャップの出現に関する理論的な説明を提供する。
  論文  参考訳（メタデータ） (2022-03-23T06:21:53Z)
• BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
  本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。 我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-03-03T05:31:33Z)
• Uniform Sampling over Episode Difficulty [55.067544082168624]
  本稿では,その難易度に基づいて,エピソードサンプリング分布を近似する手法を提案する。 提案手法はアルゴリズムに依存しないため,これらの知見を利用して数発の学習精度を向上させることができる。
  論文  参考訳（メタデータ） (2021-08-03T17:58:54Z)
• Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
  2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。 まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。 第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2021-01-20T11:48:12Z)
• Region Comparison Network for Interpretable Few-shot Image Classification [97.97902360117368]
  新しいクラスのモデルをトレーニングするために、ラベル付きサンプルの限られた数だけを効果的に活用するための画像分類が提案されている。 本研究では,領域比較ネットワーク (RCN) と呼ばれる距離学習に基づく手法を提案する。 また,タスクのレベルからカテゴリへの解釈可能性の一般化も提案する。
  論文  参考訳（メタデータ） (2020-09-08T07:29:05Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• Simultaneous Perturbation Stochastic Approximation for Few-Shot Learning [0.5801044612920815]
  本稿では, プロトタイプ型ネットワーク手法に基づく, プロトタイプライクな少数ショット学習手法を提案する。 ベンチマークデータセットを用いた実験の結果,提案手法は元のネットワークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-09T09:47:58Z)
• Dynamic Sampling for Deep Metric Learning [7.010669841466896]
  深度メートル法学習は、視覚的に類似した画像を近くの場所にマッピングし、埋め込み多様体内の互いに視覚的に異なる画像を分離する。 トレーニングペアをネットワークに送受信し易い順に整理する動的サンプリング戦略を提案する。 これにより、ネットワークは、初期の簡単なトレーニングペアからカテゴリ間の一般的な境界を学習し、後のハードトレーニングサンプルに主に依存したモデルの詳細を確定することができる。
  論文  参考訳（メタデータ） (2020-04-24T09:47:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。