論文の概要: Addressing Catastrophic Forgetting in Few-Shot Problems

• arxiv url: http://arxiv.org/abs/2005.00146v3
• Date: Mon, 21 Jun 2021 10:15:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 03:31:17.960319
• Title: Addressing Catastrophic Forgetting in Few-Shot Problems
• Title（参考訳）: ファウショット問題におけるカタストロフィック・フォーミングへの取り組み
• Authors: Pauching Yap, Hippolyt Ritter and David Barber
• Abstract要約: 勾配に基づくモデル非依存メタラーニングアルゴリズム (MAML) は, 破滅的な忘れ込みに悩まされている。 この問題に対処するBayesianのオンラインメタ学習フレームワークを紹介する。 また,本フレームワークは,静止タスク分布から順次到着する数発のタスクをメタ学習することができることを実証的に実証した。
• 参考スコア（独自算出の注目度）: 21.796887999289506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are known to suffer from catastrophic forgetting when trained on sequential datasets. While there have been numerous attempts to solve this problem in large-scale supervised classification, little has been done to overcome catastrophic forgetting in few-shot classification problems. We demonstrate that the popular gradient-based model-agnostic meta-learning algorithm (MAML) indeed suffers from catastrophic forgetting and introduce a Bayesian online meta-learning framework that tackles this problem. Our framework utilises Bayesian online learning and meta-learning along with Laplace approximation and variational inference to overcome catastrophic forgetting in few-shot classification problems. The experimental evaluations demonstrate that our framework can effectively achieve this goal in comparison with various baselines. As an additional utility, we also demonstrate empirically that our framework is capable of meta-learning on sequentially arriving few-shot tasks from a stationary task distribution.
• Abstract（参考訳）: ニューラルネットワークは、シーケンシャルデータセットでトレーニングされた場合、壊滅的な忘れに苦しむことが知られている。 大規模な教師付き分類においてこの問題を解決する試みは数多くあるが、数発の分類問題において破滅的な忘れを克服する試みはほとんど行われていない。 一般的な勾配に基づくモデルに依存しないメタラーニングアルゴリズム(MAML)は破滅的な忘れ込みに悩まされていることを実証し,この問題に対処するベイズ的オンラインメタラーニングフレームワークを導入する。 提案手法は,ベイズオンライン学習とメタラーニングとラプラス近似と変分推論を併用し,小ショット分類問題における破滅的な忘れを克服する。 実験により,本フレームワークは様々なベースラインと比較して,この目標を効果的に達成できることが示された。 追加のユーティリティとして、我々のフレームワークが定常タスク分散から順次到着する少数タスクをメタラーニングできることを実証的に示します。

関連論文リスト

• Fast Hierarchical Learning for Few-Shot Object Detection [57.024072600597464]
  転送学習アプローチは、最近、数ショット検出タスクで有望な結果を得た。 これらのアプローチは、ベース検出器の微調整による破滅的な忘れ込みの問題に悩まされる。 この作業における上記の問題に対処する。
  論文  参考訳（メタデータ） (2022-10-10T20:31:19Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• Adversarial Attacks on Graph Classification via Bayesian Optimisation [25.781404695921122]
  本稿では,グラフ分類モデルに対する新たな最適化に基づく攻撃手法を提案する。 提案手法は, 摂動に関して, ブラックボックスであり, クエリ効率が高く, 相似である。 提案手法の有効性と柔軟性を幅広いグラフ分類タスクで実証的に検証する。
  論文  参考訳（メタデータ） (2021-11-04T13:01:20Z)
• Cross-Domain Few-Shot Classification via Adversarial Task Augmentation [16.112554109446204]
  少数のショット分類は、各クラスのラベル付きサンプルがほとんどなく、見えないクラスを認識することを目的とする。 数ショット分類のためのメタラーニングモデルの多くは、そのようなタスクを解決するために様々なタスク共有帰納バイアス(メタ知識)を精巧に設計する。 本研究は,タスク強化による帰納バイアスの堅牢性向上を目的としている。
  論文  参考訳（メタデータ） (2021-04-29T14:51:53Z)
• Analyzing Overfitting under Class Imbalance in Neural Networks for Image Segmentation [19.259574003403998]
  画像分割では、ニューラルネットワークは小さな構造物の前景サンプルに過剰に適合する可能性がある。 本研究では,ネットワークの動作を検査することにより,クラス不均衡下でのオーバーフィッティング問題に対する新たな知見を提供する。
  論文  参考訳（メタデータ） (2021-02-20T14:57:58Z)
• Hyperspherical embedding for novel class classification [1.5952956981784217]
  本稿では,正規化ソフトマックス損失下での潜在空間の表現に制約に基づくアプローチを提案する。 本研究では,メトリクス学習と正規化ソフトマックス損失の両方を用いて,異なるデータセット上の未知のクラスを分類するための提案手法を実験的に検証した。 この結果から,提案した戦略は,ペアワイズ学習を必要とせず,メトリック学習戦略よりも優れた分類結果を提供するため,より大規模なクラスで効率的に学習可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-05T15:42:13Z)
• Meta-Learning with Network Pruning [40.07436648243748]
  本稿では,ネットワークのキャパシティを明示的に制御することで,ネットワークプルーニングに基づくメタラーニング手法を提案する。 我々はDense-Sparse-Dense (DSD) と Iterative Hard Thresholding (IHT) の2つのネットワークプルーニングルーチンを組み込んだReptile上でのアプローチを実装した。
  論文  参考訳（メタデータ） (2020-07-07T06:13:11Z)
• Regularizing Meta-Learning via Gradient Dropout [102.29924160341572]
  メタ学習モデルは、メタ学習者が一般化するのに十分なトレーニングタスクがない場合、過度に適合する傾向がある。 本稿では,勾配に基づくメタ学習において過度に適合するリスクを軽減するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2020-04-13T10:47:02Z)
• Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant Disease Diagnosis [64.82680813427054]
  植物病は食料安全保障と作物生産に対する主要な脅威の1つである。 1つの一般的なアプローチは、葉画像分類タスクとしてこの問題を変換し、強力な畳み込みニューラルネットワーク(CNN)によって対処できる。 本稿では,正規化メタ学習モジュールを共通CNNパラダイムに組み込んだ新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-17T09:51:30Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Meta Cyclical Annealing Schedule: A Simple Approach to Avoiding Meta-Amortization Error [50.83356836818667]
  循環型アニーリングスケジュールとMMD基準を用いた新しいメタレギュラー化目標を構築した。 実験の結果,本手法は標準的なメタ学習アルゴリズムよりもかなり優れていることがわかった。
  論文  参考訳（メタデータ） (2020-03-04T04:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。