Fugu-MT 論文翻訳(概要): Few-Shot Class Incremental Learning via Robust Transformer Approach

論文の概要: Few-Shot Class Incremental Learning via Robust Transformer Approach

arxiv url: http://arxiv.org/abs/2405.05984v1
Date: Wed, 8 May 2024 03:35:52 GMT
ステータス: 処理完了
システム内更新日: 2024-05-13 17:45:54.521581
Title: Few-Shot Class Incremental Learning via Robust Transformer Approach
Title（参考訳）: ロバスト変圧器を用いた数ショットクラスインクリメンタルラーニング
Authors: Naeem Paeedeh, Mahardhika Pratama, Sunu Wibirama, Wolfgang Mayer, Zehong Cao, Ryszard Kowalczyk,
Abstract要約: Few-Shot Class-Incremental Learningは,データ不足の問題にモデルが直面しているクラス増分学習問題の拡張を提示する。この問題は、最近のすべての研究が、準最適に実行される畳み込みニューラルネットワークの上に構築されているため、未解決の問題のままである。本稿では,コンパクト畳み込み変換器を用いたロバスト変換器を提案する。
参考スコア（独自算出の注目度）: 16.590193619691416
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Few-Shot Class-Incremental Learning presents an extension of the Class Incremental Learning problem where a model is faced with the problem of data scarcity while addressing the catastrophic forgetting problem. This problem remains an open problem because all recent works are built upon the convolutional neural networks performing sub-optimally compared to the transformer approaches. Our paper presents Robust Transformer Approach built upon the Compact Convolution Transformer. The issue of overfitting due to few samples is overcome with the notion of the stochastic classifier, where the classifier's weights are sampled from a distribution with mean and variance vectors, thus increasing the likelihood of correct classifications, and the batch-norm layer to stabilize the training process. The issue of CF is dealt with the idea of delta parameters, small task-specific trainable parameters while keeping the backbone networks frozen. A non-parametric approach is developed to infer the delta parameters for the model's predictions. The prototype rectification approach is applied to avoid biased prototype calculations due to the issue of data scarcity. The advantage of ROBUSTA is demonstrated through a series of experiments in the benchmark problems where it is capable of outperforming prior arts with big margins without any data augmentation protocols.
Abstract（参考訳）: Few-Shot Class-Incremental Learningは,大惨な忘れの問題に対処しながら,データ不足の問題に直面したクラス増分学習問題の拡張を提示する。この問題は、最近のすべての研究が、トランスフォーマーアプローチと比較して準最適に実行する畳み込みニューラルネットワークに基づいて構築されているため、未解決の問題のままである。本稿では,コンパクト畳み込み変換器を用いたロバスト変換器を提案する。サンプル数が少ないことによるオーバーフィッティングの問題は、平均および分散ベクトルの分布から分類器の重みをサンプリングする確率的分類器の概念によって克服され、それによって正しい分類の可能性が増大し、訓練過程を安定化させるバッチノルム層が成立する。 CFの問題は、バックボーンネットワークを凍結させながらデルタパラメータ、小さなタスク固有のトレーニング可能なパラメータの考え方に対処する。非パラメトリックなアプローチは、モデルの予測に対するデルタパラメータを推測するために開発されている。データ不足の問題による偏りのあるプロトタイプ計算を避けるために,プロトタイプ修正手法を適用した。 ROBUSTAの利点は、データ拡張プロトコルを使わずに、大きなマージンを持つ先行技術よりも優れているというベンチマーク問題において、一連の実験を通じて実証されている。

関連論文リスト

SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文参考訳（メタデータ） (2024-08-19T17:32:15Z)
Informed Correctors for Discrete Diffusion Models [32.87362154118195]
モデルで学習した情報を活用することにより、より確実に離散化誤差に対処できる情報修正系を提案する。また,$k$-Gillespie'sも提案する。これは,各モデル評価をよりよく活用するサンプリングアルゴリズムで,$tau$-leapingの速度と柔軟性を引き続き享受する。いくつかの実・合成データセットにおいて,情報付き修正器を用いた$k$-Gillespieは,より低い計算コストで高い品質のサンプルを確実に生成することを示す。
論文参考訳（メタデータ） (2024-07-30T23:29:29Z)
Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
論文参考訳（メタデータ） (2024-06-24T23:00:58Z)
Tilt your Head: Activating the Hidden Spatial-Invariance of Classifiers [0.7704032792820767]
ディープニューラルネットワークは、日々の生活の多くの領域に適用されている。これらは、空間的に変換された入力信号に頑健に対処するなど、依然として必須の能力が欠如している。本稿では,ニューラルネットの推論過程をエミュレートする新しい手法を提案する。
論文参考訳（メタデータ） (2024-05-06T09:47:29Z)
RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文参考訳（メタデータ） (2023-07-05T12:49:02Z)
Entropy optimized semi-supervised decomposed vector-quantized variational autoencoder model based on transfer learning for multiclass text classification and generation [3.9318191265352196]
多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
論文参考訳（メタデータ） (2021-11-10T07:07:54Z)
Variational Inference with NoFAS: Normalizing Flow with Adaptive Surrogate for Computationally Expensive Models [7.217783736464403]
マルコフ連鎖モンテカルロのようなサンプリングに基づくアプローチの使用は、それぞれの可能性評価が計算的に高価であるときに難解になる可能性がある。変分推論と正規化フローを組み合わせた新しいアプローチは、潜在変数空間の次元と線形にしか成長しない計算コストによって特徴づけられる。本稿では,ニューラルネットワークサロゲートモデルの正規化フローパラメータと重みを代わりに更新する最適化戦略である,適応サロゲートを用いた正規化フロー(NoFAS)を提案する。
論文参考訳（メタデータ） (2021-08-28T14:31:45Z)
Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文参考訳（メタデータ） (2021-03-15T16:16:18Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)
Imbalanced Data Learning by Minority Class Augmentation using Capsule Adversarial Networks [31.073558420480964]
本稿では,2つの同時手法を合体させて,不均衡な画像のバランスを回復する手法を提案する。我々のモデルでは、生成的および識別的ネットワークは、新しい競争力のあるゲームをする。カプセルGANの合体は、畳み込みGANと比較して非常に少ないパラメータで重なり合うクラスを認識するのに効果的である。
論文参考訳（メタデータ） (2020-04-05T12:36:06Z)
Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。