Fugu-MT 論文翻訳(概要): A Bag of Tricks for Few-Shot Class-Incremental Learning

論文の概要: A Bag of Tricks for Few-Shot Class-Incremental Learning

arxiv url: http://arxiv.org/abs/2403.14392v2
Date: Sun, 8 Sep 2024 10:59:16 GMT
ステータス: 処理完了
システム内更新日: 2024-09-11 03:12:39.436619
Title: A Bag of Tricks for Few-Shot Class-Incremental Learning
Title（参考訳）: Few-Shot Class-Incremental Learningのためのトリックの袋
Authors: Shuvendu Roy, Chunjong Park, Aldi Fahrezi, Ali Etemad,
Abstract要約: 数ショットのクラス増分学習(FSCIL)のためのトリックの袋を提示する。 FSCILは安定性と適応性の両方を必要とし、新しいタスクを学習しながら、以前に学習したタスクの習熟性を維持する。これらのトリックを,安定性トリック,適応性トリック,トレーニングトリックという3つのカテゴリに分類する。
参考スコア（独自算出の注目度）: 20.95422402702963
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: We present a bag of tricks framework for few-shot class-incremental learning (FSCIL), which is a challenging form of continual learning that involves continuous adaptation to new tasks with limited samples. FSCIL requires both stability and adaptability, i.e., preserving proficiency in previously learned tasks while learning new ones. Our proposed bag of tricks brings together six key and highly influential techniques that improve stability, adaptability, and overall performance under a unified framework for FSCIL. We organize these tricks into three categories: stability tricks, adaptability tricks, and training tricks. Stability tricks aim to mitigate the forgetting of previously learned classes by enhancing the separation between the embeddings of learned classes and minimizing interference when learning new ones. On the other hand, adaptability tricks focus on the effective learning of new classes. Finally, training tricks improve the overall performance without compromising stability or adaptability. We perform extensive experiments on three benchmark datasets, CIFAR-100, CUB-200, and miniIMageNet, to evaluate the impact of our proposed framework. Our detailed analysis shows that our approach substantially improves both stability and adaptability, establishing a new state-of-the-art by outperforming prior works in the area. We believe our method provides a go-to solution and establishes a robust baseline for future research in this area.
Abstract（参考訳）: 本稿では,少数のクラスインクリメンタル・ラーニング(FSCIL)のためのトリック・フレームワークについて紹介する。 FSCILは安定性と適応性の両方を必要とする。提案手法は,FSCILの統一フレームワークの下で,安定性,適応性,全体的な性能を向上させる6つの重要かつ影響力の高いテクニックを組み合わさったものである。これらのトリックを,安定性トリック,適応性トリック,トレーニングトリックという3つのカテゴリに分類する。安定性のトリックは、学習したクラスの埋め込みの分離を強化し、新しいクラスを学ぶ際の干渉を最小限にすることで、学習したクラスの忘れを緩和することを目的としている。一方、適応性のトリックは、新しいクラスの効果的な学習に焦点を当てている。最後に、トレーニングのトリックは、安定性や適応性を損なうことなく、全体的なパフォーマンスを改善する。我々は,CIFAR-100,CUB-200,MiniIMageNetの3つのベンチマークデータセットについて広範な実験を行い,提案フレームワークの効果を評価する。詳細な分析により,本手法は安定性と適応性の両方を著しく向上させ,その領域における先行研究を上回り,新たな最先端技術を確立した。我々は,本手法がゴーツーソリューションであり,今後の研究の基盤となると信じている。

関連論文リスト

CLOSER: Towards Better Representation Learning for Few-Shot Class-Incremental Learning [52.63674911541416]
FSCIL(Few-shot class-incremental Learning)は、過剰適合や忘れなど、いくつかの課題に直面している。 FSCILの独特な課題に取り組むため、ベースクラスでの表現学習に重点を置いている。より制限された機能空間内で機能の拡散を確保することで、学習された表現が、伝達可能性と識別可能性のバランスを良くすることが可能になることが分かりました。
論文参考訳（メタデータ） (2024-10-08T02:23:16Z)
Continual Human Pose Estimation for Incremental Integration of Keypoints and Pose Variations [12.042768320132694]
本稿では,連続的な学習課題として,データセット間のポーズ推定を再構成する。我々は、破滅的な忘れを緩和するための確立された正規化に基づく手法に対して、この定式化をベンチマークする。提案手法は,既存の正規化に基づく継続学習戦略よりも優れていることを示す。
論文参考訳（メタデータ） (2024-09-30T16:29:30Z)
FeTrIL++: Feature Translation for Exemplar-Free Class-Incremental Learning with Hill-Climbing [3.533544633664583]
EFCIL(Exemplar-free class-incremental Learning)は、主に破滅的な忘れが原因で大きな課題を提起する。従来のEFCILのアプローチは、連続した微調整や安定性を通じて、プラスチックのモデルに傾くのが一般的である。本稿では,様々なオーバーサンプリング手法と動的最適化手法の有効性を検討するための基礎的なFeTrILフレームワークを構築した。
論文参考訳（メタデータ） (2024-03-12T08:34:05Z)
Auxiliary Classifiers Improve Stability and Efficiency in Continual Learning [13.309853617922824]
連続学習における中間的ニューラルネットワーク層の安定性について検討する。補助分類器(AC)はこの安定性を利用して性能を向上させることができることを示す。以上の結果から,ACは継続学習モデルの拡張に有望な道筋であることを示唆した。
論文参考訳（メタデータ） (2024-03-12T08:33:26Z)
Evaluating and Improving Continual Learning in Spoken Language Understanding [58.723320551761525]
本研究では,連続学習における安定性,可塑性,一般化性に関する統一的な評価手法を提案する。提案手法を用いることで,SLUモデルのこれらの3つの特性の異なる側面を,様々な知識蒸留の導入によってどのように改善するかを実証する。
論文参考訳（メタデータ） (2024-02-16T03:30:27Z)
On the Stability-Plasticity Dilemma of Class-Incremental Learning [50.863180812727244]
クラス増分学習の第一の目的は、安定性と可塑性のバランスをとることである。本稿では,近年のクラス増分学習アルゴリズムが,安定性と塑性のトレードオフにいかに効果的かを明らかにすることを目的とする。
論文参考訳（メタデータ） (2023-04-04T09:34:14Z)
Achieving a Better Stability-Plasticity Trade-off via Auxiliary Networks in Continual Learning [23.15206507040553]
本稿では、ニューラルネットワークに現在の課題を学習する能力を持たせるために、補助的ネットワーク継続学習(ANCL)を提案する。 ANCLは、主に安定性に焦点を当てた継続的な学習モデルに可塑性を促進する補助ネットワークを付加する。より具体的には、提案するフレームワークは、可塑性と安定性を自然に補間する正規化器として実現されている。
論文参考訳（メタデータ） (2023-03-16T17:00:42Z)
Weighted Ensemble Self-Supervised Learning [67.24482854208783]
組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
論文参考訳（メタデータ） (2022-11-18T02:00:17Z)
Balancing Stability and Plasticity through Advanced Null Space in Continual Learning [77.94570903726856]
我々は,従来のタスクの古いデータを格納することなく,安定性と可塑性のバランスをとるために,新しい連続学習手法Advanced Null Space(AdNS)を提案する。また,現在のタスクの性能向上を図るため,タスク内蒸留を簡便かつ効果的に行う方法を提案する。実験結果から,提案手法は最先端の連続学習手法よりも優れた性能が得られることが示された。
論文参考訳（メタデータ） (2022-07-25T11:04:22Z)
Towards Better Plasticity-Stability Trade-off in Incremental Learning: A simple Linear Connector [8.13916229438606]
塑性安定性ジレンマはインクリメンタルラーニングの主要な問題である。本研究では,従来のタスクに対するヌルスペースプロジェクションと,現在のタスクに対する単純なSGDの2つの独立最適化されたネットワークの単純な平均化が,すでに学習した知識の保存と,新しいタスクの学習に十分な柔軟性を付与することとの有意義なバランスを達成可能であることを示す。
論文参考訳（メタデータ） (2021-10-15T07:37:20Z)
Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
論文参考訳（メタデータ） (2020-06-12T06:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。