論文の概要: Online Hyperparameter Optimization for Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2301.05032v1
- Date: Wed, 11 Jan 2023 17:58:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-13 13:50:06.211215
- Title: Online Hyperparameter Optimization for Class-Incremental Learning
- Title（参考訳）: 授業増分学習のためのオンラインハイパーパラメータ最適化
- Authors: Yaoyao Liu, Yingying Li, Bernt Schiele, Qianru Sun
- Abstract要約: クラス増分学習(Class-incremental Learning, CIL)は、クラス数の増加とともに段階的に分類モデルを訓練することを目的としている。
CILの固有の課題は、安定性と塑性のトレードオフである。すなわち、CILモデルは古い知識を保ち、新しい知識を吸収するためにプラスチックを保たなければならない。
本稿では,事前設定を知らずにトレードオフを適応的に最適化するオンライン学習手法を提案する。
- 参考スコア（独自算出の注目度）: 99.70569355681174
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Class-incremental learning (CIL) aims to train a classification model while
the number of classes increases phase-by-phase. An inherent challenge of CIL is
the stability-plasticity tradeoff, i.e., CIL models should keep stable to
retain old knowledge and keep plastic to absorb new knowledge. However, none of
the existing CIL models can achieve the optimal tradeoff in different
data-receiving settings--where typically the training-from-half (TFH) setting
needs more stability, but the training-from-scratch (TFS) needs more
plasticity. To this end, we design an online learning method that can
adaptively optimize the tradeoff without knowing the setting as a priori.
Specifically, we first introduce the key hyperparameters that influence the
trade-off, e.g., knowledge distillation (KD) loss weights, learning rates, and
classifier types. Then, we formulate the hyperparameter optimization process as
an online Markov Decision Process (MDP) problem and propose a specific
algorithm to solve it. We apply local estimated rewards and a classic bandit
algorithm Exp3 [4] to address the issues when applying online MDP methods to
the CIL protocol. Our method consistently improves top-performing CIL methods
in both TFH and TFS settings, e.g., boosting the average accuracy of TFH and
TFS by 2.2 percentage points on ImageNet-Full, compared to the state-of-the-art
[23].
- Abstract（参考訳）: class-incremental learning (cil) は分類モデルを訓練することを目的としており、クラスの数は段階ごとに増加する。
CILの固有の課題は、安定性と塑性のトレードオフである。すなわち、CILモデルは古い知識を保ち、新しい知識を吸収するためにプラスチックを保たなければならない。
しかし、既存のCILモデルでは、異なるデータ受信設定で最適なトレードオフを達成できない。通常、トレーニング・アット・ハーフ(TFH)設定はより安定性を必要とするが、トレーニング・アット・スクラッチ(TFS)はより可塑性を必要とする。
そこで我々は,事前設定を知らずにトレードオフを適応的に最適化できるオンライン学習手法を設計する。
具体的には、まず、トレードオフ、例えば知識蒸留(KD)損失重み、学習率、分類器タイプに影響を与える重要なハイパーパラメータを紹介する。
次に,ハイパーパラメータ最適化プロセスをオンラインマルコフ決定プロセス(mdp)問題として定式化し,それを解決するアルゴリズムを提案する。
我々は,CILプロトコルにオンラインMDP手法を適用する際の問題を解決するために,局所推定報酬と古典的帯域幅アルゴリズムExp3[4]を適用した。
提案手法は, TFH と TFS の両方の設定において, TFH と TFS の平均精度を ImageNet-Full で2.2 ポイント向上するなど, 最高性能の CIL 手法を常に改善する。
関連論文リスト
- Criticality Leveraged Adversarial Training (CLAT) for Boosted Performance via Parameter Efficiency [15.211462468655329]
CLATは、パラメータ効率を敵のトレーニングプロセスに導入し、クリーンな精度と敵の堅牢性の両方を改善した。
既存の対数訓練法に応用でき、トレーニング可能なパラメータの数を約95%削減できる。
論文 参考訳（メタデータ） (2024-08-19T17:58:03Z) - SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。
過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。
提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
論文 参考訳（メタデータ） (2024-08-15T17:50:07Z) - Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud
Semantic Segmentation via Decoupling Optimization [64.36097398869774]
半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。
既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。
本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-13T04:16:40Z) - Knowledge Distillation for Federated Learning: a Practical Guide [8.2791533759453]
フェデレートラーニング(FL)は、センシティブな生データを集中的に収集することなく、ディープラーニングモデルのトレーニングを可能にする。
FLの最もよく使われるアルゴリズムはパラメータに基づくスキーム(フェデレート平均化など)である。
我々は、特定のFL問題に適したKDベースのアルゴリズムのレビューを行う。
論文 参考訳（メタデータ） (2022-11-09T08:31:23Z) - Learning to Optimize Permutation Flow Shop Scheduling via Graph-based
Imitation Learning [70.65666982566655]
置換フローショップスケジューリング(PFSS)は製造業で広く使われている。
我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。
我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
論文 参考訳（メタデータ） (2022-10-31T09:46:26Z) - Hyperparameter-free Continuous Learning for Domain Classification in
Natural Language Understanding [60.226644697970116]
ドメイン分類は自然言語理解(NLU)の基本課題である
既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。
本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
論文 参考訳（メタデータ） (2022-01-05T02:46:16Z) - Scalable One-Pass Optimisation of High-Dimensional Weight-Update
Hyperparameters by Implicit Differentiation [0.0]
近似的過勾配型ハイパーパラメータオプティマイザを開発した。
トレーニングは1回のみであり、再スタートは行わない。
また、真の過次性への収束を動機づける議論も提供する。
論文 参考訳（メタデータ） (2021-10-20T09:57:57Z) - Few-Shot Lifelong Learning [35.05196800623617]
Few-Shot Lifelong Learningにより、深層学習モデルが短距離/連続学習を実行できます。
提案手法では,モデルからごく少数のパラメータを選択して,モデル全体をトレーニングする代わりに,新しいクラスのセットをトレーニングする。
提案手法は, miniImageNet, CIFAR-100, CUB-200データセットにおいて, 既存の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-03-01T13:26:57Z) - AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。
実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文 参考訳（メタデータ） (2020-06-11T16:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。