論文の概要: MIND: Multi-Task Incremental Network Distillation
- arxiv url: http://arxiv.org/abs/2312.02916v1
- Date: Tue, 5 Dec 2023 17:46:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 14:58:22.464282
- Title: MIND: Multi-Task Incremental Network Distillation
- Title（参考訳）: MIND:マルチタスクインクリメンタルネットワーク蒸留
- Authors: Jacopo Bonato, Francesco Pelosin, Luigi Sabetta, Alessandro Nicolosi
- Abstract要約: 本研究では,リプレイフリーソリューションの性能向上を目的としたパラメータ分離手法 MIND を提案する。
以上の結果から,MINDの優れた性能は,クラス増分学習やドメイン増分学習によってもたらされる課題に対処する可能性を示している。
- 参考スコア（独自算出の注目度）: 45.74830585715129
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The recent surge in pervasive devices generating dynamic data streams has
underscored the necessity for learning systems to adapt to data distributional
shifts continually. To tackle this challenge, the research community has put
forth a spectrum of methodologies, including the demanding pursuit of
class-incremental learning without replay data. In this study, we present MIND,
a parameter isolation method that aims to significantly enhance the performance
of replay-free solutions and achieve state-of-the-art results on several widely
studied datasets. Our approach introduces two main contributions: two
alternative distillation procedures that significantly improve the efficiency
of MIND increasing the accumulated knowledge of each sub-network, and the
optimization of the BachNorm layers across tasks inside the sub-networks.
Overall, MIND outperforms all the state-of-the-art methods for rehearsal-free
Class-Incremental learning (with an increment in classification accuracy of
approx. +6% on CIFAR-100/10 and +10% on TinyImageNet/10) reaching up to approx.
+40% accuracy in Domain-Incremental scenarios. Moreover, we ablated each
contribution to demonstrate its impact on performance improvement. Our results
showcase the superior performance of MIND indicating its potential for
addressing the challenges posed by Class-incremental and Domain-Incremental
learning in resource-constrained environments.
- Abstract（参考訳）: ダイナミックなデータストリームを生成する普及的なデバイスの増加は、学習システムがデータの分散シフトに継続的に適応する必要性を浮き彫りにした。
この課題に対処するため、研究コミュニティは、データを再生することなく、クラス増分学習の追求を求めるなど、様々な方法論を策定した。
本研究では,リプレイフリーソリューションの性能を著しく向上させ,広く研究されているデータセット上で最先端の結果を得るためのパラメータ分離手法であるmindを提案する。
提案手法では,各サブネットワークの蓄積した知識を増大させるMINDの効率を大幅に向上する2つの代替蒸留法と,サブネットワーク内のタスク間でのBachNorm層の最適化を提案する。
総じて、マインドはリハーサルフリーなクラスインクリメンタル学習(cifar-100/10ではおよそ+6%、tinyimagenet/10では+10%)の最先端の方法よりも優れています。
+40%の精度を示した。
さらに,それぞれの貢献を補足して,そのパフォーマンス向上への影響を実証した。
本研究は,資源制約環境におけるクラス増分学習とドメイン増分学習がもたらす課題に対処する可能性を示すMINDの優れた性能を示すものである。
関連論文リスト
- Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。
事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。
次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
論文 参考訳（メタデータ） (2024-08-21T06:48:38Z) - Multi-Epoch learning with Data Augmentation for Deep Click-Through Rate Prediction [53.88231294380083]
非連続的な学習シナリオと連続的な学習シナリオの両方に適合する、新しいMulti-Epoch Learning with Data Augmentation (MEDA)フレームワークを導入する。
MEDAは、その後のトレーニングデータへの埋め込み層の依存性を減らし、過度な適合を最小化する。
実験の結果,プレトレーニングした層が新しい埋め込み空間に適応し,過度に適合することなく性能を向上できることが確認された。
論文 参考訳（メタデータ） (2024-06-27T04:00:15Z) - DynaMMo: Dynamic Model Merging for Efficient Class Incremental Learning for Medical Images [0.8213829427624407]
継続学習は、学習した情報を保持しながら新しいデータから知識を得る能力であり、機械学習における根本的な課題である。
本研究では,モデル学習の異なる段階で複数のネットワークをマージし,より優れた計算効率を実現するDynaMMOを提案する。
我々はDynaMMoを3つの公開データセット上で評価し、既存のアプローチと比較してその効果を実証した。
論文 参考訳（メタデータ） (2024-04-22T11:37:35Z) - Reinforcement Learning Based Multi-modal Feature Fusion Network for
Novel Class Discovery [47.28191501836041]
本稿では,人間の認知過程をシミュレートするために強化学習フレームワークを用いる。
また,マルチモーダル情報から特徴を抽出・融合するマルチエージェントフレームワークをデプロイした。
我々は、OS-MN40、OS-MN40-Miss、Cifar10データセットを用いて、3Dドメインと2Dドメインの両方でのアプローチの性能を示す。
論文 参考訳（メタデータ） (2023-08-26T07:55:32Z) - Scaling Data Generation in Vision-and-Language Navigation [116.95534559103788]
本稿では,学習のための大規模データ生成に有効なパラダイムを提案する。
我々は、HM3DとGibsonのデータセットから1200以上のフォトリアリスティック環境を適用し、490万の命令軌道対を合成する。
我々の大規模データセットのおかげで、既存のエージェントの性能は(以前のSoTAでは+11%絶対)、単純な模倣学習によってR2Rテストの分割で80%の単ラン成功率で大幅に向上できる。
論文 参考訳（メタデータ） (2023-07-28T16:03:28Z) - Learning Better with Less: Effective Augmentation for Sample-Efficient
Visual Reinforcement Learning [57.83232242068982]
データ拡張(DA)は、ビジュアル強化学習(RL)アルゴリズムのサンプル効率を高める重要な手法である。
サンプル効率のよい視覚的RLを実現する上で, DAのどの属性が有効かは明らかになっていない。
本研究は,DAの属性が有効性に与える影響を評価するための総合的な実験を行う。
論文 参考訳（メタデータ） (2023-05-25T15:46:20Z) - Rank Flow Embedding for Unsupervised and Semi-Supervised Manifold
Learning [9.171175292808144]
本稿では,教師なしおよび半教師付きシナリオに対するランクフロー埋め込み (RFE) という新しい多様体学習アルゴリズムを提案する。
RFEは文脈に敏感な埋め込みを計算し、それはランクベースの処理フローに従って洗練される。
生成された埋め込みは、より効果的な教師なし検索や半教師付き分類に利用することができる。
論文 参考訳（メタデータ） (2023-04-24T21:02:12Z) - Multi-Augmentation for Efficient Visual Representation Learning for
Self-supervised Pre-training [1.3733988835863333]
本稿では、パイプライン全体を構築するための様々な拡張ポリシーを網羅的に検索する、自己改善学習のためのマルチ強化(MA-SSRL)を提案する。
MA-SSRLは不変の特徴表現をうまく学習し、自己教師付き事前学習のための効率的で効果的で適応可能なデータ拡張パイプラインを提供する。
論文 参考訳（メタデータ） (2022-05-24T04:18:39Z) - Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。
畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。
この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
論文 参考訳（メタデータ） (2021-08-03T19:24:25Z) - Generalized Reinforcement Meta Learning for Few-Shot Optimization [3.7675996866306845]
本稿では, 汎用的かつ柔軟な強化学習(RL)に基づくメタラーニングフレームワークを提案する。
我々のフレームワークは簡単にネットワークアーキテクチャ検索に拡張できる。
論文 参考訳（メタデータ） (2020-05-04T03:21:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。