論文の概要: Class Incremental Learning with Task-Specific Batch Normalization and Out-of-Distribution Detection

• arxiv url: http://arxiv.org/abs/2411.00430v1
• Date: Fri, 01 Nov 2024 07:54:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:50:09.333121
• Title: Class Incremental Learning with Task-Specific Batch Normalization and Out-of-Distribution Detection
• Title（参考訳）: タスク特化バッチ正規化とアウト・オブ・ディストリビューション検出によるクラスインクリメンタル学習
• Authors: Xuchen Xie, Yiqiao Qiu, Run Lin, Weishi Zheng, Ruixuan Wang,
• Abstract要約: 本研究では、画像分類のための漸進的な学習に焦点を当て、記憶やプライバシーの制約により古いデータへのアクセスが制限された場合、すべての学習知識の破滅的な忘れ込みを減らす方法について検討する。 漸進的な学習の課題は、可塑性、新しい知識を学ぶ能力、安定性、古い知識を維持する能力の最適なバランスを達成することである。
• 参考スコア（独自算出の注目度）: 25.224930928724326
• License:
• Abstract: This study focuses on incremental learning for image classification, exploring how to reduce catastrophic forgetting of all learned knowledge when access to old data is restricted due to memory or privacy constraints. The challenge of incremental learning lies in achieving an optimal balance between plasticity, the ability to learn new knowledge, and stability, the ability to retain old knowledge. Based on whether the task identifier (task-ID) of an image can be obtained during the test stage, incremental learning for image classifcation is divided into two main paradigms, which are task incremental learning (TIL) and class incremental learning (CIL). The TIL paradigm has access to the task-ID, allowing it to use multiple task-specific classification heads selected based on the task-ID. Consequently, in CIL, where the task-ID is unavailable, TIL methods must predict the task-ID to extend their application to the CIL paradigm. Our previous method for TIL adds task-specific batch normalization and classification heads incrementally. This work extends the method by predicting task-ID through an "unknown" class added to each classification head. The head with the lowest "unknown" probability is selected, enabling task-ID prediction and making the method applicable to CIL. The task-specific batch normalization (BN) modules effectively adjust the distribution of output feature maps across different tasks, enhancing the model's plasticity.Moreover, since BN has much fewer parameters compared to convolutional kernels, by only modifying the BN layers as new tasks arrive, the model can effectively manage parameter growth while ensuring stability across tasks. The innovation of this study lies in the first-time introduction of task-specific BN into CIL and verifying the feasibility of extending TIL methods to CIL through task-ID prediction with state-of-the-art performance on multiple datasets.
• Abstract（参考訳）: 本研究では、画像分類のための漸進的な学習に焦点を当て、記憶やプライバシーの制約により古いデータへのアクセスが制限された場合、すべての学習知識の破滅的な忘れ込みを減らす方法について検討する。 漸進的な学習の課題は、可塑性、新しい知識を学ぶ能力、安定性、古い知識を維持する能力の最適なバランスを達成することである。 テスト段階で画像のタスク識別子(タスクID)が得られるかどうかに基づいて、画像分類のための漸進学習をタスクインクリメンタルラーニング(TIL)とクラスインクリメンタルラーニング(CIL)の2つの主要なパラダイムに分割する。 TILパラダイムはタスクIDにアクセスでき、タスクIDに基づいて選択された複数のタスク固有の分類ヘッドを使用することができる。 したがって、タスクIDが利用できないCILでは、TILメソッドはタスクIDを予測して、そのアプリケーションをCILパラダイムに拡張する必要があります。 従来のTIL手法では,タスク固有のバッチ正規化と分類ヘッドを漸進的に追加する。 この研究は、各分類ヘッドに追加された"未知"クラスを通じてタスクIDを予測することによって、メソッドを拡張する。 最小の「未知」確率を持つヘッドが選択され、タスクID予測が可能となり、CILに適用できる。 タスク固有のバッチ正規化(BN)モジュールは、異なるタスク間の出力特徴写像の分布を効果的に調整し、モデルの可塑性を向上するが、BNは畳み込みカーネルに比べてパラメータがはるかに少ないため、新しいタスクが到着するときにのみBN層を変更することにより、タスク間の安定性を確保しながら、パラメータ成長を効果的に管理できる。 この研究の革新は、タスク固有のBNをCILに初めて導入し、タスクID予測と複数のデータセット上での最先端のパフォーマンスを通じて、TILメソッドをCILに拡張する可能性を検証することである。

関連論文リスト

• MCF-VC: Mitigate Catastrophic Forgetting in Class-Incremental Learning for Multimodal Video Captioning [10.95493493610559]
  マルチモーダルビデオキャプション(MCF-VC)のためのクラス増分学習におけるカタストロフィックフォーミングの軽減手法を提案する。 特徴レベルでの旧タスクと新タスクの知識特性をよりよく制約するために,2段階知識蒸留(TsKD)を作成した。 公開データセットMSR-VTTを用いた実験により,提案手法は古いサンプルを再生することなく過去のタスクを忘れることに対して著しく抵抗し,新しいタスクでうまく機能することを示した。
  論文  参考訳（メタデータ） (2024-02-27T16:54:08Z)
• Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class Incremental Learning [64.14254712331116]
  非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。 本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:34:11Z)
• Class Incremental Learning via Likelihood Ratio Based Task Prediction [20.145128455767587]
  新たな理論誘導アプローチは、タスクごとにタスク固有のモデルを、すべてのタスクに対して共有ネットワークでトレーニングすることである。 本稿では,従来のOOD検出器をタスクID予測に利用することは,追加情報を利用することができるため,最適ではないと主張している。 新手法をTPL (Task-id Prediction based on Likelihood Ratio) と呼ぶ。 強いCILベースラインを著しく上回り、破滅的な忘れがほとんどない。
  論文  参考訳（メタデータ） (2023-09-26T16:25:57Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• Task Residual for Tuning Vision-Language Models [69.22958802711017]
  タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。 TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。 提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
  論文  参考訳（メタデータ） (2022-11-18T15:09:03Z)
• KnowDA: All-in-One Knowledge Mixture Model for Data Augmentation in Few-Shot NLP [68.43279384561352]
  既存のデータ拡張アルゴリズムはタスク非依存のルールや微調整の汎用事前訓練言語モデルを利用する。 これらの手法は、簡単なタスク固有の知識を持ち、単純なタスクにおいて弱いベースラインのための低品質な合成データを得るに限られる。 我々は,様々なNLPタスクを予め学習したエンコーダ/デコーダLMの知識混合データ拡張モデル(KnowDA)を提案する。
  論文  参考訳（メタデータ） (2022-06-21T11:34:02Z)
• Continual Object Detection via Prototypical Task Correlation Guided Gating Mechanism [120.1998866178014]
  pRotOtypeal taSk corrElaTion guided gaTingAnism (ROSETTA)による連続物体検出のためのフレキシブルなフレームワークを提案する。 具体的には、統一されたフレームワークはすべてのタスクで共有され、タスク対応ゲートは特定のタスクのサブモデルを自動的に選択するために導入されます。 COCO-VOC、KITTI-Kitchen、VOCのクラスインクリメンタル検出、および4つのタスクの逐次学習の実験により、ROSETTAが最先端のパフォーマンスを得ることが示された。
  論文  参考訳（メタデータ） (2022-05-06T07:31:28Z)
• TAG: Task-based Accumulated Gradients for Lifelong learning [21.779858050277475]
  タスク間の関連性に基づいて学習率を適応させるタスク認識システムを提案する。 提案する適応学習率は, 破滅的な記憶の喪失だけでなく, 正の後方移動にも寄与することを示した。
  論文  参考訳（メタデータ） (2021-05-11T16:10:32Z)
• Continual Learning via Bit-Level Information Preserving [88.32450740325005]
  我々は情報理論のレンズを通して連続学習過程を研究する。 モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。 BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
  論文  参考訳（メタデータ） (2021-05-10T15:09:01Z)
• Class-incremental learning: survey and performance evaluation on image classification [38.27344435075399]
  増分学習は、新しいデータの到着時にスクラッチから再トレーニングする必要をなくし、効率的なリソース使用を可能にする。 漸進的な学習の最大の課題は破滅的な忘れことであり、これは新しいタスクを学習した後、以前に学習したタスクのパフォーマンスが急落したことを指す。 近年,学習者がタスクIDを使わずに,過去のタスクで見られた全てのクラス間での推論時間において,学習者が識別しなければならないクラス増分学習へのシフトが見られた。
  論文  参考訳（メタデータ） (2020-10-28T23:28:15Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。