論文の概要: An Attention-based Representation Distillation Baseline for Multi-Label Continual Learning

• arxiv url: http://arxiv.org/abs/2407.14249v1
• Date: Fri, 19 Jul 2024 12:30:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 17:34:39.044637
• Title: An Attention-based Representation Distillation Baseline for Multi-Label Continual Learning
• Title（参考訳）: 複数ラベル連続学習のための注意ベースベースライン
• Authors: Martin Menabue, Emanuele Frascaroli, Matteo Boschini, Lorenzo Bonicelli, Angelo Porrello, Simone Calderara,
• Abstract要約: 既存の最先端の継続的学習手法では,良好な性能が得られないことを示す。 SCAD (Selective Class Attention Distillation) という手法を提案する。 学生ネットワークの表現を -- 継続的にトレーニングし、忘れることの対象となる -- と、事前訓練と凍結の維持を行う教師との整合性を求める知識伝達技術に依存している。
• 参考スコア（独自算出の注目度）: 17.86237546012444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The field of Continual Learning (CL) has inspired numerous researchers over the years, leading to increasingly advanced countermeasures to the issue of catastrophic forgetting. Most studies have focused on the single-class scenario, where each example comes with a single label. The recent literature has successfully tackled such a setting, with impressive results. Differently, we shift our attention to the multi-label scenario, as we feel it to be more representative of real-world open problems. In our work, we show that existing state-of-the-art CL methods fail to achieve satisfactory performance, thus questioning the real advance claimed in recent years. Therefore, we assess both old-style and novel strategies and propose, on top of them, an approach called Selective Class Attention Distillation (SCAD). It relies on a knowledge transfer technique that seeks to align the representations of the student network -- which trains continuously and is subject to forgetting -- with the teacher ones, which is pretrained and kept frozen. Importantly, our method is able to selectively transfer the relevant information from the teacher to the student, thereby preventing irrelevant information from harming the student's performance during online training. To demonstrate the merits of our approach, we conduct experiments on two different multi-label datasets, showing that our method outperforms the current state-of-the-art Continual Learning methods. Our findings highlight the importance of addressing the unique challenges posed by multi-label environments in the field of Continual Learning. The code of SCAD is available at https://github.com/aimagelab/SCAD-LOD-2024.
• Abstract（参考訳）: 連続学習(CL)の分野は長年にわたって多くの研究者を刺激し、破滅的な忘れ方の問題への対策がますます進んだ。 ほとんどの研究はシングルクラスのシナリオに焦点を合わせており、それぞれの例には1つのラベルが付けられている。 最近の文献はそのような状況にうまく取り組み、印象的な成果を上げている。 異なるのは、実世界のオープンな問題にもっと代表的であると感じているため、マルチラベルのシナリオに注意を向けることです。 本研究は,従来のCL手法では満足な性能が得られず,近年の真の進歩に疑問を呈するものである。 そこで我々は,従来の手法と新しい戦略の両方を評価し,その上でSCAD (Selective Class Attention Distillation) というアプローチを提案する。 学生ネットワークの表現を -- 継続的にトレーニングし、忘れることの対象となる -- と、事前訓練と凍結の維持を行う教師との整合性を求める知識伝達技術に依存している。 重要なこととして,本手法では,教師から生徒に関連情報を選択的に転送することができ,オンライン学習における生徒のパフォーマンスに悪影響を及ぼすおそれのない情報を防止できる。 提案手法の利点を実証するために,2つの異なる多ラベルデータセットを用いて実験を行い,本手法が現在最先端の連続学習手法より優れていることを示す。 本研究は,連続学習分野における多言語環境がもたらす固有の課題に対処することの重要性を強調した。 SCADのコードはhttps://github.com/aimagelab/SCAD-LOD-2024で公開されている。

関連論文リスト

• A few-shot Label Unlearning in Vertical Federated Learning [16.800865928660954]
  本稿では,垂直的フェデレート学習(VFL)におけるアンラーニングの課題について述べる。 本稿では,ラベルリークのリスクを軽減することを目的とした,VFLにおけるラベルアンラーニングに特化して設計された最初のアプローチを紹介する。 本手法では, ラベル付きデータの限られた量を活用し, 多様体ミックスアップを利用して, 不十分なデータの前方埋め込みを増強し, 拡張埋め込みに勾配を増し, モデルからラベル情報を消去する。
  論文  参考訳（メタデータ） (2024-10-14T12:08:12Z)
• Self-Cooperation Knowledge Distillation for Novel Class Discovery [8.984031974257274]
  新たなクラス発見(NCD)は、既知のクラスについて既に学んだ知識を活用することで、ラベルのないセットで未知のクラスと新しいクラスを発見することを目的としている。 本研究では, 自己協調的知識蒸留法 (SCKD) を提案し, 各トレーニングサンプル(既知の, 新規, ラベル付, ラベル付, 未ラベル) を, レビューと発見の両方に活用する。
  論文  参考訳（メタデータ） (2024-07-02T03:49:48Z)
• Incremental Object Detection with CLIP [36.478530086163744]
  そこで本研究では,CLIPなどの視覚言語モデルを用いて,異なるクラス集合に対するテキスト特徴埋め込みを生成する。 次に、段階的なシナリオをシミュレートするために、早期の学習段階において利用できない新しいクラスを置き換えるために、スーパークラスを使用します。 そこで我々は,この微妙に認識された検出ボックスを擬似アノテーションとしてトレーニングプロセスに組み込むことにより,検出性能をさらに向上させる。
  論文  参考訳（メタデータ） (2023-10-13T01:59:39Z)
• Knowledge Restore and Transfer for Multi-label Class-Incremental Learning [34.378828633726854]
  マルチラベルクラス増分学習(MLCIL)のための知識復元・伝達(KRT)フレームワークを提案する。 KRTには、古いクラスの知識を復元するための動的擬似ラベル(DPL)モジュールと、セッション固有の知識を保存し、古いクラスの知識を新しいモデルに十分に転送するインクリメンタルなクロスアテンション(ICA)モジュールが含まれている。 MS-COCOとPASCALのVOCデータセットによる実験結果から,認識性能の向上と忘れの軽減を目的とした手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-02-26T15:34:05Z)
• A Multi-label Continual Learning Framework to Scale Deep Learning Approaches for Packaging Equipment Monitoring [57.5099555438223]
  連続シナリオにおけるマルチラベル分類を初めて研究した。 タスク数に関して対数的複雑性を持つ効率的なアプローチを提案する。 我々は,包装業界における実世界のマルチラベル予測問題に対するアプローチを検証した。
  論文  参考訳（メタデータ） (2022-08-08T15:58:39Z)
• Online Continual Learning on a Contaminated Data Stream with Blurry Task Boundaries [17.43350151320054]
  大量の連続学習(CL)手法は、クリーンなラベルを持つデータストリームを前提としており、ノイズの多いデータストリームの下でのオンライン学習シナリオはまだ探索されていない。 我々は、既存のCLメソッドが苦労しているラベル付きぼやけたデータストリームからオンライン学習のより実践的なCLタスク設定について検討する。 本稿では,ラベルノイズを意識した多様なサンプリングと,半教師付き学習による頑健な学習の統一的アプローチにより,メモリの管理と利用を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-29T08:52:45Z)
• vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
  本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。 vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。 本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-23T22:14:17Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Privileged Knowledge Distillation for Online Action Detection [114.5213840651675]
  リアルタイム予測タスクに対処するフレーム単位のラベル付けタスクとして,ビデオ中のオンラインアクション検出(OAD)を提案する。 本稿では,トレーニング段階においてのみ観測可能な未来のフレームを特権情報の一種とみなすオンライン行動検出のための,新たな学習支援型フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-18T08:52:15Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。