論文の概要: Decision Boundary-aware Knowledge Consolidation Generates Better Instance-Incremental Learner

• arxiv url: http://arxiv.org/abs/2406.03065v1
• Date: Wed, 5 Jun 2024 08:49:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 19:19:28.704869
• Title: Decision Boundary-aware Knowledge Consolidation Generates Better Instance-Incremental Learner
• Title（参考訳）: より良いインスタンスインクリメンタル学習者を生成する決定境界認識知識の統合
• Authors: Qiang Nie, Weifu Fu, Yuhuan Lin, Jialin Li, Yifeng Zhou, Yong Liu, Lei Zhu, Chengjie Wang,
• Abstract要約: インスタンス・インクリメンタル・ラーニング(IIL)は、同じクラスのデータで継続的に学習することに焦点を当てている。 そこで本研究では,教師に知識を集中させ,新たな知識を習得し易くするための新しい意思決定境界対応蒸留法を提案する。
• 参考スコア（独自算出の注目度）: 41.462673126500974
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Instance-incremental learning (IIL) focuses on learning continually with data of the same classes. Compared to class-incremental learning (CIL), the IIL is seldom explored because IIL suffers less from catastrophic forgetting (CF). However, besides retaining knowledge, in real-world deployment scenarios where the class space is always predefined, continual and cost-effective model promotion with the potential unavailability of previous data is a more essential demand. Therefore, we first define a new and more practical IIL setting as promoting the model's performance besides resisting CF with only new observations. Two issues have to be tackled in the new IIL setting: 1) the notorious catastrophic forgetting because of no access to old data, and 2) broadening the existing decision boundary to new observations because of concept drift. To tackle these problems, our key insight is to moderately broaden the decision boundary to fail cases while retain old boundary. Hence, we propose a novel decision boundary-aware distillation method with consolidating knowledge to teacher to ease the student learning new knowledge. We also establish the benchmarks on existing datasets Cifar-100 and ImageNet. Notably, extensive experiments demonstrate that the teacher model can be a better incremental learner than the student model, which overturns previous knowledge distillation-based methods treating student as the main role.
• Abstract（参考訳）: インスタンス・インクリメンタル・ラーニング(IIL)は、同じクラスのデータで継続的に学習することに焦点を当てている。 クラスインクリメンタルラーニング (CIL) と比較して、IILは破滅的な忘れ込み (CF) に苦しむため、IILは滅多に調査されない。 しかし、知識の保持に加えて、クラススペースが常に事前に定義され、継続的かつコスト効率のよいモデルプロモーションと、以前のデータの潜在的利用不可能が要求される現実世界のデプロイメントシナリオは、より重要な要求である。 そこで,我々はまず,CFに抵抗するだけでなく,モデルの性能を向上するものとして,新しい,より実用的なIIL設定を定義した。 新しいIIL設定では2つの問題に取り組む必要がある。 1) 古いデータにアクセスできないという悪名高い破滅的な忘れ物 2) 概念の漂流により, 既存の決定境界を新たな観測に拡張する。 これらの問題に対処するために、我々の重要な洞察は、古い境界を維持しながら、決定境界を失敗事例に適度に広げることである。 そこで本研究では,教師に知識を集中させ,新たな知識を習得し易くするための,新たな意思決定境界対応蒸留法を提案する。 既存のデータセットであるCifar-100とImageNetのベンチマークも確立しています。 特に, 教員モデルは, 従来の知識蒸留法を逆転させ, 生徒を主役とすることで, 生徒モデルよりもインクリメンタルに学習できることを示した。

関連論文リスト

• Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
  大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。 微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。 本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:35:16Z)
• A Unified Framework for Continual Learning and Machine Unlearning [9.538733681436836]
  継続的学習と機械学習は機械学習において重要な課題であり、通常は別々に対処される。 制御された知識蒸留を活用することによって,両課題に共同で取り組む新しい枠組みを導入する。 我々のアプローチは、最小限の忘れ込みと効果的な標的未学習で効率的な学習を可能にする。
  論文  参考訳（メタデータ） (2024-08-21T06:49:59Z)
• Forgetting before Learning: Utilizing Parametric Arithmetic for Knowledge Updating in Large Language Models [53.52344131257681]
  本稿では,F-Learningと呼ばれるファインチューニングのための新しいパラダイムを提案する。これはパラメトリック算術を用いて,古い知識の忘れと新しい知識の学習を容易にする。 2つの公開データセットによる実験結果から、提案したFラーニングは、完全な微調整とLoRA微調整の両方の知識更新性能を向上させることが明らかに示されている。
  論文  参考訳（メタデータ） (2023-11-14T09:12:40Z)
• SRIL: Selective Regularization for Class-Incremental Learning [5.810252620242912]
  クラスインクリメンタルラーニングは、この課題を克服するために、可塑性と安定性のバランスをとる統合モデルを作成することを目的としている。 本稿では,従来の知識を維持しつつ,新たな知識を受け入れる選択正規化手法を提案する。 CIFAR-100, ImageNet-Subset, ImageNet-Full を用いて提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2023-05-09T05:04:35Z)
• Adaptively Integrated Knowledge Distillation and Prediction Uncertainty for Continual Learning [71.43841235954453]
  現在のディープラーニングモデルは、新しい知識を継続的に学習するときに、古い知識を破滅的に忘れることに悩まされることが多い。 この問題を軽減する既存の戦略は、古い知識(安定性)の維持と新しい知識(塑性)の学習のトレードオフを解消することが多い。
  論文  参考訳（メタデータ） (2023-01-18T05:36:06Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• New Insights on Reducing Abrupt Representation Change in Online Continual Learning [69.05515249097208]
  我々は、以前に観測されていないクラスが入ってくるデータストリームに現れるときに発生する観測データの表現の変化に焦点を当てる。 Experience Replayを適用すると、新たに追加されたクラスの表現が以前のクラスと大幅に重複することを示します。 本稿では,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T01:37:00Z)
• Partial Is Better Than All: Revisiting Fine-tuning Strategy for Few-shot Learning [76.98364915566292]
  一般的なプラクティスは、まずベースセット上でモデルをトレーニングし、その後、微調整によって新しいクラスに移行することである。 本稿では,基本モデル内の特定の層を凍結あるいは微調整することにより,部分的知識の伝達を提案する。 提案手法の有効性を実証するために, CUB と mini-ImageNet の広範な実験を行った。
  論文  参考訳（メタデータ） (2021-02-08T03:27:05Z)
• Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
  クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。 クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。 本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2020-06-10T15:15:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。