論文の概要: Mnemonics Training: Multi-Class Incremental Learning without Forgetting

• arxiv url: http://arxiv.org/abs/2002.10211v6
• Date: Sun, 4 Apr 2021 12:24:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-12-29 02:53:24.359147
• Title: Mnemonics Training: Multi-Class Incremental Learning without Forgetting
• Title（参考訳）: mnemonics training - 忘れずに学習するマルチクラス
• Authors: Yaoyao Liu, Yuting Su, An-An Liu, Bernt Schiele, Qianru Sun
• Abstract要約: マルチクラスインクリメンタルラーニング(MCIL)は、従来の概念に基づいてトレーニングされたモデルを漸進的に更新することで、新しい概念を学習することを目的としている。 本稿では,前例をパラメータ化し,エンドツーエンドで最適化できるようにする,新しい,かつ自動的なフレームワークを提案する。 CIFAR-100, ImageNet-Subset, ImageNet の3つのMCILベンチマークで大規模な実験を行い, メニーモニック・エスペクタの使用が最先端をはるかに上回ることを示す。
• 参考スコア（独自算出の注目度）: 131.1065577648532
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multi-Class Incremental Learning (MCIL) aims to learn new concepts by incrementally updating a model trained on previous concepts. However, there is an inherent trade-off to effectively learning new concepts without catastrophic forgetting of previous ones. To alleviate this issue, it has been proposed to keep around a few examples of the previous concepts but the effectiveness of this approach heavily depends on the representativeness of these examples. This paper proposes a novel and automatic framework we call mnemonics, where we parameterize exemplars and make them optimizable in an end-to-end manner. We train the framework through bilevel optimizations, i.e., model-level and exemplar-level. We conduct extensive experiments on three MCIL benchmarks, CIFAR-100, ImageNet-Subset and ImageNet, and show that using mnemonics exemplars can surpass the state-of-the-art by a large margin. Interestingly and quite intriguingly, the mnemonics exemplars tend to be on the boundaries between different classes.
• Abstract（参考訳）: マルチクラスインクリメンタルラーニング(MCIL)は、従来の概念に基づいてトレーニングされたモデルを段階的に更新することで、新しい概念を学習することを目的としている。 しかし、以前の概念を破滅的に忘れずに、効果的に新しい概念を学ぶためのトレードオフがある。 この問題を軽減するために, 従来の概念のいくつかの例を扱うことが提案されているが, このアプローチの有効性はこれらの例の表現性に大きく依存している。 本稿では,前例をパラメータ化し,エンドツーエンドで最適化できるようにする,新しい,かつ自動的なフレームワークを提案する。 両レベル最適化(モデルレベルと模範レベル)を通じてフレームワークをトレーニングします。 CIFAR-100, ImageNet-Subset, ImageNet の3つのMCILベンチマークで大規模な実験を行い, メニーモニック・エスペクタの使用が最先端をはるかに上回ることを示す。 興味深いことに、mnemonicexemplarsは異なるクラスの境界にある傾向がある。

関連論文リスト

• Walking the Web of Concept-Class Relationships in Incrementally Trained Interpretable Models [25.84386438333865]
  概念とクラスは複雑な関係の網を形成しており、それは劣化しやすく、経験を通じて保存および拡張する必要がある。 本研究では,マルチモーダルな概念を用いて,学習可能なパラメータの数を増やすことなく分類を行う新しい手法である MuCIL を提案する。
  論文  参考訳（メタデータ） (2025-02-27T18:59:29Z)
• FILM: How can Few-Shot Image Classification Benefit from Pre-Trained Language Models? [14.582209994281374]
  少数のサンプルしか持たない新しいクラスに一般化可能なモデルをトレーニングすることを目的としている。 コントラスト学習に基づく事前学習言語モデルを用いた新しい数発学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-09T08:07:43Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Memorizing Complementation Network for Few-Shot Class-Incremental Learning [109.4206979528375]
  本稿では,新しいタスクにおいて,異なる記憶された知識を補う複数のモデルをアンサンブルするために,MCNet(Memorizing Complementation Network)を提案する。 原型スムージング・ハードマイニング・トリプルト(PSHT)の損失を現時点の課題だけでなく,従来の分布からも引き離すために開発した。
  論文  参考訳（メタデータ） (2022-08-11T02:32:41Z)
• Contrastive Learning for Prompt-Based Few-Shot Language Learners [14.244787327283335]
  異なる拡張された"ビュー"の下で同じクラスから入力をクラスタリングする対照的な学習フレームワークを提案する。 私たちは、異なる言語プロンプトとコンテキスト実証を付加することで、サンプルの異なる"ビュー"を作成します。 提案手法は15の言語タスクの多種多様なセットにおいて最先端の手法よりも改善できる。
  論文  参考訳（メタデータ） (2022-05-03T04:56:45Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Train a One-Million-Way Instance Classifier for Unsupervised Visual Representation Learning [45.510042484456854]
  本稿では、パラメトリックなインスタンスレベルの計算を用いて、データセット内のすべての画像を識別するプリテキストタスクを備えた、単純な教師なし視覚表現学習法を提案する。 全体的なフレームワークは教師付き分類モデルのレプリカであり、セマンティッククラス(犬、鳥、船など)はインスタンスIDに置き換えられる。 数千のセマンティックラベルから数百万のインスタンスラベルへの分類タスクのスケールアップは、1)大規模ソフトマックス分類器、2)インスタンスサンプルの頻度の低い訪問による緩やかな収束、3)ノイズの多い大量の負のクラスなど、特定の課題をもたらす。
  論文  参考訳（メタデータ） (2021-02-09T14:44:18Z)
• Example-Driven Intent Prediction with Observers [15.615065041164629]
  本稿では,対話システムに宛てた発話に対して,ユーザの意図を識別することを目的とした意図分類問題に焦点をあてる。 本稿では,(1)観察者および(2)サンプル駆動学習という,発話分類モデルの一般化性向上のための2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-17T01:03:06Z)
• A Primal-Dual Subgradient Approachfor Fair Meta Learning [23.65344558042896]
  ショットのメタ学習は、その高速適応能力と、未知のタスクへの精度の一般化で有名である。 そこで本研究では,ごく少数の例を用いて,公正な機械学習モデルのトレーニングを学習するPrimal-Dual Meta-learningフレームワーク,すなわちPDFMを提案する。
  論文  参考訳（メタデータ） (2020-09-26T19:47:38Z)
• Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
  メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。 タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。 この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
  論文  参考訳（メタデータ） (2020-02-03T06:13:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。