論文の概要: Rainbow Memory: Continual Learning with a Memory of Diverse Samples

• arxiv url: http://arxiv.org/abs/2103.17230v1
• Date: Wed, 31 Mar 2021 17:28:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-01 14:44:16.377912
• Title: Rainbow Memory: Continual Learning with a Memory of Diverse Samples
• Title（参考訳）: レインボーメモリ: さまざまなサンプルを記憶した継続的な学習
• Authors: Jihwan Bang, Heesu Kim, YoungJoon Yoo, Jung-Woo Ha, Jonghyun Choi
• Abstract要約: エピソード記憶におけるサンプルの多様性の重要性を論じる。 サンプル毎の分類不確実性およびデータ拡張に基づく新しいメモリ管理戦略を提案する。 提案手法は,ぼやけた連続学習装置の精度を大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 14.520337285540148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning is a realistic learning scenario for AI models. Prevalent scenario of continual learning, however, assumes disjoint sets of classes as tasks and is less realistic rather artificial. Instead, we focus on 'blurry' task boundary; where tasks shares classes and is more realistic and practical. To address such task, we argue the importance of diversity of samples in an episodic memory. To enhance the sample diversity in the memory, we propose a novel memory management strategy based on per-sample classification uncertainty and data augmentation, named Rainbow Memory (RM). With extensive empirical validations on MNIST, CIFAR10, CIFAR100, and ImageNet datasets, we show that the proposed method significantly improves the accuracy in blurry continual learning setups, outperforming state of the arts by large margins despite its simplicity. Code and data splits will be available in https://github.com/clovaai/rainbow-memory.
• Abstract（参考訳）: 継続的学習はAIモデルの現実的な学習シナリオである。 しかし、連続学習の一般的なシナリオは、クラスの不整合集合をタスクとして仮定し、現実的ではなく人工的である。 タスクはクラスを共有し、より現実的で実践的です。 このような課題に対処するために、エピソード記憶におけるサンプルの多様性の重要性を論じる。 メモリにおけるサンプルの多様性を高めるため,サンプルごとの分類の不確かさとデータ拡張に基づく新しいメモリ管理手法であるレインボーメモリ(RM)を提案する。 MNIST, CIFAR10, CIFAR100, ImageNetデータセットに対する広範な実証的検証により, 提案手法は, その単純さにもかかわらず, 曖昧で連続的な学習設定における精度を著しく向上し, 芸術の状態を大きなマージンで上回ることを示す。 コードとデータの分割はhttps://github.com/clovaai/rainbow-memoryで利用可能だ。

関連論文リスト

• Just a Glimpse: Rethinking Temporal Information for Video Continual Learning [58.7097258722291]
  個別フレームと単一フレームに基づく効果的なビデオ連続学習のための新しい再生機構を提案する。 極端な記憶の制約の下では、ビデオの多様性は時間的情報よりも重要な役割を果たす。 提案手法は最先端性能を実現し,従来の最先端性能を最大21.49%向上させる。
  論文  参考訳（メタデータ） (2023-05-28T19:14:25Z)
• Improving Image Recognition by Retrieving from Web-Scale Image-Text Data [68.63453336523318]
  本稿では,メモリから抽出した各サンプルの重要性を学習するアテンションベースのメモリモジュールを提案する。 既存の手法と比較して,提案手法は無関係な検索例の影響を排除し,入力クエリに有益であるものを保持する。 我々は、ImageNet-LT、Places-LT、Webvisionのデータセットで最先端の精度を実現していることを示す。
  論文  参考訳（メタデータ） (2023-04-11T12:12:05Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• Saliency-Augmented Memory Completion for Continual Learning [8.243137410556495]
  忘れる方法は、継続的な学習に対処しなければならない問題である。 本稿では,連続学習のための新たなサリエンシ強化メモリ補完フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-26T18:06:39Z)
• Learning an evolved mixture model for task-free continual learning [11.540150938141034]
  タスク自由連続学習(TFCL)では,非定常データストリーム上で,明示的なタスク情報を持たないモデルを訓練する。 メモリ過負荷を回避するため,記憶されているサンプルを選択的に削除する2つの単純なドロップアウト機構を導入する。
  論文  参考訳（メタデータ） (2022-07-11T16:01:27Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• Online Continual Learning on a Contaminated Data Stream with Blurry Task Boundaries [17.43350151320054]
  大量の連続学習(CL)手法は、クリーンなラベルを持つデータストリームを前提としており、ノイズの多いデータストリームの下でのオンライン学習シナリオはまだ探索されていない。 我々は、既存のCLメソッドが苦労しているラベル付きぼやけたデータストリームからオンライン学習のより実践的なCLタスク設定について検討する。 本稿では,ラベルノイズを意識した多様なサンプリングと,半教師付き学習による頑健な学習の統一的アプローチにより,メモリの管理と利用を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-29T08:52:45Z)
• vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
  本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。 vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。 本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-23T22:14:17Z)
• Meta-Learning with Variational Semantic Memory for Word Sense Disambiguation [56.830395467247016]
  メタ学習環境におけるWSDのセマンティックメモリモデルを提案する。 我々のモデルは階層的変動推論に基づいており、ハイパーネットワークを介して適応的なメモリ更新ルールを組み込んでいる。 極めて少ないシナリオでの効果的な学習を支援するために,本モデルがWSDで最先端の技術を数ショットで実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-05T20:40:01Z)
• Memory Wrap: a Data-Efficient and Interpretable Extension to Image Classification Models [9.848884631714451]
  Memory Wrapは、任意の画像分類モデルのプラグアンドプレイ拡張である。 データ効率性とモデル解釈性の両方を改善し、コンテンツアテンションメカニズムを採用する。 メモリラップは,限られたデータ集合から学習すると,標準的な分類器よりも優れることを示す。
  論文  参考訳（メタデータ） (2021-06-01T07:24:19Z)
• Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning [4.2903672492917755]
  我々は,局所学習とニューロ変調を取り入れた,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。 一つの課題と連続的な学習環境の両方にアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-16T07:41:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。