論文の概要: Incremental Learning of Structured Memory via Closed-Loop Transcription
- arxiv url: http://arxiv.org/abs/2202.05411v1
- Date: Fri, 11 Feb 2022 02:20:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-14 15:16:42.815060
- Title: Incremental Learning of Structured Memory via Closed-Loop Transcription
- Title(参考訳): 閉ループ転写による構造記憶のインクリメンタル学習
- Authors: Shengbang Tong, Xili Dai, Ziyang Wu, Mingyang Li, Brent Yi, Yi Ma
- Abstract要約: 本研究では、インクリメンタルな設定で複数のオブジェクトクラスの構造化メモリを学習するための最小限の計算モデルを提案する。
実験結果から,本手法は破滅的忘れを効果的に軽減し,生成的,識別的両目的の先行研究よりも優れた性能を達成できることが示唆された。
- 参考スコア(独自算出の注目度): 20.255633973040183
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work proposes a minimal computational model for learning a structured
memory of multiple object classes in an incremental setting. Our approach is
based on establishing a closed-loop transcription between multiple classes and
their corresponding subspaces, known as a linear discriminative representation,
in a low-dimensional feature space. Our method is both simpler and more
efficient than existing approaches to incremental learning, in terms of model
size, storage, and computation: it requires only a single, fixed-capacity
autoencoding network with a feature space that is used for both discriminative
and generative purposes. All network parameters are optimized simultaneously
without architectural manipulations, by solving a constrained minimax game
between the encoding and decoding maps over a single rate reduction-based
objective. Experimental results show that our method can effectively alleviate
catastrophic forgetting, achieving significantly better performance than prior
work for both generative and discriminative purposes.
- Abstract(参考訳): 本稿では,複数のオブジェクトクラスの構造化メモリをインクリメンタルに学習するための最小計算モデルを提案する。
提案手法は,低次元特徴空間において,複数のクラスとその対応する部分空間間の閉ループ転写(線形識別表現)を確立することに基づく。
本手法は, モデルサイズ, 記憶量, 計算量の観点から, 従来のインクリメンタル学習手法に比べて, よりシンプルかつ効率的である。
全てのネットワークパラメータは、符号化と復号化マップの間の制約付きミニマックスゲームを単一レートの削減に基づく目的で解くことで、アーキテクチャ操作なしで同時に最適化される。
実験結果から,本手法は破滅的忘れを効果的に軽減し,生成的,識別的両目的の先行研究よりも優れた性能を達成できることが示唆された。
関連論文リスト
- Deep Unlearning: Fast and Efficient Training-free Approach to Controlled
Forgetting [11.149073203271083]
本研究では,学習モデルからクラス全体あるいはクラス群を戦略的に除去する新しいクラスアンラーニングアルゴリズムを提案する。
我々は、元のモデルと比較して精度を保ったまま1.5%の$sim$1.5%の値しか持たないVision Transformerを用いて、ImageNet上でアルゴリズムの有効性を実証する。
論文 参考訳(メタデータ) (2023-12-01T18:29:08Z) - MultIOD: Rehearsal-free Multihead Incremental Object Detector [19.371742300727913]
本研究では,CenterNetに基づくクラスインクリメンタルオブジェクト検出器であるMultIODを提案する。
われわれは,まず学習したクラスと漸進的に学習したクラスの間で伝達学習を採用し,破滅的な忘れに対処した。
その結果,本手法は2つのパスカルVOCデータセット上での最先端手法よりも優れていた。
論文 参考訳(メタデータ) (2023-09-11T09:32:45Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳(メタデータ) (2023-07-19T04:07:33Z) - Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized
Language Model Finetuning Using Shared Randomness [86.61582747039053]
分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。
分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
論文 参考訳(メタデータ) (2023-06-16T17:59:51Z) - Structured Pruning of Self-Supervised Pre-trained Models for Speech
Recognition and Understanding [43.68557263195205]
自己教師付き音声表現学習(SSL)は、様々な下流タスクで有効であることが示されているが、SSLモデルは通常、大きくて遅い。
このような異種ネットワークを扱うための3つのタスク固有の構造化プルーニング手法を提案する。
LibriSpeech と SLURP の実験により,提案手法は従来の wav2vecbase よりも10% から30% の精度で精度が高く,劣化を伴わずに 40% から 50% の削減が可能であった。
論文 参考訳(メタデータ) (2023-02-27T20:39:54Z) - A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental
Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。
モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。
本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文 参考訳(メタデータ) (2022-05-26T08:24:01Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳(メタデータ) (2021-03-10T03:59:03Z) - Decoupled and Memory-Reinforced Networks: Towards Effective Feature
Learning for One-Step Person Search [65.51181219410763]
歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。
現在のワンステップアプローチには2つの大きな課題があります。
本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
論文 参考訳(メタデータ) (2021-02-22T06:19:45Z) - Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。
我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。
我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文 参考訳(メタデータ) (2020-10-01T15:59:31Z) - SpaceNet: Make Free Space For Continual Learning [15.914199054779438]
本研究では,クラスインクリメンタル学習シナリオのための新しいアーキテクチャベースのSpaceNetを提案する。
SpaceNetは、複数のニューロンで各タスクのスパース接続を圧縮する適応的な方法で、スクラッチから深層ニューラルネットワークを訓練する。
実験により,従来のタスクを忘れることに対する提案手法のロバストさと,モデルが利用可能な容量を利用する場合のSpaceNetの効率性を示す。
論文 参考訳(メタデータ) (2020-07-15T11:21:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。