論文の概要: Storing Encoded Episodes as Concepts for Continual Learning

• arxiv url: http://arxiv.org/abs/2007.06637v1
• Date: Fri, 26 Jun 2020 04:15:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 20:45:20.909293
• Title: Storing Encoded Episodes as Concepts for Continual Learning
• Title（参考訳）: 連続学習の概念としてのストリングエンコードエピソード
• Authors: Ali Ayub, Alan R. Wagner
• Abstract要約: 継続的な学習アプローチで直面する2つの大きな課題は、データの保存における破滅的な忘れとメモリ制限である。 本稿では,ニューラルスタイルトランスファーを用いたオートエンコーダを訓練し,画像のエンコードと保存を行う,認知にインスパイアされたアプローチを提案する。 ベンチマークデータセットの最先端手法に比べて,分類精度は13～17%向上し,ストレージスペースは78%削減した。
• 参考スコア（独自算出の注目度）: 22.387008072671005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The two main challenges faced by continual learning approaches are catastrophic forgetting and memory limitations on the storage of data. To cope with these challenges, we propose a novel, cognitively-inspired approach which trains autoencoders with Neural Style Transfer to encode and store images. Reconstructed images from encoded episodes are replayed when training the classifier model on a new task to avoid catastrophic forgetting. The loss function for the reconstructed images is weighted to reduce its effect during classifier training to cope with image degradation. When the system runs out of memory the encoded episodes are converted into centroids and covariance matrices, which are used to generate pseudo-images during classifier training, keeping classifier performance stable with less memory. Our approach increases classification accuracy by 13-17% over state-of-the-art methods on benchmark datasets, while requiring 78% less storage space.
• Abstract（参考訳）: 継続的学習アプローチが直面する2つの大きな課題は、データの保存に関する破滅的な忘れ方とメモリ制限である。 これらの課題に対処するため,ニューラルスタイルトランスファーを用いてオートエンコーダを訓練し,画像のエンコードと保存を行う,認知に触発された新しいアプローチを提案する。 分類器モデルを新しいタスクで訓練する際に、符号化されたエピソードからの再構成画像を再生し、破滅的な忘れを防止する。 再構成画像の損失関数を重み付けし、分類器訓練時の効果を低減し、画像劣化に対処する。 システムがメモリが切れると、符号化されたエピソードはセンタロイドと共分散行列に変換され、分類器のトレーニング中に擬似画像を生成するために使用され、分類器のパフォーマンスを少ないメモリで安定させる。 ベンチマークデータセットの最先端手法に比べて,分類精度は13～17%向上し,ストレージスペースは78%削減した。

関連論文リスト

• HybridFlow: Infusing Continuity into Masked Codebook for Extreme Low-Bitrate Image Compression [51.04820313355164]
  HyrbidFlowは、連続的な機能ベースのストリームとコードブックベースのストリームを組み合わせることで、極めて低い条件下で高い知覚品質と高い忠実性を実現する。 実験の結果、超低速で複数のデータセットにまたがる優れた性能が示された。
  論文  参考訳（メタデータ） (2024-04-20T13:19:08Z)
• How Much Training Data is Memorized in Overparameterized Autoencoders? An Inverse Problem Perspective on Memorization Evaluation [1.573034584191491]
  本稿では,暗記研究のための逆問題視点を提案する。 トレーニングされたオートエンコーダを使用して、学習対象とする特定のトレーニングデータセットの正規化子を暗黙的に定義します。 提案手法は,オートエンコーダからトレーニングデータを復元する過去の記憶・評価手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-04T15:36:33Z)
• Masked Autoencoders are Efficient Class Incremental Learners [64.90846899051164]
  クラスインクリメンタルラーニング(CIL)は,過去の知識の破滅的な忘れを回避しつつ,新しいクラスを逐次学習することを目的としている。 本稿では,CIL の学習に Masked Autoencoders (MAEs) を用いることを提案する。
  論文  参考訳（メタデータ） (2023-08-24T02:49:30Z)
• DiffusePast: Diffusion-based Generative Replay for Class Incremental Semantic Segmentation [73.54038780856554]
  クラスインクリメンタルセマンティック(CISS)は、新たに追加されたクラスを漸進的に学習することで、従来のセグメンテーションタスクを拡張する。 これは、事前訓練されたGANから生成された古いクラスサンプルを再生するものである。 そこで我々はDiffusePastを提案する。DiffusePastは拡散型生成再生モジュールを特徴とする新しいフレームワークで、異なる命令でより信頼性の高いマスクで意味論的に正確な画像を生成する。
  論文  参考訳（メタデータ） (2023-08-02T13:13:18Z)
• SC-VAE: Sparse Coding-based Variational Autoencoder with Learned ISTA [0.6770292596301478]
  そこで本研究では,ISTA (SC-VAE) を用いたスパース符号化に基づくVAEを新たに導入し,スパース符号化を可変オートエンコーダフレームワークに統合する。 2つの画像データセットに対する実験により、我々のモデルは、最先端の手法と比較して、画像再構成結果の改善を実現していることが示された。
  論文  参考訳（メタデータ） (2023-03-29T13:18:33Z)
• Memory-Based Label-Text Tuning for Few-Shot Class-Incremental Learning [20.87638654650383]
  メモリプロンプトを用いてラベルテキスト情報を活用することを提案する。 メモリプロンプトは、新しいデータをシーケンシャルに学習し、一方、前の知識を記憶する。 実験の結果,提案手法は従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-07-03T13:15:45Z)
• Always Be Dreaming: A New Approach for Data-Free Class-Incremental Learning [73.24988226158497]
  データフリークラスインクリメンタルラーニング(DFCIL)における高インパクト問題について考察する。 そこで本研究では, 改良型クロスエントロピートレーニングと重要重み付き特徴蒸留に寄与するDFCILの新たなインクリメンタル蒸留戦略を提案する。 本手法は,共通クラスインクリメンタルベンチマークにおけるSOTA DFCIL法と比較して,最終タスク精度(絶対差)が25.1%向上する。
  論文  参考訳（メタデータ） (2021-06-17T17:56:08Z)
• EEC: Learning to Encode and Regenerate Images for Continual Learning [9.89901717499058]
  Neural Style Transferで自動エンコーダをトレーニングし、画像をエンコードおよび保存します。 エンコードされたエピソードの再構成画像は 破滅的な忘れ物を避けるために 再生される。 本手法は,ベンチマークデータセットにおける最先端手法よりも分類精度を13～17%向上させる。
  論文  参考訳（メタデータ） (2021-01-13T06:43:10Z)
• Memory-Efficient Incremental Learning Through Feature Adaptation [71.1449769528535]
  本稿では,以前学習したクラスから,画像の特徴記述子を保存するインクリメンタルラーニングのアプローチを提案する。 画像のより低次元の機能埋め込みを維持することで、メモリフットプリントが大幅に削減される。 実験の結果,インクリメンタルラーニングベンチマークにおいて,最先端の分類精度が得られた。
  論文  参考訳（メタデータ） (2020-04-01T21:16:05Z)
• Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
  本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。 本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。 従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
  論文  参考訳（メタデータ） (2020-03-25T09:04:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。