論文の概要: Replay to Remember (R2R): An Efficient Uncertainty-driven Unsupervised Continual Learning Framework Using Generative Replay

• arxiv url: http://arxiv.org/abs/2505.04787v2
• Date: Fri, 09 May 2025 05:22:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 12:48:53.997095
• Title: Replay to Remember (R2R): An Efficient Uncertainty-driven Unsupervised Continual Learning Framework Using Generative Replay
• Title（参考訳）: Replay to Remember (R2R):ジェネレーティブ・リプレイを用いた不確実性駆動型教師なし連続学習フレームワーク
• Authors: Sriram Mandalika, Harsha Vardhan, Athira Nambiar,
• Abstract要約: 継続学習は、以前獲得した知識を維持しながら、新しいデータから徐々に知識を取得する。 生成的リプレイ(Replay to Remember(R2R))」を用いた新しい不確実性駆動型教師なし連続学習フレームワークを提案する。 提案手法は,98.13%,73.06%,93.41%,95.18%,59.74%の最先端性能を達成した。
• 参考スコア（独自算出の注目度）: 1.5267291767316298
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual Learning entails progressively acquiring knowledge from new data while retaining previously acquired knowledge, thereby mitigating ``Catastrophic Forgetting'' in neural networks. Our work presents a novel uncertainty-driven Unsupervised Continual Learning framework using Generative Replay, namely ``Replay to Remember (R2R)''. The proposed R2R architecture efficiently uses unlabelled and synthetic labelled data in a balanced proportion using a cluster-level uncertainty-driven feedback mechanism and a VLM-powered generative replay module. Unlike traditional memory-buffer methods that depend on pretrained models and pseudo-labels, our R2R framework operates without any prior training. It leverages visual features from unlabeled data and adapts continuously using clustering-based uncertainty estimation coupled with dynamic thresholding. Concurrently, a generative replay mechanism along with DeepSeek-R1 powered CLIP VLM produces labelled synthetic data representative of past experiences, resembling biological visual thinking that replays memory to remember and act in new, unseen tasks. Extensive experimental analyses are carried out in CIFAR-10, CIFAR-100, CINIC-10, SVHN and TinyImageNet datasets. Our proposed R2R approach improves knowledge retention, achieving a state-of-the-art performance of 98.13%, 73.06%, 93.41%, 95.18%, 59.74%, respectively, surpassing state-of-the-art performance by over 4.36%.
• Abstract（参考訳）: 継続学習は、以前取得した知識を保持しながら、新しいデータから徐々に知識を取得することを必要とし、ニューラルネットワークにおける ‘Catastrophic Forgetting'' を緩和する。 本研究は,ジェネレーティブ・リプレイ(Replay to remember, R2R)')を用いた新しい不確実性駆動型教師なし連続学習フレームワークを提案する。 提案したR2Rアーキテクチャは,クラスタレベルの不確実性駆動フィードバック機構とVLMによる生成再生モジュールを用いて,非ラベル付きおよび合成ラベル付きデータをバランスの取れた比率で効率的に利用する。 事前トレーニングされたモデルや擬似ラベルに依存する従来のメモリバッファメソッドとは異なり、R2Rフレームワークは事前トレーニングなしで動作します。 ラベルのないデータからの視覚的特徴を活用し、動的しきい値と組み合わせたクラスタリングベースの不確実性推定を継続的に適用する。 同時に、DeepSeek-R1搭載のCLIP VLMと共に、記憶をリプレイする生物学的視覚的思考に似た、過去の経験を表すラベル付き合成データを生成する。 CIFAR-10, CIFAR-100, CINIC-10, SVHN, TinyImageNetデータセットにおいて, 大規模な実験分析を行った。 提案手法は知識保持を向上し,最先端性能の98.13%,73.06%,93.41%,95.18%,59.74%をそれぞれ達成し,最先端性能の4.36%を上回った。

関連論文リスト

• SEEKR: Selective Attention-Guided Knowledge Retention for Continual Learning of Large Language Models [27.522743690956315]
  本研究では,大規模言語モデル (LLM) のデータ効率性に基づく連続学習のためのSelective attEntion-guided Knowledge Retention法(SEEKR)を提案する。 SEEKRは、よりきめ細かい知識保持のために選択された注目ヘッドに注意蒸留を行う。 LLMのための2つの連続学習ベンチマークの実験結果は、SEEKRが既存の手法よりも性能と効率の両面で優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-09T13:02:36Z)
• IncSAR: A Dual Fusion Incremental Learning Framework for SAR Target Recognition [13.783950035836593]
  IncSARは、ターゲット認識における破滅的な忘れに対処するために設計された漸進的な学習フレームワークである。 SAR画像に固有のスペックルノイズを軽減するため、ニューラルネットワーク近似に基づくデノナイジングモジュールを用いる。 MSTAR、SAR-AIRcraft-1.0、OpenSARShipベンチマークデータセットの実験は、IncSARが最先端のアプローチを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2024-10-08T08:49:47Z)
• Learning Prompt with Distribution-Based Feature Replay for Few-Shot Class-Incremental Learning [56.29097276129473]
  分散型特徴再現(LP-DiF)を用いた学習プロンプト(Learning Prompt)という,シンプルで効果的なフレームワークを提案する。 新しいセッションでは,学習可能なプロンプトが古い知識を忘れないようにするため,擬似機能的リプレイ手法を提案する。 新しいセッションに進むと、古いクラスのディストリビューションと現在のセッションのトレーニングイメージを組み合わせて擬似フィーチャーをサンプリングして、プロンプトを最適化する。
  論文  参考訳（メタデータ） (2024-01-03T07:59:17Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• A simple but strong baseline for online continual learning: Repeated Augmented Rehearsal [13.075018350152074]
  オンライン連続学習(OCL)は、単一のデータパスで、非定常データストリームからニューラルネットワークを漸進的にトレーニングすることを目的としている。 リハーサルベースの手法は、観測された入力分布を小さなメモリで時間とともに近似し、後にそれを再検討して、忘れることを避ける。 本稿では,バイアスや動的経験的リスク最小化の観点から,メモリ過適合リスクに関する理論的知見を提供する。
  論文  参考訳（メタデータ） (2022-09-28T08:43:35Z)
• IB-DRR: Incremental Learning with Information-Back Discrete Representation Replay [4.8666876477091865]
  インクリメンタルラーニングは、機械学習モデルが新しいクラスから新しい知識を継続的に取得できるようにすることを目的としている。 以前に見たクラスのトレーニングサンプルのサブセットをメモリに保存し、新しいトレーニングフェーズ中に再生することは、この目標を達成するために効率的で効果的な方法であることが証明されています。 しかし、モデルパフォーマンスと各クラスに保存するサンプル数とのトレードオフを見つけることは、リプレイベースの漸進学習では依然として未解決の問題である。
  論文  参考訳（メタデータ） (2021-04-21T15:32:11Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。