論文の概要: Replay to Remember (R2R): An Efficient Uncertainty-driven Unsupervised Continual Learning Framework Using Generative Replay

• arxiv url: http://arxiv.org/abs/2505.04787v2
• Date: Fri, 09 May 2025 05:22:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 12:48:53.997095
• Title: Replay to Remember (R2R): An Efficient Uncertainty-driven Unsupervised Continual Learning Framework Using Generative Replay
• Title（参考訳）: Replay to Remember (R2R):ジェネレーティブ・リプレイを用いた不確実性駆動型教師なし連続学習フレームワーク
• Authors: Sriram Mandalika, Harsha Vardhan, Athira Nambiar,
• Abstract要約: 継続学習は、以前獲得した知識を維持しながら、新しいデータから徐々に知識を取得する。 生成的リプレイ(Replay to Remember(R2R))」を用いた新しい不確実性駆動型教師なし連続学習フレームワークを提案する。 提案手法は,98.13%,73.06%,93.41%,95.18%,59.74%の最先端性能を達成した。
• 参考スコア（独自算出の注目度）: 1.5267291767316298
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual Learning entails progressively acquiring knowledge from new data while retaining previously acquired knowledge, thereby mitigating ``Catastrophic Forgetting'' in neural networks. Our work presents a novel uncertainty-driven Unsupervised Continual Learning framework using Generative Replay, namely ``Replay to Remember (R2R)''. The proposed R2R architecture efficiently uses unlabelled and synthetic labelled data in a balanced proportion using a cluster-level uncertainty-driven feedback mechanism and a VLM-powered generative replay module. Unlike traditional memory-buffer methods that depend on pretrained models and pseudo-labels, our R2R framework operates without any prior training. It leverages visual features from unlabeled data and adapts continuously using clustering-based uncertainty estimation coupled with dynamic thresholding. Concurrently, a generative replay mechanism along with DeepSeek-R1 powered CLIP VLM produces labelled synthetic data representative of past experiences, resembling biological visual thinking that replays memory to remember and act in new, unseen tasks. Extensive experimental analyses are carried out in CIFAR-10, CIFAR-100, CINIC-10, SVHN and TinyImageNet datasets. Our proposed R2R approach improves knowledge retention, achieving a state-of-the-art performance of 98.13%, 73.06%, 93.41%, 95.18%, 59.74%, respectively, surpassing state-of-the-art performance by over 4.36%.
• Abstract（参考訳）: 継続学習は、以前取得した知識を保持しながら、新しいデータから徐々に知識を取得することを必要とし、ニューラルネットワークにおける ‘Catastrophic Forgetting'' を緩和する。 本研究は,ジェネレーティブ・リプレイ(Replay to remember, R2R)')を用いた新しい不確実性駆動型教師なし連続学習フレームワークを提案する。 提案したR2Rアーキテクチャは,クラスタレベルの不確実性駆動フィードバック機構とVLMによる生成再生モジュールを用いて,非ラベル付きおよび合成ラベル付きデータをバランスの取れた比率で効率的に利用する。 事前トレーニングされたモデルや擬似ラベルに依存する従来のメモリバッファメソッドとは異なり、R2Rフレームワークは事前トレーニングなしで動作します。 ラベルのないデータからの視覚的特徴を活用し、動的しきい値と組み合わせたクラスタリングベースの不確実性推定を継続的に適用する。 同時に、DeepSeek-R1搭載のCLIP VLMと共に、記憶をリプレイする生物学的視覚的思考に似た、過去の経験を表すラベル付き合成データを生成する。 CIFAR-10, CIFAR-100, CINIC-10, SVHN, TinyImageNetデータセットにおいて, 大規模な実験分析を行った。 提案手法は知識保持を向上し,最先端性能の98.13%,73.06%,93.41%,95.18%,59.74%をそれぞれ達成し,最先端性能の4.36%を上回った。

関連論文リスト

• Task-Focused Consolidation with Spaced Recall: Making Neural Networks learn like college students [0.0]
  本稿では,Active Recall, Deliberate Practice, Spaced Repetitionといった人間の学習戦略にインスパイアされた,新たな継続的学習手法を提案する。 Task Focused Consolidation with Spaced Recall (TFC-SR) と呼ばれる。 TFC-SRは、Active Recall Probeと呼ばれるメカニズムで、標準的な体験リプレイを強化します。
  論文  参考訳（メタデータ） (2025-07-10T08:35:30Z)
• Reinforced Interactive Continual Learning via Real-time Noisy Human Feedback [59.768119380109084]
  本稿では,AIモデルがリアルタイムフィードバックから新たなスキルを動的に学習する対話型連続学習パラダイムを提案する。 大規模言語モデル(LLM)を活用した強化型対話型連続学習フレームワークRiCLを提案する。 我々のRiCLアプローチは、最先端のオンライン連続学習とノイズラベル学習の既存の組み合わせを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-15T03:22:03Z)
• SEEKR: Selective Attention-Guided Knowledge Retention for Continual Learning of Large Language Models [27.522743690956315]
  本研究では,大規模言語モデル (LLM) のデータ効率性に基づく連続学習のためのSelective attEntion-guided Knowledge Retention法(SEEKR)を提案する。 SEEKRは、よりきめ細かい知識保持のために選択された注目ヘッドに注意蒸留を行う。 LLMのための2つの連続学習ベンチマークの実験結果は、SEEKRが既存の手法よりも性能と効率の両面で優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-09T13:02:36Z)
• IncSAR: A Dual Fusion Incremental Learning Framework for SAR Target Recognition [13.783950035836593]
  IncSARは、ターゲット認識における破滅的な忘れに対処するために設計された漸進的な学習フレームワークである。 SAR画像に固有のスペックルノイズを軽減するため、ニューラルネットワーク近似に基づくデノナイジングモジュールを用いる。 MSTAR、SAR-AIRcraft-1.0、OpenSARShipベンチマークデータセットの実験は、IncSARが最先端のアプローチを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2024-10-08T08:49:47Z)
• Complexity-Aware Deep Symbolic Regression with Robust Risk-Seeking Policy Gradients [20.941908494137806]
  本稿では,データ駆動型数式発見の堅牢性と解釈可能性を高めるために,新しい記号回帰手法を提案する。 我々の研究は、データ固有の式生成器の学習に焦点を当てた、一般的なDSRフレームワークと一致しています。
  論文  参考訳（メタデータ） (2024-06-10T19:29:10Z)
• Learning Prompt with Distribution-Based Feature Replay for Few-Shot Class-Incremental Learning [56.29097276129473]
  分散型特徴再現(LP-DiF)を用いた学習プロンプト(Learning Prompt)という,シンプルで効果的なフレームワークを提案する。 新しいセッションでは,学習可能なプロンプトが古い知識を忘れないようにするため,擬似機能的リプレイ手法を提案する。 新しいセッションに進むと、古いクラスのディストリビューションと現在のセッションのトレーニングイメージを組み合わせて擬似フィーチャーをサンプリングして、プロンプトを最適化する。
  論文  参考訳（メタデータ） (2024-01-03T07:59:17Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• A simple but strong baseline for online continual learning: Repeated Augmented Rehearsal [13.075018350152074]
  オンライン連続学習(OCL)は、単一のデータパスで、非定常データストリームからニューラルネットワークを漸進的にトレーニングすることを目的としている。 リハーサルベースの手法は、観測された入力分布を小さなメモリで時間とともに近似し、後にそれを再検討して、忘れることを避ける。 本稿では,バイアスや動的経験的リスク最小化の観点から,メモリ過適合リスクに関する理論的知見を提供する。
  論文  参考訳（メタデータ） (2022-09-28T08:43:35Z)
• Open-Set Recognition: A Good Closed-Set Classifier is All You Need [146.6814176602689]
  分類器が「ゼロ・オブ・ア・ア・ア・ベ」決定を行う能力は、閉集合クラスにおける精度と高い相関関係があることが示される。 この相関を利用して、閉セット精度を向上させることにより、クロスエントロピーOSR'ベースライン'の性能を向上させる。 また、セマンティックノベルティを検出するタスクをより尊重する新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2021-10-12T17:58:59Z)
• Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
  本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。 畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。 この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
  論文  参考訳（メタデータ） (2021-08-03T19:24:25Z)
• IB-DRR: Incremental Learning with Information-Back Discrete Representation Replay [4.8666876477091865]
  インクリメンタルラーニングは、機械学習モデルが新しいクラスから新しい知識を継続的に取得できるようにすることを目的としている。 以前に見たクラスのトレーニングサンプルのサブセットをメモリに保存し、新しいトレーニングフェーズ中に再生することは、この目標を達成するために効率的で効果的な方法であることが証明されています。 しかし、モデルパフォーマンスと各クラスに保存するサンプル数とのトレードオフを見つけることは、リプレイベースの漸進学習では依然として未解決の問題である。
  論文  参考訳（メタデータ） (2021-04-21T15:32:11Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。