論文の概要: Distilled Replay: Overcoming Forgetting through Synthetic Samples

• arxiv url: http://arxiv.org/abs/2103.15851v1
• Date: Mon, 29 Mar 2021 18:02:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-01 08:40:24.023041
• Title: Distilled Replay: Overcoming Forgetting through Synthetic Samples
• Title（参考訳）: 蒸留リプレイ:合成サンプルによる忘れを克服する
• Authors: Andrea Rosasco, Antonio Carta, Andrea Cossu, Vincenzo Lomonaco, Davide Bacciu
• Abstract要約: リプレイ戦略は、過去の経験からパターンのバッファを保持することで破滅的な忘れを緩和する継続的学習技術である。 この研究は、非常に小さなバッファを維持して忘れを緩和できる、連続学習のための新しいリプレイ戦略である蒸留リプレイを紹介している。 データセットからランダムにパターンを抽出したnaive replayに対する蒸留リプレイの有効性を,4つの一般的な連続学習ベンチマークで示す。
• 参考スコア（独自算出の注目度）: 11.240947363668242
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Replay strategies are Continual Learning techniques which mitigate catastrophic forgetting by keeping a buffer of patterns from previous experience, which are interleaved with new data during training. The amount of patterns stored in the buffer is a critical parameter which largely influences the final performance and the memory footprint of the approach. This work introduces Distilled Replay, a novel replay strategy for Continual Learning which is able to mitigate forgetting by keeping a very small buffer (up to $1$ pattern per class) of highly informative samples. Distilled Replay builds the buffer through a distillation process which compresses a large dataset into a tiny set of informative examples. We show the effectiveness of our Distilled Replay against naive replay, which randomly samples patterns from the dataset, on four popular Continual Learning benchmarks.
• Abstract（参考訳）: リプレイ戦略は、トレーニング中に新しいデータにインターリーブされた以前の経験からパターンのバッファを保持することで、破滅的な忘れを緩和する継続的学習技術である。 バッファに格納されるパターンの量は、最終的なパフォーマンスとアプローチのメモリフットプリントに大きな影響を与える重要なパラメータである。 これは、非常に有益なサンプルの非常に小さなバッファ(1クラスあたり最大1ドルまでのパターン)を保持することで、忘れを緩和できる、継続的な学習のための新しいリプレイ戦略である。 Distilled Replayは、大きなデータセットを小さな情報的な例に圧縮する蒸留プロセスを通じてバッファを構築する。 データセットからランダムにパターンを抽出したnaive replayに対する蒸留リプレイの有効性を,4つの一般的な連続学習ベンチマークで示す。

関連論文リスト

• Watch Your Step: Optimal Retrieval for Continual Learning at Scale [1.7265013728931]
  連続学習では、モデルは古いタスクと新しいタスクの間の干渉を最小限にしながら、時間とともに漸進的に学習する。 継続的学習における最も広く使われているアプローチの1つは、リプレイと呼ばれる。 本稿では,単純で独立したクラス選択型プリミティブとサンプル選択型プリミティブによって分類された選択的検索戦略を評価するためのフレームワークを提案する。 本稿では,重複したリプレイを防止し,損失値の低い新しいサンプルをリプレイなしで学習できるかどうかを探索する戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-16T17:35:35Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Continual Learning with Strong Experience Replay [32.154995019080594]
  SER(Strong Experience Replay)を用いたCL法を提案する。 SERは、メモリバッファから過去の経験を蒸留する以外に、現在のトレーニングデータに模倣された将来の経験を利用する。 複数の画像分類データセットによる実験結果から,SER法が最先端の手法をはるかに上回ることがわかった。
  論文  参考訳（メタデータ） (2023-05-23T02:42:54Z)
• PCR: Proxy-based Contrastive Replay for Online Class-Incremental Continual Learning [16.67238259139417]
  既存のリプレイベースのメソッドは、プロキシベースのあるいはコントラストベースのリプレイ方式で古いデータの一部を保存し、再生することで、この問題を効果的に緩和する。 プロキシベースコントラストリプレイ(PCR)と呼ばれる新しいリプレイ方式を提案する。
  論文  参考訳（メタデータ） (2023-04-10T06:35:19Z)
• Adiabatic replay for continual learning [138.7878582237908]
  生成的リプレイは、すでに知られていることを再学習するだけで、より多くの時間を費やします。 我々は、アディバティック・リプレイ(AR)と呼ぶリプレイベースのCL戦略を提案する。 VAEを用いた最先端の深層再生よりもARの方が優れていることを実験的に検証した。
  論文  参考訳（メタデータ） (2023-03-23T10:18:06Z)
• Analysis of Stochastic Processes through Replay Buffers [50.52781475688759]
  本稿では,プロセスXをリプレイバッファにプッシュし,そのリプレイバッファからプロセスYをランダムに生成するシステムを分析する。 我々の理論的分析は、リプレイバッファが良いデコレータとなる理由について光を当てている。
  論文  参考訳（メタデータ） (2022-06-26T11:20:44Z)
• Sample Condensation in Online Continual Learning [13.041782266237]
  オンライン連続学習は、モデルが非定常的なデータストリームから学ぶ必要がある、困難な学習シナリオである。 我々は,知識凝縮技術を用いて連続的にメモリを圧縮する新しいリプレイ型連続学習戦略であるOLCGMを提案する。
  論文  参考訳（メタデータ） (2022-06-23T17:23:42Z)
• Memory Replay with Data Compression for Continual Learning [80.95444077825852]
  古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
  論文  参考訳（メタデータ） (2022-02-14T10:26:23Z)
• Replay For Safety [51.11953997546418]
  経験的なリプレイでは、過去の遷移はメモリバッファに格納され、学習中に再使用される。 適切なバイアスサンプリング方式を用いることで,エファンセーフなポリシーを実現できることを示す。
  論文  参考訳（メタデータ） (2021-12-08T11:10:57Z)
• An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
  連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。 いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。 連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
  論文  参考訳（メタデータ） (2021-08-15T15:05:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。