論文の概要: Non-Uniform Memory Sampling in Experience Replay

• arxiv url: http://arxiv.org/abs/2502.11305v1
• Date: Sun, 16 Feb 2025 23:04:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:09:49.476342
• Title: Non-Uniform Memory Sampling in Experience Replay
• Title（参考訳）: 経験的リプレイにおける非均一メモリサンプリング
• Authors: Andrii Krutsylo,
• Abstract要約: 破滅的な忘れを和らげるための一般的な戦略は、経験的なリプレイである。 ほとんどのアプローチでは、このバッファからのサンプリングはデフォルトで一様であると仮定する。 我々は試験毎に50種類の非一様サンプリング確率重みを生成し、最終的な精度を一様サンプリング基準値と比較する。
• 参考スコア（独自算出の注目度）: 1.9580473532948401
• License:
• Abstract: Continual learning is the process of training machine learning models on a sequence of tasks where data distributions change over time. A well-known obstacle in this setting is catastrophic forgetting, a phenomenon in which a model drastically loses performance on previously learned tasks when learning new ones. A popular strategy to alleviate this problem is experience replay, in which a subset of old samples is stored in a memory buffer and replayed with new data. Despite continual learning advances focusing on which examples to store and how to incorporate them into the training loss, most approaches assume that sampling from this buffer is uniform by default. We challenge the assumption that uniform sampling is necessarily optimal. We conduct an experiment in which the memory buffer updates the same way in every trial, but the replay probability of each stored sample changes between trials based on different random weight distributions. Specifically, we generate 50 different non-uniform sampling probability weights for each trial and compare their final accuracy to the uniform sampling baseline. We find that there is always at least one distribution that significantly outperforms the baseline across multiple buffer sizes, models, and datasets. These results suggest that more principled adaptive replay policies could yield further gains. We discuss how exploiting this insight could inspire new research on non-uniform memory sampling in continual learning to better mitigate catastrophic forgetting. The code supporting this study is available at $\href{https://github.com/DentonJC/memory-sampling}{https://github.com/DentonJC/memory-sampling}$.
• Abstract（参考訳）: 継続的学習は、データ分散が時間とともに変化する一連のタスクで機械学習モデルをトレーニングするプロセスである。 この設定でよく知られた障害は破滅的な忘れことであり、モデルが新しいものを学ぶ際に、以前に学習したタスクのパフォーマンスが劇的に低下する現象である。 この問題を緩和するための一般的な戦略は、古いサンプルのサブセットをメモリバッファに格納し、新しいデータで再生するエクスペリエンス・リプレイである。 継続的な学習は、どのサンプルを格納するか、トレーニング損失にどのように組み込むかに重点を置いているが、ほとんどのアプローチでは、このバッファからのサンプリングはデフォルトでは均一であると仮定している。 均一サンプリングが必ずしも最適であるという仮定に挑戦する。 各試行においてメモリバッファが同じ方法で更新される実験を行うが、各記憶されたサンプルの再生確率は、異なるランダムな重み分布に基づいて、試行間で変化する。 具体的には,実験毎に50種類の非一様サンプリング確率重みを生成し,その最終的な精度を一様サンプリング基準値と比較する。 私たちは、複数のバッファサイズ、モデル、データセットでベースラインを大幅に上回る少なくとも1つのディストリビューションがあることに気付きました。 これらの結果は、より原則化された適応的なリプレイポリシーがさらなる利益をもたらすことを示唆している。 この知見を活用すれば、連続学習における一様でないメモリサンプリングに関する新たな研究が、破滅的な忘れを軽減できる可能性について論じる。 この研究をサポートするコードは、$\href{https://github.com/DentonJC/Memory-sampling}{https://github.com/DentonJC/Memory-sampling}$で入手できる。

関連論文リスト

• STAMP: Outlier-Aware Test-Time Adaptation with Stable Memory Replay [76.06127233986663]
  テスト時間適応(TTA)は、トレーニングデータとテストデータの間の分散シフトに、未ラベルのデータのみを用いて対処することを目的としている。 本稿では,サンプル認識とオフリエ拒絶の両方を行う問題に注意を払っている。 本稿では,STAble Memory rePlay (STAMP) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-22T16:25:41Z)
• Watch Your Step: Optimal Retrieval for Continual Learning at Scale [1.7265013728931]
  連続学習では、モデルは古いタスクと新しいタスクの間の干渉を最小限にしながら、時間とともに漸進的に学習する。 継続的学習における最も広く使われているアプローチの1つは、リプレイと呼ばれる。 本稿では,単純で独立したクラス選択型プリミティブとサンプル選択型プリミティブによって分類された選択的検索戦略を評価するためのフレームワークを提案する。 本稿では,重複したリプレイを防止し,損失値の低い新しいサンプルをリプレイなしで学習できるかどうかを探索する戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-16T17:35:35Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Improving Replay Sample Selection and Storage for Less Forgetting in Continual Learning [1.2891210250935146]
  継続的な学習は、深層学習者が過去のタスクの破滅的な忘れ込みに悩まされることなく、未知の長さの一連のタスクを訓練できるようにすることを目的としている。 1つの効果的な解決策はリプレイであり、メモリにほとんど過去の経験を保存し、現在のタスクを学習する際にそれらをリプレイする。 本研究は, 一般的な貯水池サンプリングと, 様々な代替集団戦略との比較により, これらの課題に対処することを目的としている。
  論文  参考訳（メタデータ） (2023-08-03T17:46:27Z)
• Reducing Training Sample Memorization in GANs by Training with Memorization Rejection [80.0916819303573]
  本稿では,トレーニング中のトレーニングサンプルのほぼ重複する生成サンプルを拒否する学習手法であるリジェクション記憶法を提案する。 我々のスキームは単純で汎用的であり、任意のGANアーキテクチャに直接適用することができる。
  論文  参考訳（メタデータ） (2022-10-21T20:17:50Z)
• Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
  本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。 Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
  論文  参考訳（メタデータ） (2022-09-30T17:33:00Z)
• Prioritizing Samples in Reinforcement Learning with Reducible Loss [5.901819658403315]
  サンプルから学べる量に基づいて,サンプルを優先順位付けする手法を提案する。 学習能力の高いサンプルを優先するアルゴリズムを開発し,学習が難しいものに優先度を低く割り当てる。
  論文  参考訳（メタデータ） (2022-08-22T17:55:43Z)
• Memory Population in Continual Learning via Outlier Elimination [25.511380924335207]
  破滅的な忘れは、新しいタスクを学ぶ際に学習したタスクを忘れる現象であり、継続的な学習アルゴリズムを開発する上で大きなハードルとなる。 忘れを緩和する一般的な方法は、新しいタスクのトレーニングで使用する前に学習したタスク例のサブセットを格納するメモリバッファを使用することである。 本稿では,ラベル同種サブポピュレーションからサンプルを選択することにより,メモリバッファ内の外れ値の識別と除去を行うメモリ・アウトレイラ除去法(MOE)を提案する。
  論文  参考訳（メタデータ） (2022-07-04T00:09:33Z)
• Memory Replay with Data Compression for Continual Learning [80.95444077825852]
  古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
  論文  参考訳（メタデータ） (2022-02-14T10:26:23Z)
• Learning a Unified Sample Weighting Network for Object Detection [113.98404690619982]
  地域サンプリングや重み付けは、現代の地域ベースの物体検出器の成功に極めて重要である。 サンプル重み付けはデータ依存でタスク依存であるべきだと我々は主張する。 サンプルのタスク重みを予測するための統一的なサンプル重み付けネットワークを提案する。
  論文  参考訳（メタデータ） (2020-06-11T16:19:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。