論文の概要: Retrieval-Augmented Memory for Online Learning

• arxiv url: http://arxiv.org/abs/2512.02333v1
• Date: Tue, 02 Dec 2025 02:13:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-03 21:04:45.681087
• Title: Retrieval-Augmented Memory for Online Learning
• Title（参考訳）: オンライン学習のための検索強化メモリ
• Authors: Wenzhang Du,
• Abstract要約: Retrieval-augmented Modelはパラメトリックな予測器を非パラメトリックな記憶と組み合わせるが、コンセプトドリフトを用いたストリーミング教師あり学習ではよく理解されていない。 非定常環境におけるオンライン分類について検討し、検索型オンライン学習用メモリ(RAM-OL)を提案する。 RAM-OLは、隠された表現空間における現在の入力のいくつかの最も近い隣人を検索し、現在の例でモデルを共同で更新する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-augmented models couple parametric predictors with non-parametric memories, but their use in streaming supervised learning with concept drift is not well understood. We study online classification in non-stationary environments and propose Retrieval-Augmented Memory for Online Learning (RAM-OL), a simple extension of stochastic gradient descent that maintains a small buffer of past examples. At each time step, RAM-OL retrieves a few nearest neighbours of the current input in the hidden representation space and updates the model jointly on the current example and the retrieved neighbours. We compare a naive replay variant with a gated replay variant that constrains neighbours using a time window, similarity thresholds, and gradient reweighting, in order to balance fast reuse of relevant past data against robustness to outdated regimes. From a theoretical perspective, we interpret RAM-OL under a bounded drift model and discuss how retrieval can reduce adaptation cost and improve regret constants when patterns recur over time. Empirically, we instantiate RAM-OL on a simple online multilayer perceptron and evaluate it on three real-world data streams derived from electricity pricing, electricity load, and airline delay data. On strongly and periodically drifting streams, RAM-OL improves prequential accuracy by up to about seven percentage points and greatly reduces variance across random seeds, while on a noisy airline stream the gated variant closely matches the purely online baseline. These results show that retrieval-augmented memory is a practical and robust tool for online learning under concept drift.
• Abstract（参考訳）: Retrieval-augmented Modelはパラメトリックな予測器を非パラメトリックな記憶と組み合わせるが、コンセプトドリフトを用いたストリーミング教師あり学習ではよく理解されていない。 非定常環境におけるオンライン分類について検討し、過去の事例の小さなバッファを保持する確率勾配勾配の単純な拡張であるRetrieval-Augmented Memory for Online Learning (RAM-OL)を提案する。 それぞれの時間ステップでRAM-OLは、隠された表現空間内の現在の入力のいくつかの最も近い隣人を検索し、現在の例と取得した隣人を共同で更新する。 我々は、過去のデータから古い状態へのロバスト性に対する迅速な再利用のバランスをとるために、時間窓、類似度閾値、勾配再重み付けを用いて近隣住民を制約するゲート型リプレイ変種と比較する。 理論的観点からは, 境界ドリフトモデルの下でRAM-OLを解釈し, 時間とともにパターンが再帰すると, 検索が適応コストを低減し, 後悔定数を改善する方法について考察する。 実証的に、簡単なオンライン多層パーセプトロン上でRAM-OLをインスタンス化し、電力価格、電力負荷、航空会社遅延データから得られた実世界の3つのデータストリームで評価する。 強く周期的にドリフトするストリームでは、RAM-OLは精度を最大7ポイント向上し、ランダムなシード間のばらつきを大幅に低減する一方、ノイズの多い航空会社では、ゲートの変種は純粋にオンラインのベースラインと密接に一致している。 これらの結果から,検索記憶は概念ドリフト下でのオンライン学習において,実用的で堅牢なツールであることが示唆された。

関連論文リスト

• Mitigating Catastrophic Forgetting in Streaming Generative and Predictive Learning via Stateful Replay [0.0]
  本稿では,ストリーミング自動エンコード時系列予測と分類のためのステートフルリプレイについて統一的な研究を行う。 我々は,Rotated MNIST, ElectricityLoadDiagrams 2011-2014, Airlines遅延データから構築した6つのストリーミングシナリオに対して,単一再生機構を評価する。 ヘテロジニアスなマルチタスクストリームでは、リプレイは平均忘れを2～3倍に減らし、良質な時間ベースストリームでは、どちらのメソッドも同じように動作する。
  論文  参考訳（メタデータ） (2025-11-22T06:25:54Z)
• Escaping Stability-Plasticity Dilemma in Online Continual Learning for Motion Forecasting via Synergetic Memory Rehearsal [19.181540661354312]
  DNNに基づく動き予測のための相乗的メモリリハーサル(SyReM)を提案する。 SyReMは学習知識を表現するために、コンパクトなメモリバッファを保持する。 メモリバッファの平均損失を制限する不等式制約を採用している。 SyReMは過去のシナリオにおける破滅的な忘れを著しく軽減し、新しいシナリオの予測精度を向上する。
  論文  参考訳（メタデータ） (2025-08-27T05:04:33Z)
• GPS: Distilling Compact Memories via Grid-based Patch Sampling for Efficient Online Class-Incremental Learning [20.112448377660854]
  我々は,訓練可能なモデルに頼ることなく,情報的メモリサンプルを蒸留するための軽量な戦略であるGrid-based Patch Smpling (GPS)を紹介した。 GPSは、元の画像から画素のサブセットをサンプリングして情報的サンプルを生成し、コンパクトな低解像度表現を生成する。 GPSは既存のリプレイフレームワークにシームレスに統合できるため、メモリ制限された設定下での平均終了精度が3%-4%向上する。
  論文  参考訳（メタデータ） (2025-04-14T16:58:02Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Sequential Learning Of Neural Networks for Prequential MDL [18.475866691786695]
  ニューラルネットワークを用いた画像分類データセットの事前記述長の計算手法を評価する。 計算コストを考慮すると、リハーサルによるオンライン学習は好成績であることがわかった。 本稿では,画像分類データセットの集合に対する記述長について述べる。
  論文  参考訳（メタデータ） (2022-10-14T16:30:23Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。