論文の概要: DLER: Dual-Logit Experience Replay for Online Continual Learning

• arxiv url: http://arxiv.org/abs/2611.04885v1
• Date: Tue, 03 Nov 2026 13:32:58 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:35:17.632858
• Title: DLER: Dual-Logit Experience Replay for Online Continual Learning
• Title（参考訳）: DLER:オンライン連続学習のためのデュアルロジット体験リプレイ
• Abstract要約: オンライン連続学習は、非定常データストリーム上のニューラルネットワークを1回のパスで継続的にトレーニングすることを目的としている。 本稿では,モデル最適化とメモリ管理の両方にデュアルログを利用するDual-Logit Experience Replay (DLER)を提案する。
• 参考スコア（独自算出の注目度）: 31.541329566227315
• License:
• Abstract: Online continual learning aims to continuously train neural networks on a non-stationary data stream in a single pass. Rehearsal-based methods alleviate catastrophic forgetting by replaying stored samples, but the imbalance between current and previous data often leads to predictions biased toward current classes. Many approaches have been proposed to overcome the forgetting problem by correcting the bias; however, they still need to be improved in an online fashion. By decomposing the dot-product logits into an angle factor and a norm factor, our analysis reveals that the angle factor efficiently captures novel knowledge but is particularly susceptible to prediction bias, whereas the norm factor helps preserve historical knowledge. Based on these observations, we propose Dual-Logit Experience Replay (DLER), which exploits dual-logits for both model optimization and memory management. Specifically, DLER learns current samples using cosine logits and incorporates additional dot-product logits when replaying previous samples to mitigate prediction bias. To strengthen dual-logit learning under limited replay memory, an auxiliary supervised contrastive objective promotes angular compactness within each class, extending corrections learned from limited replay samples to other samples of the same class. Meanwhile, we introduce a memory update strategy that preferentially retains samples for which dot-product prediction assigns a higher probability to the correct class than cosine prediction, aligning sample selection with dual-logit training. Extensive experiments on three datasets demonstrate the effectiveness of DLER, particularly under limited memory budgets.
• Abstract（参考訳）: オンライン連続学習は、非定常データストリーム上のニューラルネットワークを1回のパスで継続的にトレーニングすることを目的としている。 リハーサルベースの手法は、記憶されているサンプルを再生することで破滅的な忘れを緩和するが、現在のデータと過去のデータの不均衡は、しばしば現在のクラスに偏った予測をもたらす。 バイアスを補正することで、忘れる問題を克服する多くのアプローチが提案されているが、それでもオンライン方式で改善する必要がある。 点積ロジットをアングルファクターとノルムファクターに分解することにより、このアングルファクターが新しい知識を効果的に捉えるが、予測バイアスに特に影響を受けやすいのに対し、ノルムファクターは歴史的知識の保存に役立つことが明らかとなった。 そこで本研究では,モデル最適化とメモリ管理の両方にデュアルログを利用するDual-Logit Experience Replay (DLER)を提案する。 具体的には、DLERはコサインロジットを使用して現在のサンプルを学習し、予測バイアスを軽減するために以前のサンプルを再生する際に追加のドット積ロジットを組み込む。 制限されたリプレイメモリ下でのデュアルログ学習を強化するために、補助的教師付きコントラスト目的は、各クラス内の角コンパクト性を促進し、制限されたリプレイサンプルから学んだ補正を同一クラスの他のサンプルに拡張する。 一方,ドット積予測がコサイン予測よりも高い確率を正しいクラスに割り当てるサンプルを優先的に保持するメモリ更新戦略を導入し,サンプル選択とデュアルログトレーニングを一致させる。 3つのデータセットに対する大規模な実験は、DLERの有効性を実証している。

関連論文リスト

• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。 しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• UER: A Heuristic Bias Addressing Approach for Online Continual Learning [22.375489356775468]
  オンライン連続学習は、単一のパススルーデータで連続データストリームからニューラルネットワークを継続的にトレーニングすることを目的としている。 最も効果的なアプローチとして、リハーサルベースのメソッドは、以前のデータの一部を再生する。 本稿では,より単純で効率的な手法でバイアス問題に対処する。
  論文  参考訳（メタデータ） (2023-09-08T02:42:40Z)
• Continual Learning with Strong Experience Replay [32.154995019080594]
  SER(Strong Experience Replay)を用いたCL法を提案する。 SERは、メモリバッファから過去の経験を蒸留する以外に、現在のトレーニングデータに模倣された将来の経験を利用する。 複数の画像分類データセットによる実験結果から,SER法が最先端の手法をはるかに上回ることがわかった。
  論文  参考訳（メタデータ） (2023-05-23T02:42:54Z)
• PCR: Proxy-based Contrastive Replay for Online Class-Incremental Continual Learning [16.67238259139417]
  既存のリプレイベースのメソッドは、プロキシベースのあるいはコントラストベースのリプレイ方式で古いデータの一部を保存し、再生することで、この問題を効果的に緩和する。 プロキシベースコントラストリプレイ(PCR)と呼ばれる新しいリプレイ方式を提案する。
  論文  参考訳（メタデータ） (2023-04-10T06:35:19Z)
• Cross Pairwise Ranking for Unbiased Item Recommendation [57.71258289870123]
  我々はCPR(Cross Pairwise Ranking)という新しい学習パラダイムを開発する。 CPRは、露出メカニズムを知らずに不偏の推奨を達成する。 理論的には、この方法が学習に対するユーザ/イテムの適合性の影響を相殺することを証明する。
  論文  参考訳（メタデータ） (2022-04-26T09:20:27Z)
• WSLRec: Weakly Supervised Learning for Neural Sequential Recommendation Models [24.455665093145818]
  我々は、WSLRecと呼ばれる新しいモデルに依存しないトレーニング手法を提案し、3段階のフレームワーク(事前学習、トップ$k$マイニング、本質的、微調整)を採用する。 WSLRec は、BR や ItemCF のようなモデルフリーメソッドから、余分な弱い監督のモデルを事前訓練することで、不完全性の問題を解決すると同時に、最上位の$k のマイニングを活用して、微調整のための弱い監督の信頼性の高いユーザ・イテム関連を検査することで、不正確な問題を解消する。
  論文  参考訳（メタデータ） (2022-02-28T08:55:12Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。