論文の概要: PDAC: Efficient Coreset Selection for Continual Learning via Probability Density Awareness

• arxiv url: http://arxiv.org/abs/2511.09487v1
• Date: Thu, 13 Nov 2025 01:57:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-13 22:34:54.590916
• Title: PDAC: Efficient Coreset Selection for Continual Learning via Probability Density Awareness
• Title（参考訳）: PDAC:確率密度認識による継続学習のための効率的なコアセット選択
• Authors: Junqi Gao, Zhichang Guo, Dazhi Zhang, Yao Li, Yi Ran, Biqing Qi,
• Abstract要約: リハーサルベースの連続学習(CL)は、知識保持のためのリプレイサンプルを保存するために、限られたメモリバッファを保持する。 現在のリハーサルベースのCLメソッドは、通常、代表サブセットを選択してメモリバッファを構成する。 本稿では,各試料の接合密度を推定する確率密度認識コアセット(PDAC)法を提案する。
• 参考スコア（独自算出の注目度）: 19.191960069245354
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Rehearsal-based Continual Learning (CL) maintains a limited memory buffer to store replay samples for knowledge retention, making these approaches heavily reliant on the quality of the stored samples. Current Rehearsal-based CL methods typically construct the memory buffer by selecting a representative subset (referred to as coresets), aiming to approximate the training efficacy of the full dataset with minimal storage overhead. However, mainstream Coreset Selection (CS) methods generally formulate the CS problem as a bi-level optimization problem that relies on numerous inner and outer iterations to solve, leading to substantial computational cost thus limiting their practical efficiency. In this paper, we aim to provide a more efficient selection logic and scheme for coreset construction. To this end, we first analyze the Mean Squared Error (MSE) between the buffer-trained model and the Bayes-optimal model through the perspective of localized error decomposition to investigate the contribution of samples from different regions to MSE suppression. Further theoretical and experimental analyses demonstrate that samples with high probability density play a dominant role in error suppression. Inspired by this, we propose the Probability Density-Aware Coreset (PDAC) method. PDAC leverages the Projected Gaussian Mixture (PGM) model to estimate each sample's joint density, enabling efficient density-prioritized buffer selection. Finally, we introduce the streaming Expectation Maximization (EM) algorithm to enhance the adaptability of PGM parameters to streaming data, yielding Streaming PDAC (SPDAC) for streaming scenarios. Extensive comparative experiments show that our methods outperforms other baselines across various CL settings while ensuring favorable efficiency.
• Abstract（参考訳）: リハーサルベースの連続学習(CL)は、知識保持のためにリプレイサンプルを格納するための限られたメモリバッファを保持しており、これらのアプローチは記憶されたサンプルの品質に大きく依存している。 現在のリハーサルベースのCLメソッドは通常、(コアセットと呼ばれる)代表サブセットを選択してメモリバッファを構築し、ストレージオーバーヘッドを最小限に抑えた完全なデータセットのトレーニング効率を近似することを目的としている。 しかし、主流のCoreset Selection (CS) 法は一般にCS問題を内部および外部の繰り返しに頼って解決する二段階最適化問題として定式化し、計算コストを大幅に削減し、実用的な効率を抑える。 本稿では,コアセット構築のためのより効率的な選択論理とスキームを提案する。 そこで我々はまず, 局所的誤差分解の観点から, バッファ学習モデルとベイズ最適モデルの間の平均二乗誤差(MSE)を解析し, MSE抑制に対する異なる領域からのサンプルの寄与について検討する。 さらなる理論的、実験的分析により、高い確率密度のサンプルがエラー抑制において支配的な役割を果たすことが示された。 そこで本研究では,確率密度認識コアセット(PDAC)法を提案する。 PDACは、投射ガウス混合(PGM)モデルを利用して、各サンプルの関節密度を推定し、効率的な密度優先バッファ選択を可能にする。 最後に、ストリーミングデータに対するPGMパラメータの適応性を高めるために、ストリーミング予測最大化(EM)アルゴリズムを導入し、ストリーミングシナリオに対してストリーミングPDAC(SPDAC)を出力する。 総合的な比較実験により,提案手法は様々なCL設定において他のベースラインよりも優れ,良好な効率を確保できることが示された。

関連論文リスト

• SPREAD: Sampling-based Pareto front Refinement via Efficient Adaptive Diffusion [0.8594140167290097]
  SPREADは拡散確率モデル(DDPM)に基づく生成フレームワークである 決定空間からサンプリングされた点上の条件拡散過程を学習する。 適応的多重勾配降下インスパイアされた更新を高速収束に利用するサンプリングスキームにより、候補を洗練する。
  論文  参考訳（メタデータ） (2025-09-25T12:09:37Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• SeWA: Selective Weight Average via Probabilistic Masking [51.015724517293236]
  より良く、より高速な収束を達成するためには、ほんの数ポイントしか必要としないことを示す。 離散選択問題を連続的な部分集合最適化フレームワークに変換する。 両凸画像チェックポイントの値よりもシャープなSeWAの安定性境界を導出する。
  論文  参考訳（メタデータ） (2025-02-14T12:35:21Z)
• Frugal Actor-Critic: Sample Efficient Off-Policy Deep Reinforcement Learning Using Unique Experiences [8.983448736644382]
  リプレイバッファの効率的な利用は、非政治アクター-犯罪強化学習(RL)アルゴリズムにおいて重要な役割を担っている。 本稿では,ユニークなサンプルを選択してリプレイバッファに追加することに焦点を当てた,サンプル効率を実現する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-05T10:04:00Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• Optimal Sample Selection Through Uncertainty Estimation and Its Application in Deep Learning [22.410220040736235]
  コアセット選択とアクティブラーニングの両方に対処するための理論的に最適な解を提案する。 提案手法であるCOPSは,サブサンプルデータに基づいてトレーニングされたモデルの損失を最小限に抑えるために設計されている。
  論文  参考訳（メタデータ） (2023-09-05T14:06:33Z)
• Learning Sampling Distributions for Model Predictive Control [36.82905770866734]
  モデル予測制御(MPC)に対するサンプリングに基づくアプローチは、MPCに対する現代のアプローチの基盤となっている。 我々は、学習された分布を最大限に活用できるように、潜在空間における全ての操作を実行することを提案する。 具体的には、学習問題を双方向の最適化として捉え、バックプロパゲーションスルータイムでコントローラをトレーニングする方法を示す。
  論文  参考訳（メタデータ） (2022-12-05T20:35:36Z)
• Exploiting Temporal Structures of Cyclostationary Signals for Data-Driven Single-Channel Source Separation [98.95383921866096]
  単一チャネルソース分離(SCSS)の問題点について検討する。 我々は、様々なアプリケーション領域に特に適するサイクロ定常信号に焦点を当てる。 本稿では,最小MSE推定器と競合するU-Netアーキテクチャを用いたディープラーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-08-22T14:04:56Z)
• Unsupervised learning of disentangled representations in deep restricted kernel machines with orthogonality constraints [15.296955630621566]
  Constr-DRKMは、非教師なしデータ表現の学習のためのディープカーネル手法である。 本研究では,不整合特徴学習における提案手法の有効性を定量的に評価する。
  論文  参考訳（メタデータ） (2020-11-25T11:40:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。