論文の概要: Continual Learning with Synthetic Boundary Experience Blending

• arxiv url: http://arxiv.org/abs/2507.23534v1
• Date: Thu, 31 Jul 2025 13:20:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-01 17:19:09.812059
• Title: Continual Learning with Synthetic Boundary Experience Blending
• Title（参考訳）: 合成境界経験ブレンディングによる連続学習
• Authors: Chih-Fan Hsu, Ming-Ching Chang, Wei-Chao Chen,
• Abstract要約: 本稿では、記憶されたキーサンプルと、合成された境界隣接データの両方から知識を統合する新しいトレーニングフレームワークbf Experience Blendingを提案する。 提案手法は9つのCLベースラインを上回り,10%,6%,13%の精度向上を実現した。
• 参考スコア（独自算出の注目度）: 12.65383500988952
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) aims to address catastrophic forgetting in models trained sequentially on multiple tasks. While experience replay has shown promise, its effectiveness is often limited by the sparse distribution of stored key samples, leading to overly simplified decision boundaries. We hypothesize that introducing synthetic data near the decision boundary (Synthetic Boundary Data, or SBD) during training serves as an implicit regularizer, improving boundary stability and mitigating forgetting. To validate this hypothesis, we propose a novel training framework, {\bf Experience Blending}, which integrates knowledge from both stored key samples and synthetic, boundary-adjacent data. Experience blending consists of two core components: (1) a multivariate Differential Privacy (DP) noise mechanism that injects batch-wise noise into low-dimensional feature representations, generating SBD; and (2) an end-to-end training strategy that jointly leverages both stored key samples and SBD. Extensive experiments on CIFAR-10, CIFAR-100, and Tiny ImageNet demonstrate that our method outperforms nine CL baselines, achieving accuracy improvements of 10%, 6%, and 13%, respectively.
• Abstract（参考訳）: 連続学習(CL)は、複数のタスクで逐次訓練されたモデルにおける破滅的な忘れに対処することを目的としている。 エクスペリエンスのリプレイは将来性を示しているが、その有効性は保存されたキーサンプルのスパース分布によって制限されることが多く、過度に単純化された決定境界につながる。 我々は、トレーニング中に決定境界(合成境界データ、SBD)付近に合成データを導入することは、暗黙の正則化として機能し、境界安定性を改善し、忘れを緩和する、という仮説を立てる。 この仮説を検証するために、記憶されたキーサンプルと、合成された境界隣接データの両方からの知識を統合する新しいトレーニングフレームワーク {\bf Experience Blending} を提案する。 1)低次元特徴表現にバッチワイズノイズを注入し,SBDを生成する多変量微分プライバシー(DP)ノイズ機構と,(2)保存されたキーサンプルとSBDの両方を併用するエンドツーエンドのトレーニング戦略である。 CIFAR-10, CIFAR-100, Tiny ImageNetの大規模実験により, 提案手法は9つのCLベースラインより優れ, 精度は10%, 6%, および13%向上した。

関連論文リスト

• Decoupled Contrastive Learning for Federated Learning [0.0]
  Decoupled Contrastive Learning for Federated Learning (DCFL)を紹介する。 DCFLは、既存の対照的な損失を2つの目的に分離する、新しいフレームワークである。 以上の結果から,DCFLは正試料間の配向が強く,負試料間の一様性が高いことがわかった。
  論文  参考訳（メタデータ） (2025-08-06T01:39:54Z)
• CLAMP-ViT: Contrastive Data-Free Learning for Adaptive Post-Training Quantization of ViTs [6.456189487006878]
  視覚変換器(ViT)のためのデータフリー後学習量子化法であるCLAMP-ViTを提案する。 我々は、近年の手法の限界、特に意味のあるパッチ間の関係を活用できないことを特定する。 CLAMP-ViTは2段階のアプローチを採用し、データ生成とモデル量子化の間に循環的に適応する。
  論文  参考訳（メタデータ） (2024-07-07T05:39:25Z)
• Batch-in-Batch: a new adversarial training framework for initial perturbation and sample selection [9.241737058291823]
  適応学習法は, 単純な一様分布から, 対向サンプルに対する独立な初期摂動を生成する。 モデルを強化するため,Batch-in-Batchと呼ばれるシンプルで効果的なトレーニングフレームワークを提案する。 BBフレームワーク内でトレーニングされたモデルは、様々な対角的設定において、常に高い対角的精度を有することを示す。
  論文  参考訳（メタデータ） (2024-06-06T13:34:43Z)
• CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
  セマンティックな一貫性を維持しつつ,サンプル単位のロジットアライメントを実現するコントラッシブな知識蒸留フレームワークを提案する。 提案手法は,教師と教師の対照的アライメントを通じて「暗黒知識」をサンプルレベルで伝達する。 CIFAR-100、ImageNet-1K、MS COCOデータセットを含む3つのベンチマークデータセットの総合的な実験を行う。
  論文  参考訳（メタデータ） (2024-04-22T11:52:40Z)
• Certified Machine Unlearning via Noisy Stochastic Gradient Descent [20.546589699647416]
  機械学習は、訓練されたモデルに対する特定のデータポイントの効果を効率的に除去することを目的としている。 本研究では,雑音勾配勾配を非学習に活用し,その最初の近似的非学習保証を確立することを提案する。
  論文  参考訳（メタデータ） (2024-03-25T18:43:58Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Spanning Training Progress: Temporal Dual-Depth Scoring (TDDS) for Enhanced Dataset Pruning [50.809769498312434]
  我々は、時間的デュアルディープス・スコーリング(TDDS)と呼ばれる新しいデータセット・プルーニング手法を提案する。 本手法は,10%のトレーニングデータで54.51%の精度を達成し,ランダム選択を7.83%以上,他の比較手法を12.69%以上上回る結果を得た。
  論文  参考訳（メタデータ） (2023-11-22T03:45:30Z)
• Towards Sustainable Learning: Coresets for Data-efficient Deep Learning [9.51481812606879]
  CRESTは、データセットに関する厳密な理論的サブセット実験を備えた、最初のスケーラブルなサブセットディープネットワークフレームワークである。 CRESTは、非イメージ関数の最も価値のある例を特定している。
  論文  参考訳（メタデータ） (2023-06-02T02:51:08Z)
• Divide, Conquer, and Combine: Mixture of Semantic-Independent Experts for Zero-Shot Dialogue State Tracking [83.40120598637665]
  対話状態追跡(DST)のためのゼロショット転送学習は、ドメイン内のデータを収集するコストを伴わずに、様々なタスク指向の対話ドメインを扱うのに役立つ。 既存の研究は主に一般化を強化するために、一般的なデータまたはモデルレベルの拡張方法を研究する。 我々は、見られているデータのセマンティクスを明示的に切り離す、単純で効果的な「分割、征服、結合」ソリューションを提案する。
  論文  参考訳（メタデータ） (2023-06-01T08:21:20Z)
• Scale-Equivalent Distillation for Semi-Supervised Object Detection [57.59525453301374]
  近年のSemi-Supervised Object Detection (SS-OD) 法は主に自己学習に基づいており、教師モデルにより、ラベルなしデータを監視信号としてハードな擬似ラベルを生成する。 実験結果から,これらの手法が直面する課題を分析した。 本稿では,大規模オブジェクトサイズの分散とクラス不均衡に頑健な簡易かつ効果的なエンド・ツー・エンド知識蒸留フレームワークであるSED(Scale-Equivalent Distillation)を提案する。
  論文  参考訳（メタデータ） (2022-03-23T07:33:37Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。