論文の概要: Centroid Distance Distillation for Effective Rehearsal in Continual Learning

• arxiv url: http://arxiv.org/abs/2303.02954v1
• Date: Mon, 6 Mar 2023 07:54:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-07 16:52:52.593144
• Title: Centroid Distance Distillation for Effective Rehearsal in Continual Learning
• Title（参考訳）: 連続学習における効果的なリハーサルのための遠心距離蒸留
• Authors: Daofeng Liu, Fan Lyu, Linyan Li, Zhenping Xia, Fuyuan Hu
• Abstract要約: リハーサルは、古いタスクの保存された小さなデータサブセットでリトレーニングされ、継続的な学習において破滅的な忘れを解くのに有効であることが証明されている。 サンプルデータにより、元のデータセットに対する大きなバイアスがある可能性があるため、再トレーニングは、機能空間における古いタスクの連続的なドメインドリフトを駆動することに影響を受けやすい。 リハーサルにおけるサンプルバイアスを低減するために,構築されたセントロイドに基づいてデータポイントをサンプリングするセントロイドキャッシング機構を提案する。
• 参考スコア（独自算出の注目度）: 3.1568830948858273
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rehearsal, retraining on a stored small data subset of old tasks, has been proven effective in solving catastrophic forgetting in continual learning. However, due to the sampled data may have a large bias towards the original dataset, retraining them is susceptible to driving continual domain drift of old tasks in feature space, resulting in forgetting. In this paper, we focus on tackling the continual domain drift problem with centroid distance distillation. First, we propose a centroid caching mechanism for sampling data points based on constructed centroids to reduce the sample bias in rehearsal. Then, we present a centroid distance distillation that only stores the centroid distance to reduce the continual domain drift. The experiments on four continual learning datasets show the superiority of the proposed method, and the continual domain drift can be reduced.
• Abstract（参考訳）: リハーサルは、古いタスクの保存された小さなデータサブセットでリトレーニングされ、継続的な学習において破滅的な忘れを解くのに有効であることが証明されている。 しかし、サンプルデータにより、元のデータセットに対する大きなバイアスがあり、それらを再トレーニングすることは、機能空間における古いタスクの連続的なドメインドリフトを駆動し、忘れてしまう可能性がある。 本稿では,遠心距離蒸留による連続領域ドリフト問題に取り組むことに焦点を当てる。 まず,構築したセントロイドに基づいてデータポイントをサンプリングし,リハーサルにおけるサンプルバイアスを低減するセントロイドキャッシング機構を提案する。 次に, 連続領域ドリフトを低減するために, 遠心距離のみを格納する遠心距離蒸留法を提案する。 4つの連続学習データセットにおける実験は,提案手法の優越性を示し,連続領域ドリフトを低減できる。

関連論文リスト

• Understanding Warmup-Stable-Decay Learning Rates: A River Valley Loss Landscape Perspective [66.80315289020487]
  Warmup-Stable-Decay (WSD) スケジュールは、一定の学習率を使用して、所定の計算予算なしで無限に継続できるイテレーションのメインブランチを生成する。 プレトレーニング損失は,河底に川がある深い谷に類似した河谷景観を呈することを示す。 この理論にインスパイアされたWSD-Sは、従来のチェックポイントの崩壊フェーズを再利用し、メインブランチを1つだけ保持するWSDの変種である。
  論文  参考訳（メタデータ） (2024-10-07T16:49:39Z)
• Dense Center-Direction Regression for Object Counting and Localization with Point Supervision [1.9526430269580954]
  本稿では,CeDiRNetと呼ばれる新しい学習手法を提案する。 最寄りの物体中心を向いている方向の高密度な回帰を利用する。 既存の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-08-26T17:49:27Z)
• Not All Samples Should Be Utilized Equally: Towards Understanding and Improving Dataset Distillation [57.6797306341115]
  我々は,サンプル難易度の観点から,マッチングに基づくDD手法の理解に向けて最初の一歩を踏み出した。 次に、データプルーニングのニューラルネットワークスケーリング法則をDDに拡張し、これらのマッチングベースの手法を理論的に説明する。 SDC(Sampple Difficulty Correction)アプローチを導入し、より簡単なサンプルを生成して、より高いデータセット品質を実現する。
  論文  参考訳（メタデータ） (2024-08-22T15:20:32Z)
• Overcoming Domain Drift in Online Continual Learning [24.86094018430407]
  オンライン連続学習(OCL)は、機械学習モデルに一連のタスクで新しい知識をオンラインで取得する権限を与える。 OCLは、破滅的な忘れをし、以前のタスクで学んだモデルは、新しいタスクに遭遇したときに実質的に上書きされる、という大きな課題に直面します。 本稿では,古いタスクのドメインを固定し,負の転送効果を低減するための新しいリハーサル戦略であるDrift-Reducing Rehearsal(DRR)を提案する。
  論文  参考訳（メタデータ） (2024-05-15T06:57:18Z)
• Towards Adversarially Robust Dataset Distillation by Curvature Regularization [11.463315774971857]
  蒸留したデータセットに対向ロバスト性を組み込むことで、これらのデータセットでトレーニングされたモデルが高い精度を維持し、より良い対向ロバスト性を得る。 そこで本研究では, 従来の逆算法よりも計算オーバーヘッドの少ない蒸留プロセスに曲率正規化を組み込むことにより, この目標を達成する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T06:31:03Z)
• Dataset Distillation Meets Provable Subset Selection [14.158845925610438]
  データセット蒸留は、大規模なトレーニングデータセットを、その性能を維持する小さな合成データセットに圧縮するために提案されている。 本稿では, 重要点を特定し, 余剰点を除去することにより, 蒸留セットを初期化するための, 実証可能なサンプリングベースアプローチを提案する。 さらに,次のバッチをランダムにサンプリングするのではなく,''サンプル点の蒸留セットをトレーニングすることで,データセットの蒸留とデータサブセット選択のアイデアを融合する。
  論文  参考訳（メタデータ） (2023-07-16T15:58:19Z)
• On the Size and Approximation Error of Distilled Sets [57.61696480305911]
  カーネル・インジェクション・ポイント(Kernel Inducing Points)などのデータセット蒸留のカーネル・リッジ回帰に基づく手法について理論的に考察する。 我々は、RFF空間におけるその解が元のデータの解と一致するように、元の入力空間に小さな一組のインスタンスが存在することを証明した。 KRR溶液は、全入力データに最適化されたKRR溶液に対して近似を与えるこの蒸留されたインスタンスセットを用いて生成することができる。
  論文  参考訳（メタデータ） (2023-05-23T14:37:43Z)
• Dataset Distillation: A Comprehensive Review [76.26276286545284]
  データセット蒸留(DD)は、トレーニングされたモデルが元のデータセットでトレーニングされたデータセットに匹敵するパフォーマンスを得るために、合成サンプルを含むはるかに小さなデータセットを導出することを目的としている。 本稿ではDDの最近の進歩とその応用について概説する。
  論文  参考訳（メタデータ） (2023-01-17T17:03:28Z)
• Ranking Distance Calibration for Cross-Domain Few-Shot Learning [91.22458739205766]
  数ショット学習の最近の進歩は、より現実的なクロスドメイン設定を促進する。 ドメインギャップとソースとターゲットデータセット間のラベル空間の相違により、共有される知識は極めて限られている。 我々は,タスク内の相互k-アネレスト近傍を発見することで,目標距離行列の校正を行う。
  論文  参考訳（メタデータ） (2021-12-01T03:36:58Z)
• Online Coreset Selection for Rehearsal-based Continual Learning [65.85595842458882]
  継続的な学習では、後に再生されるトレーニング例(コアセット)のサブセットを格納し、破滅的な忘れを軽減します。 提案するオンラインコアセット選択(OCS, Online Coreset Selection)は, 各イテレーションにおいて最も代表的で情報性の高いコアセットを選択するシンプルで効果的な方法である。 提案手法は,過去のタスクに対して高親和性サンプルを選択しながら,目標データセットへのモデル適応を最大化し,破滅的忘れを直接的に抑制する。
  論文  参考訳（メタデータ） (2021-06-02T11:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。