論文の概要: Centroid Distance Distillation for Effective Rehearsal in Continual
Learning
- arxiv url: http://arxiv.org/abs/2303.02954v1
- Date: Mon, 6 Mar 2023 07:54:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-07 16:52:52.593144
- Title: Centroid Distance Distillation for Effective Rehearsal in Continual
Learning
- Title(参考訳): 連続学習における効果的なリハーサルのための遠心距離蒸留
- Authors: Daofeng Liu, Fan Lyu, Linyan Li, Zhenping Xia, Fuyuan Hu
- Abstract要約: リハーサルは、古いタスクの保存された小さなデータサブセットでリトレーニングされ、継続的な学習において破滅的な忘れを解くのに有効であることが証明されている。
サンプルデータにより、元のデータセットに対する大きなバイアスがある可能性があるため、再トレーニングは、機能空間における古いタスクの連続的なドメインドリフトを駆動することに影響を受けやすい。
リハーサルにおけるサンプルバイアスを低減するために,構築されたセントロイドに基づいてデータポイントをサンプリングするセントロイドキャッシング機構を提案する。
- 参考スコア(独自算出の注目度): 3.1568830948858273
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Rehearsal, retraining on a stored small data subset of old tasks, has been
proven effective in solving catastrophic forgetting in continual learning.
However, due to the sampled data may have a large bias towards the original
dataset, retraining them is susceptible to driving continual domain drift of
old tasks in feature space, resulting in forgetting. In this paper, we focus on
tackling the continual domain drift problem with centroid distance
distillation. First, we propose a centroid caching mechanism for sampling data
points based on constructed centroids to reduce the sample bias in rehearsal.
Then, we present a centroid distance distillation that only stores the centroid
distance to reduce the continual domain drift. The experiments on four
continual learning datasets show the superiority of the proposed method, and
the continual domain drift can be reduced.
- Abstract(参考訳): リハーサルは、古いタスクの保存された小さなデータサブセットでリトレーニングされ、継続的な学習において破滅的な忘れを解くのに有効であることが証明されている。
しかし、サンプルデータにより、元のデータセットに対する大きなバイアスがあり、それらを再トレーニングすることは、機能空間における古いタスクの連続的なドメインドリフトを駆動し、忘れてしまう可能性がある。
本稿では,遠心距離蒸留による連続領域ドリフト問題に取り組むことに焦点を当てる。
まず,構築したセントロイドに基づいてデータポイントをサンプリングし,リハーサルにおけるサンプルバイアスを低減するセントロイドキャッシング機構を提案する。
次に, 連続領域ドリフトを低減するために, 遠心距離のみを格納する遠心距離蒸留法を提案する。
4つの連続学習データセットにおける実験は,提案手法の優越性を示し,連続領域ドリフトを低減できる。
関連論文リスト
- Dataset Distillation Meets Provable Subset Selection [14.158845925610438]
データセット蒸留は、大規模なトレーニングデータセットを、その性能を維持する小さな合成データセットに圧縮するために提案されている。
本稿では, 重要点を特定し, 余剰点を除去することにより, 蒸留セットを初期化するための, 実証可能なサンプリングベースアプローチを提案する。
さらに,次のバッチをランダムにサンプリングするのではなく,''サンプル点の蒸留セットをトレーニングすることで,データセットの蒸留とデータサブセット選択のアイデアを融合する。
論文 参考訳(メタデータ) (2023-07-16T15:58:19Z) - On the Size and Approximation Error of Distilled Sets [57.61696480305911]
カーネル・インジェクション・ポイント(Kernel Inducing Points)などのデータセット蒸留のカーネル・リッジ回帰に基づく手法について理論的に考察する。
我々は、RFF空間におけるその解が元のデータの解と一致するように、元の入力空間に小さな一組のインスタンスが存在することを証明した。
KRR溶液は、全入力データに最適化されたKRR溶液に対して近似を与えるこの蒸留されたインスタンスセットを用いて生成することができる。
論文 参考訳(メタデータ) (2023-05-23T14:37:43Z) - Leveraging Unlabelled Data in Multiple-Instance Learning Problems for
Improved Detection of Parkinsonian Tremor in Free-Living Conditions [80.88681952022479]
本稿では,半教師付き学習とマルチスタンス学習を組み合わせた新しい手法を提案する。
本研究は,454被験者の非競合データを活用することにより,物体ごとの震動検出において大きな性能向上が達成できることを示す。
論文 参考訳(メタデータ) (2023-04-29T12:25:10Z) - Dataset Distillation: A Comprehensive Review [76.26276286545284]
データセット蒸留(DD)は、トレーニングされたモデルが元のデータセットでトレーニングされたデータセットに匹敵するパフォーマンスを得るために、合成サンプルを含むはるかに小さなデータセットを導出することを目的としている。
本稿ではDDの最近の進歩とその応用について概説する。
論文 参考訳(メタデータ) (2023-01-17T17:03:28Z) - Deep Injective Prior for Inverse Scattering [16.36016615416872]
電磁的逆散乱において、目的は散乱波を用いて物体の誘電率を再構成することである。
ディープラーニングはイテレーティブな問題解決の代替手段としての可能性を示してきた。
深部生成モデルに基づく逆散乱のためのデータ駆動型フレームワークを提案する。
論文 参考訳(メタデータ) (2023-01-08T19:05:51Z) - Scale-Equivalent Distillation for Semi-Supervised Object Detection [57.59525453301374]
近年のSemi-Supervised Object Detection (SS-OD) 法は主に自己学習に基づいており、教師モデルにより、ラベルなしデータを監視信号としてハードな擬似ラベルを生成する。
実験結果から,これらの手法が直面する課題を分析した。
本稿では,大規模オブジェクトサイズの分散とクラス不均衡に頑健な簡易かつ効果的なエンド・ツー・エンド知識蒸留フレームワークであるSED(Scale-Equivalent Distillation)を提案する。
論文 参考訳(メタデータ) (2022-03-23T07:33:37Z) - Ranking Distance Calibration for Cross-Domain Few-Shot Learning [91.22458739205766]
数ショット学習の最近の進歩は、より現実的なクロスドメイン設定を促進する。
ドメインギャップとソースとターゲットデータセット間のラベル空間の相違により、共有される知識は極めて限られている。
我々は,タスク内の相互k-アネレスト近傍を発見することで,目標距離行列の校正を行う。
論文 参考訳(メタデータ) (2021-12-01T03:36:58Z) - Online Coreset Selection for Rehearsal-based Continual Learning [65.85595842458882]
継続的な学習では、後に再生されるトレーニング例(コアセット)のサブセットを格納し、破滅的な忘れを軽減します。
提案するオンラインコアセット選択(OCS, Online Coreset Selection)は, 各イテレーションにおいて最も代表的で情報性の高いコアセットを選択するシンプルで効果的な方法である。
提案手法は,過去のタスクに対して高親和性サンプルを選択しながら,目標データセットへのモデル適応を最大化し,破滅的忘れを直接的に抑制する。
論文 参考訳(メタデータ) (2021-06-02T11:39:25Z) - Data Augmentation with Manifold Barycenters [8.201100713224003]
データバリーセンタの多様体における利用可能な知識を表現する新しい方法を提案する。
このアプローチをランドマーク検出の問題に適用し、データセット内の利用可能なランドマークデータを強化します。
提案手法は,従来の拡張手法で得られた結果よりも,元のデータ結果に留まらず,品質指標のオーバーフィッティングを低減し,改善する。
論文 参考訳(メタデータ) (2021-04-02T08:07:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。