論文の概要: Semi-Discriminative Representation Loss for Online Continual Learning

• arxiv url: http://arxiv.org/abs/2006.11234v4
• Date: Thu, 14 Apr 2022 11:01:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 04:08:02.473898
• Title: Semi-Discriminative Representation Loss for Online Continual Learning
• Title（参考訳）: オンライン連続学習における半弁別表現損失
• Authors: Yu Chen, Tom Diethe, Peter Flach
• Abstract要約: 勾配に基づくアプローチは、コンパクトなエピソードメモリをより効率的に活用するために開発されている。 本稿では,SDRL(Semi-Discriminative Representation Loss)という,連続学習のための簡易な手法を提案する。
• 参考スコア（独自算出の注目度）: 16.414031859647874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The use of episodic memory in continual learning has demonstrated effectiveness for alleviating catastrophic forgetting. In recent studies, gradient-based approaches have been developed to make more efficient use of compact episodic memory. Such approaches refine the gradients resulting from new samples by those from memorized samples, aiming to reduce the diversity of gradients from different tasks. In this paper, we clarify the relation between diversity of gradients and discriminativeness of representations, showing shared as well as conflicting interests between Deep Metric Learning and continual learning, thus demonstrating pros and cons of learning discriminative representations in continual learning. Based on these findings, we propose a simple method -- Semi-Discriminative Representation Loss (SDRL) -- for continual learning. In comparison with state-of-the-art methods, SDRL shows better performance with low computational cost on multiple benchmark tasks in the setting of online continual learning.
• Abstract（参考訳）: 連続学習におけるエピソディックメモリの使用は、破滅的な忘れを緩和する効果を示している。 近年,コンパクトエピソディックメモリをより効率的に利用するために勾配に基づく手法が開発されている。 このようなアプローチは、記憶されたサンプルによる新しいサンプルによる勾配を洗練させ、異なるタスクからの勾配の多様性を減らすことを目的としている。 本稿では,勾配の多様性と表現の差別性との関係を明らかにするとともに,深層学習と連続学習の相反する関心の相違を示し,連続学習における識別表現の長所と短所を示す。 これらの知見に基づいて,連続学習のための簡易な手法であるSDRL(Semi-Discriminative Representation Loss)を提案する。 現状の手法と比較して、SDRLはオンライン連続学習の設定において、複数のベンチマークタスクに対して低計算コストでより良い性能を示す。

関連論文リスト

• Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning [42.14439854721613]
  本稿では,クラス増分学習シナリオに特化して,ベイズ学習駆動型コントラスト損失(BLCL)を持つプロトタイプネットワークを提案する。 提案手法は,ベイズ学習手法を用いて,クロスエントロピーとコントラスト損失関数のバランスを動的に適用する。
  論文  参考訳（メタデータ） (2024-05-17T19:49:02Z)
• On the Convergence of Continual Learning with Adaptive Methods [4.351356718501137]
  適応型非連続学習法(NCCL)を提案する。 提案手法は,複数の画像分類タスクに対する継続学習既存手法の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2024-04-08T14:28:27Z)
• Contrastive Continual Learning with Importance Sampling and Prototype-Instance Relation Distillation [14.25441464051506]
  本稿では,従来のデータ分布を復元し,知識の保存を目的としたコントラスト連続学習(Contrastive Continual Learning via Importance Smpling, CCLIS)を提案する。 また,プロトタイプとサンプル表現の関係を維持する技術であるPRD(Prototype-instance Relation Distillation)の損失について述べる。
  論文  参考訳（メタデータ） (2024-03-07T15:47:52Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Contrastive UCB: Provably Efficient Contrastive Self-Supervised Learning in Online Reinforcement Learning [92.18524491615548]
  対照的な自己指導型学習は、(深層)強化学習(RL)の実践にうまく統合されている 我々は,低ランク遷移を伴うマルコフ決定過程(MDP)とマルコフゲーム(MG)のクラスにおいて,コントラスト学習によってRLをどのように強化できるかを検討する。 オンライン環境下では,MDPやMGのオンラインRLアルゴリズムと対照的な損失を生かした,新しい高信頼境界(UCB)型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-29T17:29:08Z)
• Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
  本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。 畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。 この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
  論文  参考訳（メタデータ） (2021-08-03T19:24:25Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• Spatial Contrastive Learning for Few-Shot Classification [9.66840768820136]
  局所的識別性およびクラス非依存性の特徴を学習するための新しい注意に基づく空間コントラスト目標を提案する。 実験により,提案手法は最先端手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-12-26T23:39:41Z)
• Ask-n-Learn: Active Learning via Reliable Gradient Representations for Image Classification [29.43017692274488]
  深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。 Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
  論文  参考訳（メタデータ） (2020-09-30T05:19:56Z)
• Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
  適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。 我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。 適応勾配法の一般化に関する経験的および理論的考察を示す。
  論文  参考訳（メタデータ） (2020-02-26T21:42:49Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。