論文の概要: Revisiting Softmax Masking: Stop Gradient for Enhancing Stability in Replay-based Continual Learning

• arxiv url: http://arxiv.org/abs/2309.14808v2
• Date: Wed, 24 Jan 2024 01:22:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-25 17:15:44.785247
• Title: Revisiting Softmax Masking: Stop Gradient for Enhancing Stability in Replay-based Continual Learning
• Title（参考訳）: 再訪型ソフトマックスマスキング:リプレイ型連続学習における安定性向上のための停止勾配
• Authors: Hoyong Kim, Minchan Kwon, Kangil Kim
• Abstract要約: 我々は,ソフトマックスとリバイジットソフトマックスマスキングの効果を負の無限遠で分析した。 従来のクラスと新しいクラスに勾配スケールを調整することで安定性を制御できる汎用マスクソフトマックスを提案する。
• 参考スコア（独自算出の注目度）: 4.604003661048267
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In replay-based methods for continual learning, replaying input samples in episodic memory has shown its effectiveness in alleviating catastrophic forgetting. However, the potential key factor of cross-entropy loss with softmax in causing catastrophic forgetting has been underexplored. In this paper, we analyze the effect of softmax and revisit softmax masking with negative infinity to shed light on its ability to mitigate catastrophic forgetting. Based on the analyses, it is found that negative infinity masked softmax is not always compatible with dark knowledge. To improve the compatibility, we propose a general masked softmax that controls the stability by adjusting the gradient scale to old and new classes. We demonstrate that utilizing our method on other replay-based methods results in better performance, primarily by enhancing model stability in continual learning benchmarks, even when the buffer size is set to an extremely small value.
• Abstract（参考訳）: リプレイベースの連続学習法では、エピソード記憶における入力サンプルの再生は破滅的な忘れを緩和する効果を示した。 しかし, ソフトマックスによるクロスエントロピー損失の要因として, 破滅的な記憶の喪失が考えられる。 本稿では,ソフトマックスマスクとリバイジットソフトマックスマスクの効果を負の無限遠で解析し,その光が破滅的忘れを緩和する能力に与える影響について検討する。 分析の結果, 負の無限大マスマスキングソフトマックスは, 暗黒知識と必ずしも相容れないことがわかった。 整合性を改善するために,従来のクラスと新しいクラスに勾配スケールを調整して安定性を制御できる汎用マスクソフトマックスを提案する。 本手法を他のリプレイベース手法で活用することで,バッファサイズが極めて小さく設定された場合でも,連続学習ベンチマークにおけるモデル安定性の向上を主目的とし,優れた性能が得られることを示す。

関連論文リスト

• In Defense of Softmax Parametrization for Calibrated and Consistent Learning to Defer [27.025808709031864]
  ソフトマックスでパラメータを遅延する学習のための一般的な推定器は、遅延する可能性の未有界推定を与えることが理論的に示されている。 従来の文献における誤校正・非有界推定器の原因は,ソフトマックスによるものではなく,サロゲート損失の対称性によるものであることを示す。 統計的に一貫した非対称なソフトマックスに基づくサロゲート損失を提案する。
  論文  参考訳（メタデータ） (2023-11-02T09:15:52Z)
• Primal Dual Continual Learning: Balancing Stability and Plasticity through Adaptive Memory Allocation [86.8475564814154]
  制約付き最適化問題を直接実行することは可能かつ有益であることを示す。 メモリベースのメソッドでは、以前のタスクからのサンプルの小さなサブセットをリプレイバッファに格納できる。 両変数は,制約摂動に対する連続学習問題の最適値の感度を示す。
  論文  参考訳（メタデータ） (2023-09-29T21:23:27Z)
• Spectral Aware Softmax for Visible-Infrared Person Re-Identification [123.69049942659285]
  Visible-infrared person re-identification (VI-ReID) は、異なるモードの歩行者画像とマッチングすることを目的としている。 既存の手法は依然として、単一モダリティ分類タスクで広く使われているソフトマックス損失訓練パラダイムに従っている。 そこで本研究では, スペクトル対応ソフトマックス(SA-Softmax)の損失について提案する。
  論文  参考訳（メタデータ） (2023-02-03T02:57:18Z)
• Distinction Maximization Loss: Efficiently Improving Classification Accuracy, Uncertainty Estimation, and Out-of-Distribution Detection Simply Replacing the Loss and Calibrating [2.262407399039118]
  我々は、DisMax損失を用いた決定論的深層ニューラルネットワークのトレーニングを提案する。 DisMaxは通常、分類精度、不確実性推定、推論効率、アウト・オブ・ディストリビューション検出において、全ての現在のアプローチを同時に上回る。
  論文  参考訳（メタデータ） (2022-05-12T04:37:35Z)
• Enhancing Classifier Conservativeness and Robustness by Polynomiality [23.099278014212146]
  我々はその状況をいかに改善できるかを示す。 直接的に関連し、単純で、しかし重要な技術的ノベルティは、SoftRmaxです。 我々は,ソフトRmaxの2つの側面,保守性,本質的な頑健性は,逆正則化につながることを示した。
  論文  参考訳（メタデータ） (2022-03-23T19:36:19Z)
• Real Additive Margin Softmax for Speaker Verification [14.226089039985151]
  AM-Softmaxの損失は、真のマックスマージントレーニングを実装していないことを示す。 ソフトマックストレーニングにおいて真のマージン関数を含むリアルAM-Softmax損失を示す。
  論文  参考訳（メタデータ） (2021-10-18T09:11:14Z)
• Escaping the Gradient Vanishing: Periodic Alternatives of Softmax in Attention Mechanism [8.007523868483085]
  ソフトマックスは、マルチクラス分類、ゲート構造、アテンションメカニズムのためのニューラルネットワークで広く使われている。 本研究では,指数関数を周期関数で置き換えることを提案する。 本手法は, 勾配問題を緩和し, ソフトマックスとその変種と比較して大幅に改善できることが証明された。
  論文  参考訳（メタデータ） (2021-08-16T15:26:31Z)
• Understanding Softmax Confidence and Uncertainty [95.71801498763216]
  トレーニング分布から遠く離れたデータで予測する場合、ニューラルネットワークは不確実性を高めることができない、という指摘がしばしばある。 しかし、不確実性のプロキシとしてソフトマックスの信頼性を生かして、このためにのみテストするタスクにおいて、控えめな成功を達成します。 本稿では,この矛盾を解明し,ソフトマックスの信頼度と不確実性との相関を助長する2つの暗黙バイアスを同定する。
  論文  参考訳（メタデータ） (2021-06-09T10:37:29Z)
• Sparse Attention with Linear Units [60.399814410157425]
  本稿では, ソフトマックスアクティベーションをReLUに置き換えることにより, 注目度を向上する新しい, 簡便な手法を提案する。 我々のモデルはRectified Linear Attention (ReLA)と呼ばれ、以前提案したスパースアテンション機構よりも実装が容易で効率的である。 分析の結果,RELAは高い空間性率と頭部の多様性を達成でき,ソース・ターゲット単語アライメントの精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-04-14T17:52:38Z)
• Gradient Descent on Neural Networks Typically Occurs at the Edge of Stability [94.4070247697549]
  ニューラルネットワークトレーニング対象に対するフルバッチ勾配降下は、安定性のエッジと呼ばれるレジームで動作します。 この体制では、トレーニング損失 Hessian の最大固有値は2/text(ステップサイズ)$ の数値よりすぐ上にあり、トレーニング損失は短い時間スケールで非単調に振る舞うが、長い時間スケールでは一貫して減少する。
  論文  参考訳（メタデータ） (2021-02-26T22:08:19Z)
• Balanced Meta-Softmax for Long-Tailed Visual Recognition [46.215759445665434]
  ソフトマックス関数は、ほとんどの分類タスクで使用されるが、長い尾の配置の下で偏りのある勾配推定を与えることを示す。 本稿では,Softmax のエレガントな非バイアス拡張である Balanced Softmax を提案する。 実験では,Quaird Meta-Softmaxが視覚認識とインスタンスセグメンテーションの両タスクにおいて,最先端の長期分類ソリューションより優れていることを示した。
  論文  参考訳（メタデータ） (2020-07-21T12:05:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。