Fugu-MT 論文翻訳(概要): Revisiting Softmax Masking for Stability in Continual Learning

論文の概要: Revisiting Softmax Masking for Stability in Continual Learning

arxiv url: http://arxiv.org/abs/2309.14808v1
Date: Tue, 26 Sep 2023 10:06:28 GMT
ステータス: 処理完了
システム内更新日: 2023-09-27 14:15:30.977878
Title: Revisiting Softmax Masking for Stability in Continual Learning
Title（参考訳）: 継続的学習におけるソフトマックスマスキングの再検討
Authors: Hoyong Kim, Minchan Kwon, Kangil Kim
Abstract要約: 本稿では,ソフトマックスマスキングの信頼性維持効果を利用する手法を提案する。本手法は, 十分に大きな塑性を維持しながら, 安定性を著しく向上させる。このことは、強力な安定なリプレイベースの連続学習のシンプルで効果的な基礎を築いた。
参考スコア（独自算出の注目度）: 4.604003661048267
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: In continual learning, many classifiers use softmax function to learn confidence. However, numerous studies have pointed out its inability to accurately determine confidence distributions for outliers, often referred to as epistemic uncertainty. This inherent limitation also curtails the accurate decisions for selecting what to forget and keep in previously trained confidence distributions over continual learning process. To address the issue, we revisit the effects of masking softmax function. While this method is both simple and prevalent in literature, its implication for retaining confidence distribution during continual learning, also known as stability, has been under-investigated. In this paper, we revisit the impact of softmax masking, and introduce a methodology to utilize its confidence preservation effects. In class- and task-incremental learning benchmarks with and without memory replay, our approach significantly increases stability while maintaining sufficiently large plasticity. In the end, our methodology shows better overall performance than state-of-the-art methods, particularly in the use with zero or small memory. This lays a simple and effective foundation of strongly stable replay-based continual learning.
Abstract（参考訳）: 連続学習では、多くの分類器がソフトマックス関数を使って信頼度を学習する。しかし、多くの研究は、しばしばてんかんの不確実性と呼ばれる、外れ値の信頼分布を正確に決定できないことを指摘している。この本質的な制限は、事前に訓練された信頼分布を、継続的な学習プロセスで忘れるべきものを選ぶための正確な判断をも短縮する。この問題に対処するため,マスクソフトマックス関数の効果を再検討する。この方法は、文献上では単純かつ一般的であるが、継続学習中の信頼分布を維持するための意味合いは、安定性としても知られ、過小評価されている。本稿では,ソフトマックスマスキングの効果を再検討し,その信頼性維持効果を利用した手法を提案する。メモリリプレイを伴わないクラスおよびタスクインクリメンタル学習ベンチマークでは,十分に大きな塑性を維持しながら安定性を著しく向上させる。最後に、特にゼロメモリや小さなメモリでの使用において、最先端のメソッドよりも全体的なパフォーマンスを示す。このことは、強力な安定なリプレイベースの連続学習のシンプルで効果的な基礎を築いた。

関連論文リスト

In Defense of Softmax Parametrization for Calibrated and Consistent Learning to Defer [27.025808709031864]
ソフトマックスでパラメータを遅延する学習のための一般的な推定器は、遅延する可能性の未有界推定を与えることが理論的に示されている。従来の文献における誤校正・非有界推定器の原因は,ソフトマックスによるものではなく,サロゲート損失の対称性によるものであることを示す。統計的に一貫した非対称なソフトマックスに基づくサロゲート損失を提案する。
論文参考訳（メタデータ） (2023-11-02T09:15:52Z)
Primal Dual Continual Learning: Balancing Stability and Plasticity through Adaptive Memory Allocation [86.8475564814154]
制約付き最適化問題を直接実行することは可能かつ有益であることを示す。メモリベースのメソッドでは、以前のタスクからのサンプルの小さなサブセットをリプレイバッファに格納できる。両変数は,制約摂動に対する連続学習問題の最適値の感度を示す。
論文参考訳（メタデータ） (2023-09-29T21:23:27Z)
Spectral Aware Softmax for Visible-Infrared Person Re-Identification [123.69049942659285]
Visible-infrared person re-identification (VI-ReID) は、異なるモードの歩行者画像とマッチングすることを目的としている。既存の手法は依然として、単一モダリティ分類タスクで広く使われているソフトマックス損失訓練パラダイムに従っている。そこで本研究では, スペクトル対応ソフトマックス(SA-Softmax)の損失について提案する。
論文参考訳（メタデータ） (2023-02-03T02:57:18Z)
Distinction Maximization Loss: Efficiently Improving Classification Accuracy, Uncertainty Estimation, and Out-of-Distribution Detection Simply Replacing the Loss and Calibrating [2.262407399039118]
我々は、DisMax損失を用いた決定論的深層ニューラルネットワークのトレーニングを提案する。 DisMaxは通常、分類精度、不確実性推定、推論効率、アウト・オブ・ディストリビューション検出において、全ての現在のアプローチを同時に上回る。
論文参考訳（メタデータ） (2022-05-12T04:37:35Z)
Enhancing Classifier Conservativeness and Robustness by Polynomiality [23.099278014212146]
我々はその状況をいかに改善できるかを示す。直接的に関連し、単純で、しかし重要な技術的ノベルティは、SoftRmaxです。我々は,ソフトRmaxの2つの側面,保守性,本質的な頑健性は,逆正則化につながることを示した。
論文参考訳（メタデータ） (2022-03-23T19:36:19Z)
Real Additive Margin Softmax for Speaker Verification [14.226089039985151]
AM-Softmaxの損失は、真のマックスマージントレーニングを実装していないことを示す。ソフトマックストレーニングにおいて真のマージン関数を含むリアルAM-Softmax損失を示す。
論文参考訳（メタデータ） (2021-10-18T09:11:14Z)
Escaping the Gradient Vanishing: Periodic Alternatives of Softmax in Attention Mechanism [8.007523868483085]
ソフトマックスは、マルチクラス分類、ゲート構造、アテンションメカニズムのためのニューラルネットワークで広く使われている。本研究では,指数関数を周期関数で置き換えることを提案する。本手法は, 勾配問題を緩和し, ソフトマックスとその変種と比較して大幅に改善できることが証明された。
論文参考訳（メタデータ） (2021-08-16T15:26:31Z)
Understanding Softmax Confidence and Uncertainty [95.71801498763216]
トレーニング分布から遠く離れたデータで予測する場合、ニューラルネットワークは不確実性を高めることができない、という指摘がしばしばある。しかし、不確実性のプロキシとしてソフトマックスの信頼性を生かして、このためにのみテストするタスクにおいて、控えめな成功を達成します。本稿では,この矛盾を解明し,ソフトマックスの信頼度と不確実性との相関を助長する2つの暗黙バイアスを同定する。
論文参考訳（メタデータ） (2021-06-09T10:37:29Z)
Sparse Attention with Linear Units [60.399814410157425]
本稿では, ソフトマックスアクティベーションをReLUに置き換えることにより, 注目度を向上する新しい, 簡便な手法を提案する。我々のモデルはRectified Linear Attention (ReLA)と呼ばれ、以前提案したスパースアテンション機構よりも実装が容易で効率的である。分析の結果,RELAは高い空間性率と頭部の多様性を達成でき,ソース・ターゲット単語アライメントの精度が向上することがわかった。
論文参考訳（メタデータ） (2021-04-14T17:52:38Z)
Gradient Descent on Neural Networks Typically Occurs at the Edge of Stability [94.4070247697549]
ニューラルネットワークトレーニング対象に対するフルバッチ勾配降下は、安定性のエッジと呼ばれるレジームで動作します。この体制では、トレーニング損失 Hessian の最大固有値は2/text(ステップサイズ)$ の数値よりすぐ上にあり、トレーニング損失は短い時間スケールで非単調に振る舞うが、長い時間スケールでは一貫して減少する。
論文参考訳（メタデータ） (2021-02-26T22:08:19Z)
Balanced Meta-Softmax for Long-Tailed Visual Recognition [46.215759445665434]
ソフトマックス関数は、ほとんどの分類タスクで使用されるが、長い尾の配置の下で偏りのある勾配推定を与えることを示す。本稿では,Softmax のエレガントな非バイアス拡張である Balanced Softmax を提案する。実験では,Quaird Meta-Softmaxが視覚認識とインスタンスセグメンテーションの両タスクにおいて,最先端の長期分類ソリューションより優れていることを示した。
論文参考訳（メタデータ） (2020-07-21T12:05:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。