論文の概要: Overcoming the Stability Gap in Continual Learning

• arxiv url: http://arxiv.org/abs/2306.01904v2
• Date: Fri, 29 Sep 2023 17:37:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 18:28:00.913332
• Title: Overcoming the Stability Gap in Continual Learning
• Title（参考訳）: 継続的学習における安定性のギャップ克服
• Authors: Md Yousuf Harun and Christopher Kanan
• Abstract要約: 多くの現実世界のアプリケーションでは、データセットのサイズが大きくなるにつれて、ディープニューラルネットワークはゼロから再訓練される。 この目標を達成するための障害は安定性のギャップである。これは、新しいデータを更新するとき、以前に学習したデータのパフォーマンスが回復する前に劣化するという観察を参照することである。 私たちの研究は、更新されたニューラルネットワークを維持するのに必要な炭素フットプリントを減らすとともに、現実世界のアプリケーションに対する継続的な学習の最先端を推し進める可能性がある。
• 参考スコア（独自算出の注目度）: 18.74786578546498
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many real-world applications, deep neural networks are retrained from scratch as a dataset grows in size. Given the computational expense for retraining networks, it has been argued that continual learning could make updating networks more efficient. An obstacle to achieving this goal is the stability gap, which refers to an observation that when updating on new data, performance on previously learned data degrades before recovering. Addressing this problem would enable learning new data with fewer network updates, resulting in increased computational efficiency. We study how to mitigate the stability gap. We test a variety of hypotheses to understand why the stability gap occurs. This leads us to discover a method that vastly reduces this gap. In large-scale class incremental learning experiments, we are able to significantly reduce the number of network updates needed for continual learning. Our work has the potential to advance the state-of-the-art in continual learning for real-world applications along with reducing the carbon footprint required to maintain updated neural networks.
• Abstract（参考訳）: 多くの現実世界のアプリケーションでは、データセットのサイズが大きくなるにつれて、ディープニューラルネットワークはスクラッチから再トレーニングされる。 再トレーニングネットワークの計算コストを考えると、継続的な学習によってネットワークの更新がより効率的になると主張している。 この目標を達成する上での障害は安定性ギャップであり、新しいデータを更新すると、事前に学習したデータのパフォーマンスが回復する前に劣化する、という観察を指す。 この問題に対処することで、ネットワーク更新が少なくて新しいデータを学ぶことができ、計算効率が向上する。 我々は安定性のギャップを緩和する方法を研究する。 我々は、安定性のギャップが発生する理由を理解するために、様々な仮説を試す。 これにより、このギャップを大幅に減らす方法が発見できます。 大規模クラスインクリメンタル学習実験では,継続的な学習に必要なネットワーク更新数を大幅に削減することができた。 我々の研究は、更新されたニューラルネットワークを維持するのに必要な炭素フットプリントを減らすとともに、現実世界のアプリケーションに対する継続的な学習の最先端を推し進める可能性がある。

関連論文リスト

• Exploring the Stability Gap in Continual Learning: The Role of the Classification Head [0.6749750044497732]
  安定性のギャップは、トレーニング中に部分的に回復する前に、モデルが最初に学習したタスクのパフォーマンスを失う現象である。 バックボーンと分類ヘッドが安定性のギャップに与える影響を評価できるツールとして,NMC(Nest-mean Classifier)を導入した。 実験の結果, NMCは最終性能を向上するだけでなく, 各種連続学習ベンチマークのトレーニング安定性を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-11-06T15:45:01Z)
• MAD-TD: Model-Augmented Data stabilizes High Update Ratio RL [20.22674077197914]
  最近の研究は、新しいサンプルごとに多数の勾配ステップを持つニューラルネットワークの更新について検討している。 高い更新とデータの比率は、トレーニングプロセスに不安定をもたらす。 時間差分学習のためのモデル拡張データ(MAD-TD)は,少数の生成データを用いて高UTDトレーニングを安定化する。
  論文  参考訳（メタデータ） (2024-10-11T15:13:17Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Forget but Recall: Incremental Latent Rectification in Continual Learning [21.600690867361617]
  変化するデータストリームを継続的に学習する本質的な能力は、ディープニューラルネットワーク(DNN)のデシプラタムである 既存の継続学習アプローチは、リプレイの模範を保ち、学習を規則化し、あるいは新しいタスクに専用容量を割り当てる。 本稿では,Incrmental Latent Rectification (ILR) と呼ばれる,漸進学習のための未探索CL方向について検討する。
  論文  参考訳（メタデータ） (2024-06-25T08:57:47Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Challenging Common Assumptions about Catastrophic Forgetting [13.1202659074346]
  本研究では,データ再帰を伴うタスクの長いシーケンスにおいて,勾配に基づくアルゴリズムを用いて訓練されたDNNにおける進歩的知識蓄積(KA)について検討する。 そこで我々は,SCoLeという新しいフレームワークを提案し,SGDで訓練したDNNに対して破滅的忘れ込みが限定的であることを示す。
  論文  参考訳（メタデータ） (2022-07-10T21:40:54Z)
• Balanced Softmax Cross-Entropy for Incremental Learning [6.5423218639215275]
  ディープニューラルネットワークは、新しいクラスや新しいタスクで段階的に訓練されると壊滅的な忘れがちです。 近年の手法は破滅的な忘れを緩和するのに有効であることが証明されている。 本稿では,バランスの取れたソフトマックスクロスエントロピー損失の利用を提案し,それとインクリメンタル学習のための離脱法を組み合わせることで,パフォーマンスを向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T13:30:26Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。