論文の概要: Relearning Forgotten Knowledge: on Forgetting, Overfit and Training-Free Ensembles of DNNs

• arxiv url: http://arxiv.org/abs/2310.11094v1
• Date: Tue, 17 Oct 2023 09:22:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 17:04:27.787117
• Title: Relearning Forgotten Knowledge: on Forgetting, Overfit and Training-Free Ensembles of DNNs
• Title（参考訳）: 忘れられた知識の再学習:DNNの蓄積, オーバーフィット, トレーニング不要なアンサンブルについて
• Authors: Uri Stern, Daphna Weinshall
• Abstract要約: 本稿では,検証データ上での深層モデルの忘れ度をモニタする,過剰適合度定量化のための新しいスコアを提案する。 オーバーフィットは検証精度を低下させることなく発生しうることを示し,従来よりも一般的である可能性が示唆された。
• 参考スコア（独自算出の注目度）: 9.010643838773477
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The infrequent occurrence of overfit in deep neural networks is perplexing. On the one hand, theory predicts that as models get larger they should eventually become too specialized for a specific training set, with ensuing decrease in generalization. In contrast, empirical results in image classification indicate that increasing the training time of deep models or using bigger models almost never hurts generalization. Is it because the way we measure overfit is too limited? Here, we introduce a novel score for quantifying overfit, which monitors the forgetting rate of deep models on validation data. Presumably, this score indicates that even while generalization improves overall, there are certain regions of the data space where it deteriorates. When thus measured, we show that overfit can occur with and without a decrease in validation accuracy, and may be more common than previously appreciated. This observation may help to clarify the aforementioned confusing picture. We use our observations to construct a new ensemble method, based solely on the training history of a single network, which provides significant improvement in performance without any additional cost in training time. An extensive empirical evaluation with modern deep models shows our method's utility on multiple datasets, neural networks architectures and training schemes, both when training from scratch and when using pre-trained networks in transfer learning. Notably, our method outperforms comparable methods while being easier to implement and use, and further improves the performance of competitive networks on Imagenet by 1\%.
• Abstract（参考訳）: ディープニューラルネットワークにおける過剰適合の頻繁な発生は複雑である。 一方、理論はモデルが大きくなるにつれて、一般化の減少とともに、最終的には特定のトレーニングセットに特化しすぎると予測する。 対照的に、画像分類における経験的結果は、深層モデルのトレーニング時間の増加やより大きなモデルの使用が一般化をほとんど損なわないことを示している。 オーバーフィットの計測方法が制限されすぎているからでしょうか? 本稿では,検証データ上での深層モデルの忘れ度をモニタする,過剰適合度定量化のための新しいスコアを提案する。 このスコアは、一般化が全体として改善したとしても、データ空間の特定の領域が劣化していることを示している。 以上の結果から,検証精度を低下させることなくオーバーフィットが発生し,従来よりも一般的である可能性が示唆された。 この観察は、前述の紛らわしい絵を明確にするのに役立ちます。 我々は,1つのネットワークのトレーニング履歴のみに基づいて,新たなアンサンブル法を構築するために,我々の観測結果を用いて,トレーニング時間に余分なコストを伴わずに大幅な性能向上を実現する。 最新の深層モデルによる広範な経験的評価は、スクラッチからトレーニングする場合と、トランスファーラーニングでトレーニング済みのネットワークを使用する場合の両方において、複数のデータセット、ニューラルネットワークアーキテクチャ、トレーニングスキームにおける我々の方法の有用性を示している。 特に,imagenetにおける競合ネットワークの性能は,実装や利用が容易である一方で,比較対象の手法を上回っており,さらに1\%向上している。

関連論文リスト

• Training Better Deep Learning Models Using Human Saliency [11.295653130022156]
  本研究では、画像の正常領域に関する人間の判断が、ディープ畳み込みニューラルネットワーク(DCNN)トレーニングにどのように導入できるかを考察する。 本稿では,ConveYs Brain Oversight to raise Generalization (CYBORG) における損失関数の新たな構成要素を提案する。
  論文  参考訳（メタデータ） (2024-10-21T16:52:44Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• More is Better in Modern Machine Learning: when Infinite Overparameterization is Optimal and Overfitting is Obligatory [12.689249854199982]
  RF劣化試験のリスクは特徴数とサンプル数の両方で単調に低下することを示した。 次に、パワーロー固有構造を特徴とするタスクの大規模なクラスにおいて、ほぼゼロに近いトレーニング損失に対するトレーニングが義務付けられていることを示す。
  論文  参考訳（メタデータ） (2023-11-24T18:27:41Z)
• United We Stand: Using Epoch-wise Agreement of Ensembles to Combat Overfit [7.627299398469962]
  オーバーフィッティングを効果的に克服するディープネットワークのための新しいアンサンブル分類器を提案する。 本手法は, 汎用性能の劣化を伴わずに, オーバーフィッティング段階で得られた有用な知識を組み込むことが可能である。 私たちの方法は実装が容易で、どんなトレーニングスキームやアーキテクチャにも統合できます。
  論文  参考訳（メタデータ） (2023-10-17T08:51:44Z)
• LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection [49.52429991848581]
  深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。 本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
  論文  参考訳（メタデータ） (2023-10-09T12:36:16Z)
• Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural Networks [12.525959293825318]
  我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。 LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。 トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
  論文  参考訳（メタデータ） (2023-03-18T16:45:54Z)
• EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
  本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
  論文  参考訳（メタデータ） (2022-11-17T17:38:55Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• Overfitting in adversarially robust deep learning [86.11788847990783]
  トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
  論文  参考訳（メタデータ） (2020-02-26T15:40:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。