論文の概要: On Sequential Loss Approximation for Continual Learning

• arxiv url: http://arxiv.org/abs/2405.16498v2
• Date: Sun, 24 Nov 2024 05:18:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:14:46.683778
• Title: On Sequential Loss Approximation for Continual Learning
• Title（参考訳）: 連続学習における逐次損失近似について
• Authors: Menghao Waiyan William Zhu, Ercan Engin Kuruoğlu,
• Abstract要約: 連続学習用オートディフ2次統合(AQC)とニューラル・コンソリデーション(NC)について紹介する。 AQCは前回の損失関数を二次関数に近似し、NCは前回の損失関数をニューラルネットワークに近似する。 本研究では,これらの手法を,正規化に基づく手法が不満足な結果をもたらすクラス増分学習において実証的に研究する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We introduce for continual learning Autodiff Quadratic Consolidation (AQC), which approximates the previous loss function with a quadratic function, and Neural Consolidation (NC), which approximates the previous loss function with a neural network. Although they are not scalable to large neural networks, they can be used with a fixed pre-trained feature extractor. We empirically study these methods in class-incremental learning, for which regularization-based methods produce unsatisfactory results, unless combined with replay. We find that for small datasets, quadratic approximation of the previous loss function leads to poor results, even with full Hessian computation, and NC could significantly improve the predictive performance, while for large datasets, when used with a fixed pre-trained feature extractor, AQC provides superior predictive performance. We also find that using tanh-output features can improve the predictive performance of AQC. In particular, in class-incremental Split MNIST, when a Convolutional Neural Network (CNN) with tanh-output features is pre-trained on EMNIST Letters and used as a fixed pre-trained feature extractor, AQC can achieve predictive performance comparable to joint training.
• Abstract（参考訳）: 本稿では,従来の損失関数を2次関数で近似するAQC(Autodiff Quadratic Consolidation)と,前回の損失関数をニューラルネットワークで近似するNeural Consolidation(NC)について紹介する。 大規模なニューラルネットワークには拡張性がないが、固定された事前訓練された特徴抽出器で使用できる。 我々はこれらの手法を,リプレイと組み合わせない限り,正規化に基づく手法が不満足な結果をもたらすクラス増分学習において実証的に研究する。 小データセットの場合、前回の損失関数の二次近似は、フルヘッセン計算でも低結果となり、NCは予測性能を著しく向上させるが、大データセットの場合、固定された事前学習された特徴抽出器を使用する場合、AQCは優れた予測性能を提供する。 また,AQCの予測性能が向上することを示す。 特に、クラスインクリメンタルスプリットMNISTでは、tanh-output特徴を持つ畳み込みニューラルネットワーク(CNN)がEMNISTレターで事前トレーニングされ、固定された事前訓練された特徴抽出器として使用される場合、AQCは関節トレーニングに匹敵する予測性能を達成できる。

関連論文リスト

• YOSO: You-Only-Sample-Once via Compressed Sensing for Graph Neural Network Training [9.02251811867533]
  YOSO(You-Only-Sample-Once)は、予測精度を維持しながら効率的なトレーニングを実現するアルゴリズムである。 YOSOは、正規直交基底計算のような従来の圧縮センシング(CS)法で高価な計算を避けるだけでなく、高い確率精度の保持も保証している。
  論文  参考訳（メタデータ） (2024-11-08T16:47:51Z)
• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• Minimizing Chebyshev Prototype Risk Magically Mitigates the Perils of Overfitting [1.6574413179773757]
  クラス内特徴相関を低減し,クラス間特徴距離を最大化する多成分損失関数を開発した。 我々は,Chebyshev Prototype Risk (CPR) という用語を明示的なCPR損失関数に限定して実装する。 トレーニングアルゴリズムは、多くの設定において、以前のアプローチの過度な適合を減らし、改善する。
  論文  参考訳（メタデータ） (2024-04-10T15:16:04Z)
• Random Linear Projections Loss for Hyperplane-Based Optimization in Neural Networks [22.348887008547653]
  この研究はRandom Linear Projections (RLP)損失を導入し、これはデータ内の幾何学的関係を利用してトレーニング効率を向上させる新しいアプローチである。 ベンチマークデータセットと合成例を用いて実施した経験的評価では、従来の損失関数でトレーニングされたニューラルネットワークは、従来の損失関数でトレーニングされたニューラルネットワークよりも優れていたことが示されている。
  論文  参考訳（メタデータ） (2023-11-21T05:22:39Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• RF+clust for Leave-One-Problem-Out Performance Prediction [0.9281671380673306]
  本稿では,LOPO(Left-one-problem-out)のパフォーマンス予測について検討する。 我々は、標準ランダムフォレスト(RF)モデル予測が性能値の重み付き平均値で校正することで改善できるかどうかを解析する。
  論文  参考訳（メタデータ） (2023-01-23T16:14:59Z)
• Understanding and Improving Transfer Learning of Deep Models via Neural Collapse [37.483109067209504]
  分類問題に対する神経崩壊(NC)と伝達学習の関係について検討する。 機能崩壊と下流のパフォーマンスには強い相関関係がある。 提案手法は, 微調整パラメータを90%以上削減しつつ, 優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-12-23T08:48:34Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
  本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
  論文  参考訳（メタデータ） (2020-12-21T06:40:20Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。