論文の概要: Revised Regularization for Efficient Continual Learning through Correlation-Based Parameter Update in Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2411.14202v1
• Date: Thu, 21 Nov 2024 15:11:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 15:20:04.223045
• Title: Revised Regularization for Efficient Continual Learning through Correlation-Based Parameter Update in Bayesian Neural Networks
• Title（参考訳）: ベイズニューラルネットワークにおける相関型パラメータ更新による効率的な連続学習のための修正正規化
• Authors: Sanchar Palit, Biplab Banerjee, Subhasis Chaudhuri,
• Abstract要約: 継続的な学習シナリオでは、各ステップにネットワークパラメータを格納して知識を保持することが課題となる。 KL発散リスクを考慮した変分推論による不確実なノード更新時の破滅的忘れ込み 本稿では,ストレージ要求を大幅に低減するパラメータ分布学習手法を提案する。
• 参考スコア（独自算出の注目度）: 20.00857639162206
• License:
• Abstract: We propose a Bayesian neural network-based continual learning algorithm using Variational Inference, aiming to overcome several drawbacks of existing methods. Specifically, in continual learning scenarios, storing network parameters at each step to retain knowledge poses challenges. This is compounded by the crucial need to mitigate catastrophic forgetting, particularly given the limited access to past datasets, which complicates maintaining correspondence between network parameters and datasets across all sessions. Current methods using Variational Inference with KL divergence risk catastrophic forgetting during uncertain node updates and coupled disruptions in certain nodes. To address these challenges, we propose the following strategies. To reduce the storage of the dense layer parameters, we propose a parameter distribution learning method that significantly reduces the storage requirements. In the continual learning framework employing variational inference, our study introduces a regularization term that specifically targets the dynamics and population of the mean and variance of the parameters. This term aims to retain the benefits of KL divergence while addressing related challenges. To ensure proper correspondence between network parameters and the data, our method introduces an importance-weighted Evidence Lower Bound term to capture data and parameter correlations. This enables storage of common and distinctive parameter hyperspace bases. The proposed method partitions the parameter space into common and distinctive subspaces, with conditions for effective backward and forward knowledge transfer, elucidating the network-parameter dataset correspondence. The experimental results demonstrate the effectiveness of our method across diverse datasets and various combinations of sequential datasets, yielding superior performance compared to existing approaches.
• Abstract（参考訳）: 本稿では,変分推論を用いたベイズ型ニューラルネットワークに基づく連続学習アルゴリズムを提案する。 具体的には、継続的な学習シナリオでは、知識を保持するために各ステップにネットワークパラメータを保存することが課題となる。 特に過去のデータセットへのアクセスが限られており、すべてのセッションにおけるネットワークパラメータとデータセットの対応の維持が複雑になるためである。 変分推論とKL発散リスクを用いた最新の手法は、不確実なノード更新と、特定のノードにおける結合破壊の際の破滅的忘れを生じさせる。 これらの課題に対処するため、我々は以下の戦略を提案する。 本研究では,高密度層パラメータの記憶量を削減するために,記憶条件を大幅に低減するパラメータ分布学習法を提案する。 本研究は,変分推論を用いた連続学習フレームワークにおいて,パラメータの平均と分散の動態と集団を対象とする正規化用語を提案する。 この用語は、関連する課題に対処しながら、KL分散の利点を維持することを目的としている。 ネットワークパラメータとデータとの適切な対応を確保するために,重み付きエビデンス低境界項を導入し,データとパラメータの相関関係を抽出する。 これにより、共通パラメータと特異パラメータのハイパースペースベースを格納できる。 提案手法は,パラメータ空間を共通部分空間と固有部分空間に分割し,ネットワークパラメータとデータセットの対応を解明する。 実験の結果,提案手法は様々なデータセットにまたがって有効であることを示すとともに,既存手法よりも優れた性能が得られることがわかった。

関連論文リスト

• Dynamic Continual Learning: Harnessing Parameter Uncertainty for Improved Network Adaptation [0.0]
  本稿では、パラメータに基づく不確実性を用いて、ネットワークの学習機能に関連するパラメータを決定することを提案する。 平均テスト精度と後方転送の指標に対する連続学習性能の改善を示す。
  論文  参考訳（メタデータ） (2025-01-18T19:58:53Z)
• Function Space Diversity for Uncertainty Prediction via Repulsive Last-Layer Ensembles [11.551956337460982]
  粒子最適化による関数空間の推測と不確実性推定を改善するための実用的な修正について論じる。 本研究では,粒子予測を多種多様に強制する入力サンプルがモデル性能に有害であることを示す。 トレーニングデータ自体の多様性は不適合につながる可能性があるが、ラベル削除データの拡張や、ラベル付けされていないアウト・オブ・ディストリビューションデータを使用することは、予測の多様性と不確実性の推定を改善することができる。
  論文  参考訳（メタデータ） (2024-12-20T10:24:08Z)
• Replacement Learning: Training Vision Tasks with Fewer Learnable Parameters [4.2114456503277315]
  置換学習は、冷凍層の全パラメータを2つの学習可能なパラメータで置き換える。 CIFAR-10, STL-10, SVHN, ImageNetの4つのベンチマークデータセットを対象に実験を行った。 提案手法は,エンドツーエンドトレーニングの性能を完全に超えながら,パラメータ数,トレーニング時間,メモリ使用量を削減する。
  論文  参考訳（メタデータ） (2024-10-02T05:03:54Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
  連続学習を逐次関数空間変動推論として定式化した目的を提案する。 ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。 タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
  論文  参考訳（メタデータ） (2023-12-28T18:44:32Z)
• Sparse Function-space Representation of Neural Networks [23.4128813752424]
  ディープニューラルネットワーク(NN)は、不確実性推定が欠如していることや、新しいデータを組み込むのに苦労していることが知られている。 本稿では,NNを重み空間から関数空間に変換することにより,これらの問題を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-05T12:56:35Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
  本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。 提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。 我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
  論文  参考訳（メタデータ） (2021-11-25T17:33:12Z)
• Intrusion Detection using Spatial-Temporal features based on Riemannian Manifold [1.14219428942199]
  ネットワークトラフィックデータは、異なるネットワークプロトコルの下で異なるデータバイトパケットの組み合わせである。 これらのトラフィックパケットは、複雑な時間変化の非線形関係を持つ。 既存の最先端の手法は、相関に基づいて特徴を複数のサブセットに融合することで、この課題に発展する。 これはしばしば、高い計算コストと、ネットワークトラフィックのリアルタイム処理に制限となる手動サポートを必要とする。
  論文  参考訳（メタデータ） (2021-10-31T23:50:59Z)
• Efficient Continual Adaptation for Generative Adversarial Networks [97.20244383723853]
  GAN(Generative Adversarial Network)に対する連続学習手法を提案する。 我々のアプローチは、グローバルパラメータとタスク固有のパラメータのセットを学習することに基づいている。 機能マップ変換に基づくアプローチは,最先端のgans手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-06T05:09:37Z)
• Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
  疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。 提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
  論文  参考訳（メタデータ） (2020-10-29T06:32:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。