論文の概要: Dynamic Continual Learning: Harnessing Parameter Uncertainty for Improved Network Adaptation

• arxiv url: http://arxiv.org/abs/2501.10861v1
• Date: Sat, 18 Jan 2025 19:58:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:24:52.094555
• Title: Dynamic Continual Learning: Harnessing Parameter Uncertainty for Improved Network Adaptation
• Title（参考訳）: 動的連続学習:改良されたネットワーク適応のためのハーネスパラメータの不確かさ
• Authors: Christopher Angelini, Nidhal Bouaynaya,
• Abstract要約: 本稿では、パラメータに基づく不確実性を用いて、ネットワークの学習機能に関連するパラメータを決定することを提案する。 平均テスト精度と後方転送の指標に対する連続学習性能の改善を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: When fine-tuning Deep Neural Networks (DNNs) to new data, DNNs are prone to overwriting network parameters required for task-specific functionality on previously learned tasks, resulting in a loss of performance on those tasks. We propose using parameter-based uncertainty to determine which parameters are relevant to a network's learned function and regularize training to prevent change in these important parameters. We approach this regularization in two ways: (1), we constrain critical parameters from significant changes by associating more critical parameters with lower learning rates, thereby limiting alterations in those parameters; (2), important parameters are restricted from change by imposing a higher regularization weighting, causing parameters to revert to their states prior to the learning of subsequent tasks. We leverage a Bayesian Moment Propagation framework which learns network parameters concurrently with their associated uncertainties while allowing each parameter to contribute uncertainty to the network's predictive distribution, avoiding the pitfalls of existing sampling-based methods. The proposed approach is evaluated for common sequential benchmark datasets and compared to existing published approaches from the Continual Learning community. Ultimately, we show improved Continual Learning performance for Average Test Accuracy and Backward Transfer metrics compared to sampling-based methods and other non-uncertainty-based approaches.
• Abstract（参考訳）: DNN(Deep Neural Networks)を新しいデータに微調整する場合、DNNは以前学習したタスクでタスク固有の機能に必要なネットワークパラメータを上書きする傾向があるため、これらのタスクのパフォーマンスが低下する。 パラメータに基づく不確実性を用いて、ネットワークの学習機能にどのパラメータが関係しているかを判断し、これらの重要なパラメータの変化を防ぐためにトレーニングを正規化する。 我々は,(1) よりクリティカルなパラメータを低い学習率に関連付けることにより,重要なパラメータを重要な変化から制約し,それらのパラメータの変化を制限する。(2) 重要なパラメータは,より高い正規化重み付けを課すことによって変化を制限し,その後のタスクの学習に先立ってパラメータを彼らの状態に戻す。 ベイズ・モーメント・プロパゲーション・フレームワークは,ネットワークパラメータと関連する不確かさを同時に学習し,各パラメータがネットワークの予測分布に不確実性をもたらすことを可能にし,既存のサンプリングベース手法の落とし穴を回避する。 提案手法は、一般的な逐次ベンチマークデータセットに対して評価され、継続学習コミュニティからの既存のアプローチと比較される。 最終的に、サンプリングに基づく手法や他の不確実性に基づくアプローチと比較して、平均テスト精度と後方転送の指標に対する継続的な学習性能の改善を示す。

関連論文リスト

• Revised Regularization for Efficient Continual Learning through Correlation-Based Parameter Update in Bayesian Neural Networks [20.00857639162206]
  継続的な学習シナリオでは、各ステップにネットワークパラメータを格納して知識を保持することが課題となる。 KL発散リスクを考慮した変分推論による不確実なノード更新時の破滅的忘れ込み 本稿では,ストレージ要求を大幅に低減するパラメータ分布学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-21T15:11:02Z)
• Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
  連続学習を逐次関数空間変動推論として定式化した目的を提案する。 ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。 タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
  論文  参考訳（メタデータ） (2023-12-28T18:44:32Z)
• Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
  隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。 提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-05-26T08:44:42Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Continual Learning via Bit-Level Information Preserving [88.32450740325005]
  我々は情報理論のレンズを通して連続学習過程を研究する。 モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。 BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
  論文  参考訳（メタデータ） (2021-05-10T15:09:01Z)
• Learning Regularization Parameters of Inverse Problems via Deep Neural Networks [0.0]
  ネットワークが観察データから正規化パラメータへのマッピングを近似するように訓練される、教師付き学習アプローチを検討する。 本稿では,多種多様な正規化関数,フォワードモデル,ノイズモデルについて考察する。 ネットワークが取得する正規化パラメータは、より効率的に計算でき、より正確なソリューションにもつながります。
  論文  参考訳（メタデータ） (2021-04-14T02:38:38Z)
• Efficient Continual Adaptation for Generative Adversarial Networks [97.20244383723853]
  GAN(Generative Adversarial Network)に対する連続学習手法を提案する。 我々のアプローチは、グローバルパラメータとタスク固有のパラメータのセットを学習することに基づいている。 機能マップ変換に基づくアプローチは,最先端のgans手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-06T05:09:37Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)
• Exploring the parameter reusability of CNN [12.654187477646449]
  本稿では,コンボリューションカーネルの再利用性能に基づいて,あるネットワークが再利用可能なかどうかを判定できるソリューションを提案する。 まず、ネットワークは再利用可能なネットワークであり、次に、ソースドメインとターゲットドメインとの畳み込みカーネル間のRMSEは十分小さい。
  論文  参考訳（メタデータ） (2020-08-08T01:23:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。