論文の概要: Monte Carlo Functional Regularisation for Continual Learning

• arxiv url: http://arxiv.org/abs/2508.13006v1
• Date: Mon, 18 Aug 2025 15:25:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:11.44857
• Title: Monte Carlo Functional Regularisation for Continual Learning
• Title（参考訳）: 連続学習のためのモンテカルロ関数正規化
• Authors: Pengcheng Hao, Menghao Waiyan William Zhu, Ercan Engin Kuruoglu,
• Abstract要約: 我々はモンテカルロサンプリングによるモデル予測分布を近似するMCFRCLと呼ばれる新しい機能正規化CLフレームワークを提案する。 提案したMCFRCLは,MNISTおよびCIFARデータセット上の複数のベンチマーク手法に対して評価される。
• 参考スコア（独自算出の注目度）: 2.2871867623460216
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Continual learning (CL) is crucial for the adaptation of neural network models to new environments. Although outperforming weight-space regularisation approaches, the functional regularisation-based CL methods suffer from high computational costs and large linear approximation errors. In this work, we present a new functional regularisation CL framework, called MCFRCL, which approximates model prediction distributions by Monte Carlo (MC) sampling. Moreover, three continuous distributions are leveraged to capture the statistical characteristics of the MC samples via moment-based methods. Additionally, both the Wasserstein distance and the Kullback-Leibler (KL) distance are employed to construct the regularisation function. The proposed MCFRCL is evaluated against multiple benchmark methods on the MNIST and CIFAR datasets, with simulation results highlighting its effectiveness in both prediction accuracy and training efficiency.
• Abstract（参考訳）: ニューラルネットワークモデルの新しい環境への適応には,継続学習(CL)が不可欠である。 重み空間正規化手法よりも優れているが、機能正規化に基づくCL法は高い計算コストと大きな線形近似誤差に悩まされている。 本稿では,モンテカルロ(MC)サンプリングによるモデル予測分布を近似した,MCFRCLと呼ばれる新しい機能正規化CLフレームワークを提案する。 さらに, 3つの連続分布を利用して, MC試料の統計的特性をモーメントベースで把握する。 さらに、Wasserstein 距離とKullback-Leibler (KL) 距離の両方を用いて正規化関数を構築する。 提案したMCFRCLは,MNISTおよびCIFARデータセット上の複数のベンチマーク手法に対して評価され,予測精度とトレーニング効率の両面での有効性が示された。

関連論文リスト

• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能推定のためのより計算効率のよい指標として、事前学習損失に焦点を当てている。 FLP-Mは、事前トレーニング中に複数のソースからのデータセットを統合する実践的なニーズに対処する、パフォーマンス予測の基本的なアプローチである。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• Variational Approach for Efficient KL Divergence Estimation in Dirichlet Mixture Models [0.0]
  本研究は, ディリクレ混合モデル(DMM)におけるクルバック・リブラー(KL)の多様性の効率的な推定に挑戦する。 従来のアプローチはモンテカルロ法を計算的に要求することに依存しており、新しい変分法の導入を動機付けていた。
  論文  参考訳（メタデータ） (2024-03-18T18:14:54Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling [58.14878401145309]
  PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。 Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
  論文  参考訳（メタデータ） (2022-05-12T11:15:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。