論文の概要: Monte Carlo Functional Regularisation for Continual Learning

• arxiv url: http://arxiv.org/abs/2508.13006v1
• Date: Mon, 18 Aug 2025 15:25:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:11.44857
• Title: Monte Carlo Functional Regularisation for Continual Learning
• Title（参考訳）: 連続学習のためのモンテカルロ関数正規化
• Authors: Pengcheng Hao, Menghao Waiyan William Zhu, Ercan Engin Kuruoglu,
• Abstract要約: 我々はモンテカルロサンプリングによるモデル予測分布を近似するMCFRCLと呼ばれる新しい機能正規化CLフレームワークを提案する。 提案したMCFRCLは,MNISTおよびCIFARデータセット上の複数のベンチマーク手法に対して評価される。
• 参考スコア（独自算出の注目度）: 2.2871867623460216
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Continual learning (CL) is crucial for the adaptation of neural network models to new environments. Although outperforming weight-space regularisation approaches, the functional regularisation-based CL methods suffer from high computational costs and large linear approximation errors. In this work, we present a new functional regularisation CL framework, called MCFRCL, which approximates model prediction distributions by Monte Carlo (MC) sampling. Moreover, three continuous distributions are leveraged to capture the statistical characteristics of the MC samples via moment-based methods. Additionally, both the Wasserstein distance and the Kullback-Leibler (KL) distance are employed to construct the regularisation function. The proposed MCFRCL is evaluated against multiple benchmark methods on the MNIST and CIFAR datasets, with simulation results highlighting its effectiveness in both prediction accuracy and training efficiency.
• Abstract（参考訳）: ニューラルネットワークモデルの新しい環境への適応には,継続学習(CL)が不可欠である。 重み空間正規化手法よりも優れているが、機能正規化に基づくCL法は高い計算コストと大きな線形近似誤差に悩まされている。 本稿では,モンテカルロ(MC)サンプリングによるモデル予測分布を近似した,MCFRCLと呼ばれる新しい機能正規化CLフレームワークを提案する。 さらに, 3つの連続分布を利用して, MC試料の統計的特性をモーメントベースで把握する。 さらに、Wasserstein 距離とKullback-Leibler (KL) 距離の両方を用いて正規化関数を構築する。 提案したMCFRCLは,MNISTおよびCIFARデータセット上の複数のベンチマーク手法に対して評価され,予測精度とトレーニング効率の両面での有効性が示された。

関連論文リスト

• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能推定のためのより計算効率のよい指標として、事前学習損失に焦点を当てている。 FLP-Mは、事前トレーニング中に複数のソースからのデータセットを統合する実践的なニーズに対処する、パフォーマンス予測の基本的なアプローチである。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• Fast training and sampling of Restricted Boltzmann Machines [4.785158987724452]
  我々は、RBMトレーニングの最近の理論的進歩に基づいて、トレーニングの計算コストを大幅に削減する。 コンベックス最適化プロセスにより,主成分を低ランクのRBMに符号化する事前学習フェーズを提案する。 パラメータアニール軌道の連続的かつ滑らかな性質を利用して、信頼性と計算効率のよい対数類似度推定を行う。
  論文  参考訳（メタデータ） (2024-05-24T09:23:43Z)
• Bayesian Exploration of Pre-trained Models for Low-shot Image Classification [14.211305168954594]
  本研究はガウス過程に基づくシンプルで効果的な確率的モデルアンサンブルフレームワークを提案する。 平均関数をCLIPとカーネル関数で指定することで,事前知識の統合を実現する。 提案手法は,予測性能に関する競争アンサンブルベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2024-03-30T10:25:28Z)
• Variational Approach for Efficient KL Divergence Estimation in Dirichlet Mixture Models [0.0]
  本研究は, ディリクレ混合モデル(DMM)におけるクルバック・リブラー(KL)の多様性の効率的な推定に挑戦する。 従来のアプローチはモンテカルロ法を計算的に要求することに依存しており、新しい変分法の導入を動機付けていた。
  論文  参考訳（メタデータ） (2024-03-18T18:14:54Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
  オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。 本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。 多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
  論文  参考訳（メタデータ） (2023-06-14T11:41:42Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling [58.14878401145309]
  PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。 Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
  論文  参考訳（メタデータ） (2022-05-12T11:15:47Z)
• On Continual Model Refinement in Out-of-Distribution Data Streams [64.62569873799096]
  現実世界の自然言語処理(NLP)モデルは、アウト・オブ・ディストリビューション(OOD)データストリームの予測エラーを修正するために、継続的に更新する必要がある。 既存の継続学習(CL)問題設定は、そのような現実的で複雑なシナリオをカバーできない。 連続モデル改良(CMR)と呼ばれる新しいCL問題定式化を提案する。
  論文  参考訳（メタデータ） (2022-05-04T11:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。