Fugu-MT 論文翻訳(概要): Parabolic Continual Learning

論文の概要: Parabolic Continual Learning

arxiv url: http://arxiv.org/abs/2503.02117v1
Date: Mon, 03 Mar 2025 22:59:13 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-05 19:26:01.272458
Title: Parabolic Continual Learning
Title（参考訳）: パラボラ連続学習
Authors: Haoming Yang, Ali Hasan, Vahid Tarokh,
Abstract要約: 放物型偏微分方程式(PDE)の特性を応用した連続学習への新しいアプローチを導入する。このパラボリックPDEのクラスには、忘れることによるエラーと一般化によるエラーを解析できる多くの好ましい特性がある。
参考スコア（独自算出の注目度）: 24.631977316990966
License:
Abstract: Regularizing continual learning techniques is important for anticipating algorithmic behavior under new realizations of data. We introduce a new approach to continual learning by imposing the properties of a parabolic partial differential equation (PDE) to regularize the expected behavior of the loss over time. This class of parabolic PDEs has a number of favorable properties that allow us to analyze the error incurred through forgetting and the error induced through generalization. Specifically, we do this through imposing boundary conditions where the boundary is given by a memory buffer. By using the memory buffer as a boundary, we can enforce long term dependencies by bounding the expected error by the boundary loss. Finally, we illustrate the empirical performance of the method on a series of continual learning tasks.
Abstract（参考訳）: 連続学習手法の規則化は,新たなデータ実現の下でのアルゴリズム行動を予測する上で重要である。本稿では, パラボラ偏微分方程式(PDE)の特性を付与し, 損失の予測挙動を時間とともに規則化することにより, 連続学習への新たなアプローチを提案する。このパラボリックPDEのクラスには、忘れることによるエラーと一般化によるエラーを解析できる多くの好ましい特性がある。具体的には、メモリバッファによって境界が与えられる境界条件を付与する。メモリバッファをバウンダリとして使用することにより、期待されるエラーをバウンダリロスでバウンダリすることで、長期的な依存関係を強制できる。最後に,一連の連続学習課題において,提案手法の実証的性能について述べる。

関連論文リスト

Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文参考訳（メタデータ） (2024-01-17T09:01:29Z)
On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文参考訳（メタデータ） (2023-12-13T02:11:07Z)
Primal Dual Continual Learning: Balancing Stability and Plasticity through Adaptive Memory Allocation [86.8475564814154]
制約付き最適化問題を直接実行することは可能かつ有益であることを示す。メモリベースのメソッドでは、以前のタスクからのサンプルの小さなサブセットをリプレイバッファに格納できる。両変数は,制約摂動に対する連続学習問題の最適値の感度を示す。
論文参考訳（メタデータ） (2023-09-29T21:23:27Z)
Towards Understanding Gradient Approximation in Equality Constrained Deep Declarative Networks [35.85459792015478]
我々は、深い宣言ノードの勾配を制約項を無視して近似できる条件を探索し、大域的損失関数の降下方向を導出する。これは、近似が真の勾配計算よりもはるかに効率的であるため、ディープラーニングモデルを訓練する際の重要な実用的応用である。
論文参考訳（メタデータ） (2023-06-24T20:46:33Z)
Online Regularized Learning Algorithm for Functional Data [2.5382095320488673]
本稿では,Hilbertカーネル空間におけるオンライン正規化学習アルゴリズムについて考察する。その結果, 定常的なステップサイズでの予測誤差と推定誤差の収束速度は, 文献と競合することがわかった。
論文参考訳（メタデータ） (2022-11-24T11:56:10Z)
Efficient Meta-Learning for Continual Learning with Taylor Expansion Approximation [2.28438857884398]
連続学習は、非定常分布下で連続的なタスクを処理する際の破滅的な忘れを緩和することを目的としている。本稿では,オンライン連続学習問題を解決するためのメタ学習アルゴリズムを提案する。提案手法は, 最先端手法と比較して, 高い性能, 高い効率を実現している。
論文参考訳（メタデータ） (2022-10-03T04:57:05Z)
On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
論文参考訳（メタデータ） (2022-07-01T17:58:29Z)
Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
論文参考訳（メタデータ） (2022-03-02T22:35:58Z)
Active Boundary Loss for Semantic Segmentation [58.72057610093194]
本稿では,セマンティックセグメンテーションのための新しいアクティブ境界損失を提案する。エンド・ツー・エンドのトレーニングにおいて、予測境界とグランド・トゥルース・バウンダリのアライメントを徐々に促進することができる。実験結果から, アクティブ境界損失によるトレーニングは, 境界Fスコアと平均インターセクションオーバ・ユニオンを効果的に改善できることが示された。
論文参考訳（メタデータ） (2021-02-04T15:47:54Z)
Adaptive Approximate Policy Iteration [22.915651391812187]
均一なエルゴディックMDPの学習を継続する学習方法として,$tildeO(T2/3)$ regret bound for undiscounted, continuing learning in uniformly ergodic MDPを提案する。これは、関数近似を持つ平均逆ケースに対する$tildeO(T3/4)$の最良の既存の境界よりも改善されている。
論文参考訳（メタデータ） (2020-02-08T02:27:03Z)
Finite-Sample Analysis of Stochastic Approximation Using Smooth Convex Envelopes [40.31139355952393]
一般化エンベロープを用いて滑らかなリャプノフ函数を構築し、そのリャプノフ函数に対してSAの反復体が負のドリフトを持つことを示す。特に、政治以外のTD学習において、Vトレースアルゴリズムの最初の既知収束率を確立するためにこれを用いる。また、TD学習を現場で研究し、既存の最先端の成果を$Q$ラーニングで回収する。
論文参考訳（メタデータ） (2020-02-03T16:42:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。