論文の概要: Task Agnostic Continual Learning Using Online Variational Bayes with Fixed-Point Updates

• arxiv url: http://arxiv.org/abs/2010.00373v2
• Date: Mon, 18 Oct 2021 07:09:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 07:27:03.069958
• Title: Task Agnostic Continual Learning Using Online Variational Bayes with Fixed-Point Updates
• Title（参考訳）: 修正点更新を伴うオンライン変分ベイを用いたタスク非依存連続学習
• Authors: Chen Zeno, Itay Golan, Elad Hoffer and Daniel Soudry
• Abstract要約: 破滅的な忘れは、学習中のデータ分布の変化に対するニューラルネットワークの悪名高い脆弱性である。 オンライン変分ベイズ最適化問題に対する新しい不動点方程式を導出する。 非定常データ分散を処理できる連続学習のためのアルゴリズム(FOO-VB)を得る。
• 参考スコア（独自算出の注目度）: 28.662887957256913
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Background: Catastrophic forgetting is the notorious vulnerability of neural networks to the changes in the data distribution during learning. This phenomenon has long been considered a major obstacle for using learning agents in realistic continual learning settings. A large body of continual learning research assumes that task boundaries are known during training. However, only a few works consider scenarios in which task boundaries are unknown or not well defined -- task agnostic scenarios. The optimal Bayesian solution for this requires an intractable online Bayes update to the weights posterior. Contributions: We aim to approximate the online Bayes update as accurately as possible. To do so, we derive novel fixed-point equations for the online variational Bayes optimization problem, for multivariate Gaussian parametric distributions. By iterating the posterior through these fixed-point equations, we obtain an algorithm (FOO-VB) for continual learning which can handle non-stationary data distribution using a fixed architecture and without using external memory (i.e. without access to previous data). We demonstrate that our method (FOO-VB) outperforms existing methods in task agnostic scenarios. FOO-VB Pytorch implementation will be available online.
• Abstract（参考訳）: 背景: 破滅的な忘れは、学習中のデータ分布の変化に対するニューラルネットワークの悪名高い脆弱性である。 この現象は、現実の連続学習環境で学習エージェントを使用するための大きな障害であると考えられてきた。 継続的な学習研究の大きな団体は、トレーニング中にタスク境界が知られていると仮定している。 しかし、タスク境界が未知である、あるいは明確に定義されていない、タスク非依存のシナリオを考える作業はごくわずかである。 これに対する最適ベイズ解は、重み付け後部への難解なオンラインベイズ更新を必要とする。 コントリビューション:オンラインベイズのアップデートをできるだけ正確に近似することを目指しています。 そこで,多変量ガウスパラメトリック分布に対するオンライン変分ベイズ最適化問題に対する新しい不動点方程式を導出する。 これらの不動点方程式を反復することにより、固定されたアーキテクチャを用いて、外部メモリ(例えば、以前のデータにアクセスせずに)を使わずに、非定常データ分散を処理できる連続学習のためのアルゴリズム(FOO-VB)を得る。 提案手法(FOO-VB)はタスク非依存のシナリオにおいて既存の手法よりも優れていることを示す。 FOO-VB Pytorchの実装はオンラインで利用可能である。

関連論文リスト

• Learning Representations on the Unit Sphere: Investigating Angular Gaussian and von Mises-Fisher Distributions for Online Continual Learning [7.145581090959242]
  本稿では,新たな損失関数を備えたメモリベース表現学習手法を提案する。 提案手法は,タスク境界がぼやけた標準的な評価シナリオと現実的なシナリオの両方において,現状の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-06T02:38:01Z)
• Algorithm Design for Online Meta-Learning with Task Boundary Detection [63.284263611646]
  非定常環境におけるタスクに依存しないオンラインメタ学習のための新しいアルゴリズムを提案する。 まず,タスクスイッチと分散シフトの簡易かつ効果的な2つの検出機構を提案する。 軽度条件下では,線形タスク平均的後悔がアルゴリズムに対して達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T04:02:49Z)
• Efficient Bayesian Updates for Deep Learning via Laplace Approximations [1.5996841879821277]
  本稿では,ディープニューラルネットワークのための新しいベイズ更新手法を提案する。 ラプラス近似のガウス後部分布に二階最適化手法を利用する。 大規模な評価調査では、我々の更新がコストのかかるリトレーニングの高速で競争力のある代替手段であることを確認しています。
  論文  参考訳（メタデータ） (2022-10-12T12:16:46Z)
• Challenges and Pitfalls of Bayesian Unlearning [6.931200003384123]
  機械学習とは、トレーニングデータのサブセットを削除し、トレーニングされたモデルへのコントリビューションを削除するタスクを指す。 近似アンラーニング(英: Approximate unlearning)は、保持されたデータのスクラッチからモデルを再トレーニングする必要がない、このタスクのためのメソッドの1つのクラスである。 ベイズの規則は、削除されたデータの可能性を切り離すことで、更新された後部を取得することを目的とする推論問題として、近似的未学習をキャストするために用いられる。
  論文  参考訳（メタデータ） (2022-07-07T11:24:50Z)
• Continual Test-Time Domain Adaptation [94.51284735268597]
  テスト時ドメイン適応は、ソースデータを使用しずに、ソース事前訓練されたモデルをターゲットドメインに適応することを目的としている。 CoTTAは実装が容易で、市販の事前訓練モデルに簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2022-03-25T11:42:02Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• DisCor: Corrective Feedback in Reinforcement Learning via Distribution Correction [96.90215318875859]
  ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。 本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
  論文  参考訳（メタデータ） (2020-03-16T16:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。