論文の概要: On Sequential Bayesian Inference for Continual Learning

• arxiv url: http://arxiv.org/abs/2301.01828v1
• Date: Wed, 4 Jan 2023 21:33:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-06 13:33:53.228492
• Title: On Sequential Bayesian Inference for Continual Learning
• Title（参考訳）: 連続学習のための逐次ベイズ推論について
• Authors: Samuel Kessler, Adam Cobb, Tim G. J. Rudner, Stefan Zohren, Stephen J. Roberts
• Abstract要約: 我々は、連続したベイズ推定を再検討し、真の後部へのアクセスが保証されているかどうかを確認し、ニューラルネットワークにおける破滅的な忘れ込みを防ぐ。 ニューラルネットワークにおける逐次ベイズ推論の実行の困難さを示す破滅的な忘れ込みを防ぐには,このアプローチは失敗する。 本稿では,現在最先端のベイズ連続学習法と競合する,プロトタイプベイズ連続学習という単純なベースラインを提案する。
• 参考スコア（独自算出の注目度）: 17.257360928583974
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequential Bayesian inference can be used for continual learning to prevent catastrophic forgetting of past tasks and provide an informative prior when learning new tasks. We revisit sequential Bayesian inference and test whether having access to the true posterior is guaranteed to prevent catastrophic forgetting in Bayesian neural networks. To do this we perform sequential Bayesian inference using Hamiltonian Monte Carlo. We propagate the posterior as a prior for new tasks by fitting a density estimator on Hamiltonian Monte Carlo samples. We find that this approach fails to prevent catastrophic forgetting demonstrating the difficulty in performing sequential Bayesian inference in neural networks. From there we study simple analytical examples of sequential Bayesian inference and CL and highlight the issue of model misspecification which can lead to sub-optimal continual learning performance despite exact inference. Furthermore, we discuss how task data imbalances can cause forgetting. From these limitations, we argue that we need probabilistic models of the continual learning generative process rather than relying on sequential Bayesian inference over Bayesian neural network weights. In this vein, we also propose a simple baseline called Prototypical Bayesian Continual Learning, which is competitive with state-of-the-art Bayesian continual learning methods on class incremental continual learning vision benchmarks.
• Abstract（参考訳）: 連続ベイズ推論は、過去のタスクの破滅的な忘れ込みを防止し、新しいタスクを学ぶ前に情報を提供するために連続学習に使用できる。 我々はシーケンシャルベイズ推定を再検討し、真の後方へのアクセスがベイズニューラルネットワークの破滅的な忘れを防げるかどうかを検証する。 これを行うために、ハミルトンモンテカルロを用いて連続ベイズ推論を行う。 我々は、ハミルトンモンテカルロサンプルに密度推定器を組み込むことにより、新しいタスクの先行として後部を伝播する。 ニューラルネットワークにおける逐次ベイズ推論の実行の困難さを示す破滅的な忘れ込みを防ぐには,このアプローチは失敗する。 そこで, 逐次ベイズ推論とCLの簡単な解析例を考察し, 正確な推論にもかかわらず, 準最適連続学習性能に繋がるモデル不特定の問題を強調した。 さらに、タスクデータの不均衡がいかに忘れてしまうかについて議論する。 これらの制限から、ベイズニューラルネットワークの重みに対する逐次ベイズ推定に頼るのではなく、連続的な学習生成過程の確率論的モデルが必要であると論じる。 そこで本研究では,古典的ベイズ連続学習法と競合する,原型的ベイズ連続学習という単純なベースラインを提案する。

関連論文リスト

• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• A Metalearned Neural Circuit for Nonparametric Bayesian Inference [4.767884267554628]
  機械学習の分類への応用のほとんどは、バランスの取れたクラスの閉じた集合を前提としている。 これは、クラス発生統計が長い尾の力量分布に従うことがしばしばある実世界と矛盾する。 本研究では,非パラメトリックベイズモデルから誘導バイアスを抽出し,人工ニューラルネットワークに転送する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-24T16:43:17Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• Towards Out-of-Distribution Sequential Event Prediction: A Causal Treatment [72.50906475214457]
  シーケンシャルなイベント予測の目標は、一連の歴史的なイベントに基づいて次のイベントを見積もることである。 実際には、次のイベント予測モデルは、一度に収集されたシーケンシャルなデータで訓練される。 文脈固有の表現を学習するための階層的な分岐構造を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-24T07:54:13Z)
• Challenges and Pitfalls of Bayesian Unlearning [6.931200003384123]
  機械学習とは、トレーニングデータのサブセットを削除し、トレーニングされたモデルへのコントリビューションを削除するタスクを指す。 近似アンラーニング(英: Approximate unlearning)は、保持されたデータのスクラッチからモデルを再トレーニングする必要がない、このタスクのためのメソッドの1つのクラスである。 ベイズの規則は、削除されたデータの可能性を切り離すことで、更新された後部を取得することを目的とする推論問題として、近似的未学習をキャストするために用いられる。
  論文  参考訳（メタデータ） (2022-07-07T11:24:50Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Posterior Meta-Replay for Continual Learning [4.319932092720977]
  連続学習(CL)アルゴリズムは最近、i.i.dでトレーニングする必要性を克服しようとするため、多くの注目を集めている。 未知のターゲットデータ分布からのサンプル。 ベイズ的視点を取り入れ,タスク固有の後方分布を継続的に学習することによって,cl問題に取り組むための原理的な方法を検討した。
  論文  参考訳（メタデータ） (2021-03-01T17:08:35Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。