Fugu-MT 論文翻訳(概要): Efficient Weight-Space Laplace-Gaussian Filtering and Smoothing for Sequential Deep Learning

論文の概要: Efficient Weight-Space Laplace-Gaussian Filtering and Smoothing for Sequential Deep Learning

arxiv url: http://arxiv.org/abs/2410.06800v1
Date: Wed, 9 Oct 2024 11:54:33 GMT
ステータス: 処理完了
システム内更新日: 2024-11-01 03:30:47.244651
Title: Efficient Weight-Space Laplace-Gaussian Filtering and Smoothing for Sequential Deep Learning
Title（参考訳）: 逐次深層学習における効率的な重み付きラプラス・ガウスフィルタと平滑化
Authors: Joanna Sliwa, Frank Schneider, Nathanael Bosch, Agustinus Kristiadi, Philipp Hennig,
Abstract要約: 連続学習のような関連するタスクのシーケンスを効果的に学習することは、ニューラルネットにとって重要な課題となる。ベイズ推定に基づくタスクを逐次学習するための基盤的枠組みを用いてこの問題に対処する。
参考スコア（独自算出の注目度）: 29.328769628694484
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Efficiently learning a sequence of related tasks, such as in continual learning, poses a significant challenge for neural nets due to the delicate trade-off between catastrophic forgetting and loss of plasticity. We address this challenge with a grounded framework for sequentially learning related tasks based on Bayesian inference. Specifically, we treat the model's parameters as a nonlinear Gaussian state-space model and perform efficient inference using Gaussian filtering and smoothing. This general formalism subsumes existing continual learning approaches, while also offering a clearer conceptual understanding of its components. Leveraging Laplace approximations during filtering, we construct Gaussian posterior measures on the weight space of a neural network for each task. We use it as an efficient regularizer by exploiting the structure of the generalized Gauss-Newton matrix (GGN) to construct diagonal plus low-rank approximations. The dynamics model allows targeted control of the learning process and the incorporation of domain-specific knowledge, such as modeling the type of shift between tasks. Additionally, using Bayesian approximate smoothing can enhance the performance of task-specific models without needing to re-access any data.
Abstract（参考訳）: 連続学習のような関連する一連のタスクを効果的に学習することは、破滅的な忘れ物と可塑性の喪失の間の微妙なトレードオフにより、ニューラルネットワークにとって重要な課題となる。ベイズ推定に基づくタスクを逐次学習するための基盤的枠組みを用いてこの問題に対処する。具体的には、モデルのパラメータを非線形ガウス状態空間モデルとして扱い、ガウスフィルタと滑らか化を用いて効率的な推論を行う。この一般的な形式主義は、既存の連続的な学習アプローチを仮定し、そのコンポーネントのより明確な概念的理解を提供する。フィルタリングにおけるラプラス近似を利用して,各タスクに対するニューラルネットワークの重み空間に関するガウス測度を構築する。一般化されたガウスニュートン行列(GGN)の構造を利用して、対角および低ランク近似を構築することにより、効率的な正則化器として利用する。ダイナミックスモデルは、学習プロセスのターゲット制御と、タスク間のシフトのタイプをモデル化するなど、ドメイン固有の知識の取り込みを可能にする。さらに、ベイジアン近似スムーシングを用いることで、データに再アクセスする必要なしにタスク固有のモデルの性能を向上させることができる。

関連論文リスト

Model-Based Control with Sparse Neural Dynamics [23.961218902837807]
モデル学習と予測制御を統合した新しいフレームワークを提案する。我々は,既存の最先端手法よりもクローズドループ性能を向上できることを示す。
論文参考訳（メタデータ） (2023-12-20T06:25:02Z)
Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
論文参考訳（メタデータ） (2023-10-09T03:55:09Z)
Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文参考訳（メタデータ） (2023-04-17T14:23:43Z)
Inferring Smooth Control: Monte Carlo Posterior Policy Iteration with Gaussian Processes [39.411957858548355]
オンラインシーケンシャル推論を用いて,よりスムーズなモデル予測因子制御を実現する方法を示す。提案手法は,いくつかのロボット制御タスクにおいて,従来の手法と一致し,スムーズさを確保しつつ評価する。
論文参考訳（メタデータ） (2022-10-07T12:56:31Z)
Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文参考訳（メタデータ） (2022-04-21T05:27:09Z)
Learning Representation for Bayesian Optimization with Collision-free Regularization [13.476552258272402]
大規模、高次元、非定常的なデータセットは現実世界のシナリオでは一般的である。最近の研究は、古典的なガウス過程に先立ってニューラルネットワークを適用して潜在表現を学習することで、そのような入力を処理しようとしている。適切なネットワーク設計であっても、そのような学習された表現は、しばしば潜在空間における衝突を引き起こすことを示す。本稿では,学習された潜伏空間における衝突を低減するために,新しい正則化器を用いた効率的な深度ベイズ最適化フレームワークであるLOCoを提案する。
論文参考訳（メタデータ） (2022-03-16T14:44:16Z)
Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文参考訳（メタデータ） (2021-06-17T17:26:31Z)
FG-Net: Fast Large-Scale LiDAR Point CloudsUnderstanding Network Leveraging CorrelatedFeature Mining and Geometric-Aware Modelling [15.059508985699575]
FG-Netは、Voxelizationなしで大規模ポイントクラウドを理解するための一般的なディープラーニングフレームワークです。相関型特徴マイニングと変形性畳み込みに基づく幾何認識モデルを用いた深層畳み込みニューラルネットワークを提案する。我々のアプローチは精度と効率の点で最先端のアプローチを上回っている。
論文参考訳（メタデータ） (2020-12-17T08:20:09Z)
Sample-efficient reinforcement learning using deep Gaussian processes [18.044018772331636]
強化学習(Reinforcement learning)は、試行錯誤を通じてタスクを完了するためのアクションを制御するためのフレームワークを提供する。モデルに基づく強化学習効率は、世界力学をシミュレートする学習によって改善される。合成の深さがモデル複雑性をもたらすのに対して、ダイナミックスに関する事前の知識を取り入れることで、滑らかさと構造がもたらされる、深いガウス過程を導入する。
論文参考訳（メタデータ） (2020-11-02T13:37:57Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)
Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できるこのモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。