論文の概要: Fast Bayesian Updates for Deep Learning with a Use Case in Active
Learning
- arxiv url: http://arxiv.org/abs/2210.06112v1
- Date: Wed, 12 Oct 2022 12:16:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 15:24:02.771178
- Title: Fast Bayesian Updates for Deep Learning with a Use Case in Active
Learning
- Title(参考訳): ディープラーニングのための高速ベイズ更新 : アクティブラーニングのユースケース
- Authors: Marek Herde and Zhixin Huang and Denis Huseljic and Daniel Kottke and
Stephan Vogt and Bernhard Sick
- Abstract要約: 新しいデータが到着したときのディープニューラルネットワークのリトレーニングは通常、計算コストがかかる。
高速ベイジアンアップデートはこの問題の解決策として考えられる。
私たちは、SNGPと組み合わせることで、コストのかかるリトレーニングの高速で競争力のある代替手段であることを示しています。
- 参考スコア(独自算出の注目度): 4.641634479967739
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retraining deep neural networks when new data arrives is typically
computationally expensive. Moreover, certain applications do not allow such
costly retraining due to time or computational constraints. Fast Bayesian
updates are a possible solution to this issue. Therefore, we propose a Bayesian
update based on Monte-Carlo samples and a last-layer Laplace approximation for
different Bayesian neural network types, i.e., Dropout, Ensemble, and Spectral
Normalized Neural Gaussian Process (SNGP). In a large-scale evaluation study,
we show that our updates combined with SNGP represent a fast and competitive
alternative to costly retraining. As a use case, we combine the Bayesian
updates for SNGP with different sequential query strategies to exemplarily
demonstrate their improved selection performance in active learning.
- Abstract(参考訳): 新しいデータが到着したときのディープニューラルネットワークのリトレーニングは通常、計算コストがかかる。
さらに、時間や計算上の制約により、そのようなコストのかかる再訓練を許さないアプリケーションもある。
高速ベイジアンアップデートはこの問題の解決策として考えられる。
そこで本研究では,モンテカルロサンプルに基づくベイズ更新と,様々なベイズ型ニューラルネットワーク,すなわちドロップアウト,アンサンブル,スペクトル正規化ニューラルガウス過程(sngp)に対するラプラス近似を提案する。
大規模な評価研究において、SNGPと組み合わせたアップデートは、コストのかかるリトレーニングの高速かつ競争的な代替手段であることを示す。
ユースケースとして、SNGPのベイジアン更新と異なるシーケンシャルクエリ戦略を組み合わせることで、アクティブラーニングにおける選択性能の向上を実証する。
関連論文リスト
- Classified as unknown: A novel Bayesian neural network [0.0]
完全連結ニューラルネットワークのための効率の良いベイズ学習アルゴリズムを開発した。
多層パーセプトロンから多層パーセプトロンへの二元分類のための単一パーセプトロンのアルゴリズムを一般化する。
論文 参考訳(メタデータ) (2023-01-31T04:27:09Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Fast variable selection makes scalable Gaussian process BSS-ANOVA a
speedy and accurate choice for tabular and time series regression [0.0]
ガウス過程 (GP) は長い歴史を持つ非パラメトリック回帰エンジンである。
拡張性のあるGPアプローチの1つは、2009年に開発されたKL(Karhunen-Lo'eve)分解カーネルBSS-ANOVAである。
項の数を迅速かつ効果的に制限し、競争力のある精度の方法をもたらす新しい変数選択法である。
論文 参考訳(メタデータ) (2022-05-26T23:41:43Z) - Deep Neural Networks as Point Estimates for Deep Gaussian Processes [44.585609003513625]
本稿では,DGPの近似的な後進平均がディープニューラルネットワーク(DNN)と同じ数学的構造を持つスパース変分近似を提案する。
我々は、GP後方平均をReLU基底関数の和として表すドメイン間変換を求めることで、ReLU DNNと同等のDGPを前方通過させる。
実験は、現在のDGP法と比較して精度の向上とトレーニングの高速化を実証し、良好な予測不確実性を維持します。
論文 参考訳(メタデータ) (2021-05-10T16:55:17Z) - Attentive Gaussian processes for probabilistic time-series generation [4.94950858749529]
本稿では,ガウス過程の回帰と組み合わせて実数値列を生成する,計算効率のよいアテンションベースネットワークを提案する。
我々は,GPがフルバッチを用いて訓練されている間,ネットワークのミニバッチトレーニングを可能にするブロックワイズトレーニングアルゴリズムを開発した。
アルゴリズムは収束することが証明され、より良くなくても、見いだされた解の品質に匹敵することを示す。
論文 参考訳(メタデータ) (2021-02-10T01:19:15Z) - Local Critic Training for Model-Parallel Learning of Deep Neural
Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。
提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。
また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文 参考訳(メタデータ) (2021-02-03T09:30:45Z) - RNN Training along Locally Optimal Trajectories via Frank-Wolfe
Algorithm [50.76576946099215]
小領域の損失面に局所的なミニマを反復的に求めることにより,RNNの新規かつ効率的なトレーニング手法を提案する。
新たなRNNトレーニング手法を開発し,追加コストを伴っても,全体のトレーニングコストがバックプロパゲーションよりも低いことを実証的に観察した。
論文 参考訳(メタデータ) (2020-10-12T01:59:18Z) - Lifelong Object Detection [28.608982224098565]
私たちは、新しいトレーニングクラスが逐次的に到着し、モデルを漸進的に洗練するという事実を活用します。
我々は、高精度かつ効率的な予測のために、代表対象検出器であるFaster R-CNNを検討する。
論文 参考訳(メタデータ) (2020-09-02T15:08:51Z) - RIFLE: Backpropagation in Depth for Deep Transfer Learning through
Re-Initializing the Fully-connected LayEr [60.07531696857743]
事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。
転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。
RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
論文 参考訳(メタデータ) (2020-07-07T11:27:43Z) - AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。
実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文 参考訳(メタデータ) (2020-06-11T16:36:31Z) - Large Batch Training Does Not Need Warmup [111.07680619360528]
大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。
本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。
分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
論文 参考訳(メタデータ) (2020-02-04T23:03:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。