論文の概要: SAE: Sequential Anchored Ensembles

• arxiv url: http://arxiv.org/abs/2201.00649v1
• Date: Thu, 30 Dec 2021 12:47:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-04 14:45:29.310934
• Title: SAE: Sequential Anchored Ensembles
• Title（参考訳）: SAE:シリーズアンコール
• Authors: Arnaud Delaunoy, Gilles Louppe
• Abstract要約: 本稿では,アンサンブルの軽量な代替品であるSequential Anchored Ensembles(SAE)を紹介する。 アンサンブルの各メンバーをゼロから訓練する代わりに、メンバーは高い自己相関でサンプリングされた損失に基づいて順次訓練される。 SAEは特定の計算予算に対してアンサンブルを性能的に上回り、他のベンチマークでは同等のパフォーマンスを示した。
• 参考スコア（独自算出の注目度）: 7.888755225607877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computing the Bayesian posterior of a neural network is a challenging task due to the high-dimensionality of the parameter space. Anchored ensembles approximate the posterior by training an ensemble of neural networks on anchored losses designed for the optima to follow the Bayesian posterior. Training an ensemble, however, becomes computationally expensive as its number of members grows since the full training procedure is repeated for each member. In this note, we present Sequential Anchored Ensembles (SAE), a lightweight alternative to anchored ensembles. Instead of training each member of the ensemble from scratch, the members are trained sequentially on losses sampled with high auto-correlation, hence enabling fast convergence of the neural networks and efficient approximation of the Bayesian posterior. SAE outperform anchored ensembles, for a given computational budget, on some benchmarks while showing comparable performance on the others and achieved 2nd and 3rd place in the light and extended tracks of the NeurIPS 2021 Approximate Inference in Bayesian Deep Learning competition.
• Abstract（参考訳）: ニューラルネットワークのベイズ後方の計算は、パラメータ空間の高次元性のために難しい課題である。 アンカー付きアンサンブルは、オプティマがベイジアン後方を追従するように設計されたアンカー付き損失に基づいて、ニューラルネットワークのアンサンブルを訓練することで後方に近似する。 しかし、各メンバーの訓練手順を繰り返すと、そのメンバー数が増えるにつれて、アンサンブルの訓練は計算的に高価になる。 本稿では,アンサンブルの軽量な代替品であるSequential Anchored Ensembles (SAE)を紹介する。 メンバーはスクラッチから各メンバーを訓練する代わりに、高い自己相関でサンプリングされた損失に基づいて順次訓練されるため、ニューラルネットワークの高速収束とベイズ後部の効率的な近似が可能になる。 SAEは、与えられた計算予算のために、いくつかのベンチマークでアンサンブルを上回り、他のベンチマークでは同等のパフォーマンスを示し、ベイズディープラーニングのNeurIPS 2021 Approximate Inferenceの光と拡張トラックで2位と3位を獲得した。

関連論文リスト

• Efficient Training of Deep Neural Operator Networks via Randomized Sampling [0.0]
  ディープオペレータネットワーク(DeepNet)は、様々な科学的・工学的応用における複雑な力学のリアルタイム予測に成功している。 本稿では,DeepONetのトレーニングを取り入れたランダムサンプリング手法を提案する。 実験の結果,訓練中にトランクネットワーク入力にランダム化を組み込むことで,DeepONetの効率性と堅牢性が向上し,複雑な物理系のモデリングにおけるフレームワークの性能向上に期待できる道筋が得られた。
  論文  参考訳（メタデータ） (2024-09-20T07:18:31Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Layer Ensembles [95.42181254494287]
  本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。 その結果,メモリと実行時間が少なくなるモデルが得られた。
  論文  参考訳（メタデータ） (2022-10-10T17:52:47Z)
• Mixtures of Laplace Approximations for Improved Post-Hoc Uncertainty in Deep Learning [24.3370326359959]
  独立に訓練された深層ニューラルネットワークのラプラス近似の重み付け和からなるガウス混合モデル後部モデルを用いて予測することを提案する。 我々は,本手法がトレーニングデータから「遠方」に過信を緩和し,標準不確実性定量化ベンチマークにおける最先端のベースラインを実証的に比較することを理論的に検証した。
  論文  参考訳（メタデータ） (2021-11-05T15:52:48Z)
• Total Recall: a Customized Continual Learning Method for Neural Semantic Parsers [38.035925090154024]
  ニューラルセマンティックは、以前のタスクから完全なトレーニングデータにアクセスすることなく、シーケンシャルにタスクを学習する。 本稿では,2つの側面からニューラルセマンティクスを学習するための連続学習手法であるTotalRecallを提案する。 我々は,TotalRecallで訓練したニューラルネットワークセマンティクスが,SOTA連続学習アルゴリズムで直接訓練したセマンティクスよりも優れた性能を達成し,スクラッチからのトレーニングに比べて3～6倍の高速化を実現することを示した。
  論文  参考訳（メタデータ） (2021-09-11T04:33:28Z)
• FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training with Dynamic Sparsity [74.58777701536668]
  我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。 本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
  論文  参考訳（メタデータ） (2021-06-28T10:48:20Z)
• Greedy Bayesian Posterior Approximation with Deep Ensembles [22.466176036646814]
  独立して訓練された目的の集合は、ディープラーニングにおける予測の不確実性を推定するための最先端のアプローチである。 関数空間における任意の問題に対する成分の混合に対して,本手法は部分モジュラーであることを示す。
  論文  参考訳（メタデータ） (2021-05-29T11:35:27Z)
• Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
  我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。 そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。 我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
  論文  参考訳（メタデータ） (2020-07-11T22:10:52Z)
• Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
  プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。 段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。 オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
  論文  参考訳（メタデータ） (2020-02-17T18:57:33Z)
• BatchEnsemble: An Alternative Approach to Efficient Ensemble and Lifelong Learning [46.768185367275564]
  BatchEnsembleは、一般的なアンサンブルよりも計算コストとメモリコストが大幅に低いアンサンブル法である。 BatchEnsembleは、典型的なアンサンブルとして、競争の正確さと不確実性をもたらすことを示す。 また、生涯学習にBatchEnsembleを適用し、Split-CIFAR-100では、BatchEnsembleはプログレッシブニューラルネットワークと同等のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2020-02-17T00:00:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。