論文の概要: Neural Bootstrapper

• arxiv url: http://arxiv.org/abs/2010.01051v4
• Date: Mon, 13 Dec 2021 17:35:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 00:49:47.994213
• Title: Neural Bootstrapper
• Title（参考訳）: 神経ブートストラップ
• Authors: Minsuk Shin, Hyungjoo Cho, Hyun-seok Min, Sungbin Lim
• Abstract要約: ブートストラップは、機械学習と統計学において、アンサンブルと不確実性の定量化のための主要なツールだ。 本稿では,単一モデルトレーニングによるブートストラップニューラルネットワークの生成を学習するemphNeural Bootstrapper(NeuBoots)という新しいアプローチを提案する。 NeuBootsはブートストラップの有効性を失うことなく、計算コストのはるかに低い他のバッグベースの手法よりも優れている。
• 参考スコア（独自算出の注目度）: 5.158403716251638
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bootstrapping has been a primary tool for ensemble and uncertainty quantification in machine learning and statistics. However, due to its nature of multiple training and resampling, bootstrapping deep neural networks is computationally burdensome; hence it has difficulties in practical application to the uncertainty estimation and related tasks. To overcome this computational bottleneck, we propose a novel approach called \emph{Neural Bootstrapper} (NeuBoots), which learns to generate bootstrapped neural networks through single model training. NeuBoots injects the bootstrap weights into the high-level feature layers of the backbone network and outputs the bootstrapped predictions of the target, without additional parameters and the repetitive computations from scratch. We apply NeuBoots to various machine learning tasks related to uncertainty quantification, including prediction calibrations in image classification and semantic segmentation, active learning, and detection of out-of-distribution samples. Our empirical results show that NeuBoots outperforms other bagging based methods under a much lower computational cost without losing the validity of bootstrapping.
• Abstract（参考訳）: ブートストラップは、機械学習と統計におけるアンサンブルと不確実性定量化の主要なツールである。 しかしながら、複数のトレーニングと再サンプリングの性質から、ディープニューラルネットワークのブートストラップは計算量的に負担がかかるため、不確実性推定や関連するタスクに実用的な適用が困難である。 この計算ボトルネックを克服するために、単一モデルトレーニングによりブートストラップニューラルネットワークの生成を学ぶ「emph{Neural Bootstrapper}」(NeuBoots)と呼ばれる新しいアプローチを提案する。 NeuBootsはブートストラップ重みをバックボーンネットワークの高レベル特徴層に注入し、ターゲットのブートストラップした予測を、追加パラメータや繰り返し計算をゼロから出力する。 画像分類やセマンティックセグメンテーションの予測校正,アクティブラーニング,分布外サンプルの検出など,不確実性の定量化に関連するさまざまな機械学習タスクにNeuBootを適用する。 実験結果から,NeuBootsはブートストラップの有効性を損なうことなく,計算コストをはるかに低く抑えられることがわかった。

関連論文リスト

• Confident magnitude-based neural network pruning [0.0]
  ニューラルネットワークのプルーニングは、ディープラーニングモデルの効率向上とメモリストレージの削減に成功している。 我々は、分布のない不確実性定量化に関する最近の技術を活用し、深いニューラルネットワークを圧縮するための有限サンプル統計保証を提供する。 この研究は、不確実性を認識したプルーニングが、スパースニューラルネットワークを安全にデプロイするための有用なアプローチであることを示すために、コンピュータビジョンタスクでの実験を示す。
  論文  参考訳（メタデータ） (2024-08-08T21:29:20Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Pruning a neural network using Bayesian inference [1.776746672434207]
  ニューラルネットワークのプルーニングは、大規模ニューラルネットワークの計算とメモリ要求を減らすための非常に効果的な手法である。 本稿では,ベイズ推論を応用したニューラルネットの刈り取り手法を提案する。
  論文  参考訳（メタデータ） (2023-08-04T16:34:06Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Classified as unknown: A novel Bayesian neural network [0.0]
  完全連結ニューラルネットワークのための効率の良いベイズ学習アルゴリズムを開発した。 多層パーセプトロンから多層パーセプトロンへの二元分類のための単一パーセプトロンのアルゴリズムを一般化する。
  論文  参考訳（メタデータ） (2023-01-31T04:27:09Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Sparse Deep Learning: A New Framework Immune to Local Traps and Miscalibration [12.05471394131891]
  我々は、上記の問題を一貫性のある方法で解決する、疎いディープラーニングのための新しいフレームワークを提供する。 我々はスパース深層学習の理論的基礎を築き,スパースニューラルネットワークの学習に先立つアニールアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-01T21:16:34Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• A Survey of Quantization Methods for Efficient Neural Network Inference [75.55159744950859]
  量子化は、必要なビット数を最小限に抑えるために、固定された離散数の集合に連続実数値を分散する問題である。 近年、コンピュータビジョン、自然言語処理、関連分野でのニューラルネットワークモデルの顕著な性能のために最前線に達しています。 浮動小数点表現から4ビット以下の低精度固定整数値への移行は、メモリフットプリントとレイテンシを16倍削減する可能性を秘めている。
  論文  参考訳（メタデータ） (2021-03-25T06:57:11Z)
• Fast Adaptation with Linearized Neural Networks [35.43406281230279]
  ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。 この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。 この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
  論文  参考訳（メタデータ） (2021-03-02T03:23:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。