論文の概要: Training independent subnetworks for robust prediction

• arxiv url: http://arxiv.org/abs/2010.06610v2
• Date: Wed, 4 Aug 2021 23:30:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 22:36:34.938840
• Title: Training independent subnetworks for robust prediction
• Title（参考訳）: 頑健な予測のための独立サブネットワークの訓練
• Authors: Marton Havasi, Rodolphe Jenatton, Stanislav Fort, Jeremiah Zhe Liu, Jasper Snoek, Balaji Lakshminarayanan, Andrew M. Dai, Dustin Tran
• Abstract要約: 一つのモデルの前方通過の下で、複数の予測を使用することの利点を無償で実現できることを示す。 CIFAR10, CIFAR100, ImageNet, およびそれらのアウト・オブ・ディストリビューション変種に対する負のログ類似度, 精度, 校正誤差の大幅な改善を観察した。
• 参考スコア（独自算出の注目度）: 47.81111607870936
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent approaches to efficiently ensemble neural networks have shown that strong robustness and uncertainty performance can be achieved with a negligible gain in parameters over the original network. However, these methods still require multiple forward passes for prediction, leading to a significant computational cost. In this work, we show a surprising result: the benefits of using multiple predictions can be achieved `for free' under a single model's forward pass. In particular, we show that, using a multi-input multi-output (MIMO) configuration, one can utilize a single model's capacity to train multiple subnetworks that independently learn the task at hand. By ensembling the predictions made by the subnetworks, we improve model robustness without increasing compute. We observe a significant improvement in negative log-likelihood, accuracy, and calibration error on CIFAR10, CIFAR100, ImageNet, and their out-of-distribution variants compared to previous methods.
• Abstract（参考訳）: ニューラルネットワークを効率的にアンサンブルする最近のアプローチでは、元のネットワーク上でパラメータを無視できないゲインで強いロバスト性と不確実性のパフォーマンスを達成できることが示されている。 しかし、これらの手法は予測のために複数の前方通過を必要とするため、計算コストは大幅に低下する。 複数の予測を使用することの利点は、1つのモデルのフォワードパスの下で 'for free' で達成できます。 特に,Multi-Input Multi-output (MIMO) 構成を用いて,単一モデルの能力を利用して,タスクを独立に学習する複数のサブネットワークを訓練できることが示されている。 サブネットワークの予測をアンサンブルすることにより,計算量を増やすことなくモデルロバスト性を向上する。 従来の手法と比較して,cifar10,cifar100,imagenet,およびその分散型に対する負のログ類似度,精度,キャリブレーション誤差の有意な改善が観察された。

関連論文リスト

• Faster Language Models with Better Multi-Token Prediction Using Tensor Decomposition [5.575078692353885]
  本稿では, 精度を損なうことなくサンプリング効率を向上させることを目的とした, 変圧器のマルチトークン予測のための新しいモデルを提案する。 階数=r$標準確率分解に一般化することにより、複数のトークンを同時に予測する改良されたモデルを開発する。
  論文  参考訳（メタデータ） (2024-10-23T11:06:36Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Probabilistic MIMO U-Net: Efficient and Accurate Uncertainty Estimation for Pixel-wise Regression [1.4528189330418977]
  機械学習における不確実性推定は、予測モデルの信頼性と解釈可能性を高めるための最重要課題である。 画素ワイド回帰タスクに対するMIMO(Multiple-Input Multiple-Output)フレームワークの適応について述べる。
  論文  参考訳（メタデータ） (2023-08-14T22:08:28Z)
• Censored Quantile Regression Neural Networks [24.118509578363593]
  本稿では,ニューラルネットワーク(NN)を用いた検閲データに対する量子レグレッションの実施について考察する。 線形モデルで人気のあるアルゴリズムをNNに適用する方法を示す。 我々の主な貢献は、単一のNNによって出力される量子のグリッドを同時に最適化する新しいアルゴリズムである。
  論文  参考訳（メタデータ） (2022-05-26T17:10:28Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• End-to-End Weak Supervision [15.125993628007972]
  下流モデルを直接学習するためのエンドツーエンドアプローチを提案する。 下流テストセットにおけるエンドモデル性能の観点から,先行作業よりも性能が向上したことを示す。
  論文  参考訳（メタデータ） (2021-07-05T19:10:11Z)
• Ex uno plures: Splitting One Model into an Ensemble of Subnetworks [18.814965334083425]
  そこで本研究では,プレニング戦略によって計算され,独立に訓練された非重なり合っていないドロップアウトマスクに対応する,作業のアンサンブルを計算する戦略を提案する。 提案手法は,精度と不確実性の両方において,標準的なディープアンサンブルと同等に動作可能であることを示す。 我々は、ニューラルネットワークを効率的にアンサンブルする最近提案されたアプローチよりも、サブネットワークのアンサンブルが一貫して優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2021-06-09T01:49:49Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。