論文の概要: Masksembles for Uncertainty Estimation

• arxiv url: http://arxiv.org/abs/2012.08334v1
• Date: Tue, 15 Dec 2020 14:39:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-07 11:42:45.200003
• Title: Masksembles for Uncertainty Estimation
• Title（参考訳）: 不確実性推定のためのマスク組
• Authors: Nikita Durasov, Timur Bagautdinov, Pierre Baque, Pascal Fua
• Abstract要約: ディープニューラルネットワークは、その強みを巧みに実証しているが、その予測の信頼性を推定することは依然として困難である。 深層アンサンブルは不確かさを推定する最良の方法の1つと考えられているが、訓練や評価は非常に高価である。 mc-dropoutも人気の高い代替品で、安価だが信頼性も低い。
• 参考スコア（独自算出の注目度）: 60.400102501013784
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks have amply demonstrated their prowess but estimating the reliability of their predictions remains challenging. Deep Ensembles are widely considered as being one of the best methods for generating uncertainty estimates but are very expensive to train and evaluate. MC-Dropout is another popular alternative, which is less expensive, but also less reliable. Our central intuition is that there is a continuous spectrum of ensemble-like models of which MC-Dropout and Deep Ensembles are extreme examples. The first uses an effectively infinite number of highly correlated models while the second relies on a finite number of independent models. To combine the benefits of both, we introduce Masksembles. Instead of randomly dropping parts of the network as in MC-dropout, Masksemble relies on a fixed number of binary masks, which are parameterized in a way that allows to change correlations between individual models. Namely, by controlling the overlap between the masks and their density one can choose the optimal configuration for the task at hand. This leads to a simple and easy to implement method with performance on par with Ensembles at a fraction of the cost. We experimentally validate Masksembles on two widely used datasets, CIFAR10 and ImageNet.
• Abstract（参考訳）: ディープ・ニューラル・ネットワークは彼らの進歩を十分に実証しているが、予測の信頼性を推定するのは難しい。 深層アンサンブルは不確かさを推定する最良の方法の1つと考えられているが、訓練や評価は非常に高価である。 mc-dropoutも人気の高い代替品で、安価だが信頼性も低い。 我々の中心的な直観は、MC-DropoutとDeep Ensemblesが極端な例であるアンサンブルのようなモデルの連続スペクトルが存在するということである。 1つは事実上無限個の高相関モデルを使用し、2つは有限個の独立モデルに依存している。 両方の利点を組み合わせるために、Masksemblesを紹介します。 mc-dropoutのようにネットワークの一部をランダムにドロップする代わりに、 masksembleは固定数のバイナリマスクに依存しており、個々のモデル間の相関を変更できるようにパラメータ化されている。 すなわち、マスクと密度の重なりを制御することで、目の前のタスクの最適な構成を選択することができる。 これにより、Ensemblesと同等のパフォーマンスで、少しのコストで、シンプルで簡単に実装できるメソッドが実現できます。 CIFAR10とImageNetの2つの広く使われているデータセット上で,Masksemblesを実験的に検証した。

関連論文リスト

• Pluralistic Salient Object Detection [108.74650817891984]
  本稿では,与えられた入力画像に対して,複数の有意な有意な有意な有意な有意な有意な分割結果を生成することを目的とした新しい課題であるPSOD(multiistic Salient Object Detection)を紹介する。 新たに設計された評価指標とともに,2つのSODデータセット "DUTS-MM" と "DUS-MQ" を提案する。
  論文  参考訳（メタデータ） (2024-09-04T01:38:37Z)
• Breaking through Deterministic Barriers: Randomized Pruning Mask Generation and Selection [29.375460634415806]
  我々は大きなモデルを訓練し、その冗長なニューロンや重みを刈り取ることで除去する。 このアプローチはGLUEから8つのデータセットにまたがる最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-10-19T22:32:51Z)
• Faithfulness Measurable Masked Language Models [35.40666730867487]
  NLPモデルを説明するための一般的なアプローチは、予測にどのトークンが重要であるかを表現する重要な尺度を使用することである。 そのような指標の1つは、トークンが本当に重要であるなら、それらを隠すことはモデルのパフォーマンスを悪化させる。 この研究は、これらの課題に対処する本質的に忠実度測定可能なモデルを提案する。
  論文  参考訳（メタデータ） (2023-10-11T19:00:40Z)
• Effective Neural Network $L_0$ Regularization With BinMask [15.639601066641099]
  簡単な定式化である BinMask が有効$L_0$正則化であることを示す。 我々は,BinMaskを特徴選択,ネットワーク分割,モデル正規化の3つのタスクで評価する。
  論文  参考訳（メタデータ） (2023-04-21T20:08:57Z)
• GFlowOut: Dropout with Generative Flow Networks [76.59535235717631]
  モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。 最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。 GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
  論文  参考訳（メタデータ） (2022-10-24T03:00:01Z)
• Parameter-Efficient Masking Networks [61.43995077575439]
  先進的なネットワーク設計は、しばしば多数の繰り返し構造を含む(例: Transformer)。 本研究では,マスクの学習により,一意値に制限された固定ランダムウェイトの代表的ポテンシャルについて検討する。 これはモデル圧縮のための新しいパラダイムをもたらし、モデルサイズを減少させます。
  論文  参考訳（メタデータ） (2022-10-13T03:39:03Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)
• Improving Self-supervised Pre-training via a Fully-Explored Masked Language Model [57.77981008219654]
  Masked Language Model (MLM)フレームワークは、自己教師型言語事前学習に広く採用されている。 そこで本研究では,テキストシーケンスを複数の非重複セグメントに分割するマスキング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T21:28:14Z)
• Why have a Unified Predictive Uncertainty? Disentangling it using Deep Split Ensembles [39.29536042476913]
  ブラックボックスニューラルネットワーク(NN)における不確実性の理解と定量化は、医療などの現実的な環境にデプロイする場合に不可欠である。 予測の不確かさを解消するために,概念的に単純な非ベイズ的アプローチ,ディープ・スプリット・アンサンブルを提案する。
  論文  参考訳（メタデータ） (2020-09-25T19:15:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。