論文の概要: Learnable Bernoulli Dropout for Bayesian Deep Learning

• arxiv url: http://arxiv.org/abs/2002.05155v1
• Date: Wed, 12 Feb 2020 18:57:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 19:19:17.362848
• Title: Learnable Bernoulli Dropout for Bayesian Deep Learning
• Title（参考訳）: ベイジアンディープラーニングのための学習可能なBernoulliドロップアウト
• Authors: Shahin Boluki, Randy Ardywibowo, Siamak Zamani Dadaneh, Mingyuan Zhou, Xiaoning Qian
• Abstract要約: Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。 LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
• 参考スコア（独自算出の注目度）: 53.79615543862426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we propose learnable Bernoulli dropout (LBD), a new model-agnostic dropout scheme that considers the dropout rates as parameters jointly optimized with other model parameters. By probabilistic modeling of Bernoulli dropout, our method enables more robust prediction and uncertainty quantification in deep models. Especially, when combined with variational auto-encoders (VAEs), LBD enables flexible semi-implicit posterior representations, leading to new semi-implicit VAE~(SIVAE) models. We solve the optimization for training with respect to the dropout parameters using Augment-REINFORCE-Merge (ARM), an unbiased and low-variance gradient estimator. Our experiments on a range of tasks show the superior performance of our approach compared with other commonly used dropout schemes. Overall, LBD leads to improved accuracy and uncertainty estimates in image classification and semantic segmentation. Moreover, using SIVAE, we can achieve state-of-the-art performance on collaborative filtering for implicit feedback on several public datasets.
• Abstract（参考訳）: 本研究では,学習可能なbernoulli dropout(lbd)を提案する。これはモデル非依存な新しいドロップアウトスキームで,ドロップアウトレートを他のモデルパラメータと共同で最適化したパラメータとみなす。 ベルヌーイドロップアウトの確率論的モデリングにより,深層モデルにおいてよりロバストな予測と不確実性定量化を可能にする。 特に、可変オートエンコーダ(VAE)と組み合わせることで、LBDは柔軟な半単純後部表現を可能にし、新しい半単純VAE〜(SIVAE)モデルを生み出す。 本研究では,不偏・低分散勾配推定器であるaugment-reinforce-merge(arm)を用いて,ドロップアウトパラメータに対するトレーニングの最適化を行う。 様々なタスクにおける実験は、他の一般的なドロップアウト方式と比較して、我々のアプローチの優れた性能を示しています。 総じて、lbdは画像分類と意味セグメンテーションにおける精度と不確実性の推定を改善する。 さらに,複数の公開データセット上での暗黙的なフィードバックに対して,協調フィルタリングによる最先端のパフォーマンスを実現することができる。

関連論文リスト

• A Bayesian Approach to Data Point Selection [24.98069363998565]
  データポイントの選択(DPS)は、ディープラーニングにおいて重要なトピックになりつつある。 既存のDPSへのアプローチは、主にバイレベル最適化(BLO)の定式化に基づいている。 DPSに対する新しいベイズ的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-06T09:04:13Z)
• On the Impact of Sampling on Deep Sequential State Estimation [17.92198582435315]
  逐次モデルにおける状態推定とパラメータ学習は近似手法を用いてうまく行うことができる。 モンテカルロの厳密な目的は、生成的モデリング性能を向上させるために文献で提案されている。
  論文  参考訳（メタデータ） (2023-11-28T17:59:49Z)
• Model Merging by Uncertainty-Based Gradient Matching [70.54580972266096]
  ミスマッチを減らすことで性能を改善するための不確実性に基づく新しいスキームを提案する。 我々の新しい手法は、大きな言語モデルと視覚変換器に一貫した改善をもたらす。
  論文  参考訳（メタデータ） (2023-10-19T15:02:45Z)
• FedDIP: Federated Learning with Extreme Dynamic Pruning and Incremental Regularization [5.182014186927254]
  大規模Deep Neural Networks(DNN)の分散トレーニングと推論にFL(Federated Learning)が成功している。 我々は、(i)動的プルーニングとエラーフィードバックを組み合わせて冗長な情報交換を排除する新しいFLフレームワーク(Coined FedDIP)にコントリビュートする。 我々は、FedDIPの収束解析と総合的な性能について報告し、最先端手法との比較評価を行う。
  論文  参考訳（メタデータ） (2023-09-13T08:51:19Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Model Selection for Bayesian Autoencoders [25.619565817793422]
  本稿では,オートエンコーダの出力と経験的データ分布との分散スライス-ワッサーシュタイン距離を最適化することを提案する。 我々のBAEは、フレキシブルなディリクレ混合モデルを潜在空間に適合させることにより、生成モデルに変換する。 我々は,教師なしの学習課題に対する膨大な実験的キャンペーンを質的かつ定量的に評価し,先行研究が重要となる小規模データ体制において,我々のアプローチが最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-06-11T08:55:00Z)
• Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
  ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。 単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。 提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-06T19:30:32Z)
• Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization [62.8384110757689]
  ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する 先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。 7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
  論文  参考訳（メタデータ） (2020-10-11T13:19:58Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。