論文の概要: Diversity inducing Information Bottleneck in Model Ensembles
- arxiv url: http://arxiv.org/abs/2003.04514v3
- Date: Tue, 8 Dec 2020 20:14:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-24 20:19:07.831827
- Title: Diversity inducing Information Bottleneck in Model Ensembles
- Title（参考訳）: モデルアンサンブルにおける情報ボトルネックの多様性
- Authors: Samarth Sinha, Homanga Bharadhwaj, Anirudh Goyal, Hugo Larochelle,
Animesh Garg, Florian Shkurti
- Abstract要約: 本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
- 参考スコア（独自算出の注目度）: 73.80615604822435
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although deep learning models have achieved state-of-the-art performance on a
number of vision tasks, generalization over high dimensional multi-modal data,
and reliable predictive uncertainty estimation are still active areas of
research. Bayesian approaches including Bayesian Neural Nets (BNNs) do not
scale well to modern computer vision tasks, as they are difficult to train, and
have poor generalization under dataset-shift. This motivates the need for
effective ensembles which can generalize and give reliable uncertainty
estimates. In this paper, we target the problem of generating effective
ensembles of neural networks by encouraging diversity in prediction. We
explicitly optimize a diversity inducing adversarial loss for learning the
stochastic latent variables and thereby obtain diversity in the output
predictions necessary for modeling multi-modal data. We evaluate our method on
benchmark datasets: MNIST, CIFAR100, TinyImageNet and MIT Places 2, and
compared to the most competitive baselines show significant improvements in
classification accuracy, under a shift in the data distribution and in
out-of-distribution detection. Code will be released in this url
https://github.com/rvl-lab-utoronto/dibs
- Abstract（参考訳）: 深層学習モデルは、多くの視覚タスクにおいて最先端のパフォーマンスを達成したが、高次元マルチモーダルデータに対する一般化と信頼性のある予測不確実性推定は研究の活発な領域である。
ベイジアンニューラルネットワーク(BNN)を含むベイジアンアプローチは、訓練が困難であり、データセットシフト下での一般化が不十分であるため、現代のコンピュータビジョンタスクには適さない。
これにより、信頼できる不確実性推定を一般化し提供できる効果的なアンサンブルの必要性が高まる。
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
確率的潜在変数を学習するために、逆損失を誘発する多様性を明示的に最適化し、マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
本手法は,mnist,cifar100,tinyimagenet,mit places 2のベンチマークデータセットで評価し,最も競争力のあるベースラインと比較すると,データ分布の変化と分散検出において,分類精度が著しく向上した。
コードはhttps://github.com/rvl-lab-utoronto/dibsでリリースされる。
関連論文リスト
- MC-DBN: A Deep Belief Network-Based Model for Modality Completion [3.7020486533725605]
我々は、MC-DBN(Modality Completion Deep Belief Network Based Model)を提案する。
このアプローチは、完全なデータの暗黙的な特徴を利用して、それ自体と追加の不完全なデータの間のギャップを補う。
拡張されたマルチモーダルデータは、実世界のダイナミックな性質と密接に一致し、モデルの有効性を高める。
論文 参考訳（メタデータ） (2024-02-15T08:21:50Z) - Amortised Inference in Bayesian Neural Networks [0.0]
Amortized Pseudo-Observation Variational Inference Bayesian Neural Network (APOVI-BNN)を紹介する。
補正された推論は、従来の変分推論によって得られたものと類似または良好な品質であることが示される。
次に、APOVI-BNNをニューラルプロセスファミリーの新たなメンバーと見なす方法について論じる。
論文 参考訳（メタデータ） (2023-09-06T14:02:33Z) - Fine-grained Recognition with Learnable Semantic Data Augmentation [68.48892326854494]
きめ細かい画像認識は、長年続くコンピュータビジョンの課題である。
本稿では,識別領域損失問題を軽減するため,特徴レベルのトレーニングデータを多様化することを提案する。
本手法は,いくつかの人気分類ネットワーク上での一般化性能を著しく向上させる。
論文 参考訳（メタデータ） (2023-09-01T11:15:50Z) - Probabilistic MIMO U-Net: Efficient and Accurate Uncertainty Estimation
for Pixel-wise Regression [1.4528189330418977]
機械学習における不確実性推定は、予測モデルの信頼性と解釈可能性を高めるための最重要課題である。
画素ワイド回帰タスクに対するMIMO(Multiple-Input Multiple-Output)フレームワークの適応について述べる。
論文 参考訳（メタデータ） (2023-08-14T22:08:28Z) - Two-stage Modeling for Prediction with Confidence [0.0]
分布シフト条件下でニューラルネットワークの性能を一般化することは困難である。
本稿では,分散シフト問題に対する新しい2段階モデルを提案する。
我々のモデルは、ほとんどのデータセットに対して信頼性の高い予測を提供することを示す。
論文 参考訳（メタデータ） (2022-09-19T08:48:07Z) - Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。
一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。
我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
論文 参考訳（メタデータ） (2022-02-08T16:09:12Z) - PDC-Net+: Enhanced Probabilistic Dense Correspondence Network [161.76275845530964]
高度確率密度対応ネットワーク(PDC-Net+)は、精度の高い高密度対応を推定できる。
我々は、堅牢で一般化可能な不確実性予測に適したアーキテクチャと強化されたトレーニング戦略を開発する。
提案手法は,複数の挑戦的幾何マッチングと光学的フローデータセットに対して,最先端の結果を得る。
論文 参考訳（メタデータ） (2021-09-28T17:56:41Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。