論文の概要: Generalized Bayesian Posterior Expectation Distillation for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2005.08110v1
• Date: Sat, 16 May 2020 21:40:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 12:57:25.019413
• Title: Generalized Bayesian Posterior Expectation Distillation for Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークのための一般化ベイズ後方期待蒸留
• Authors: Meet P. Vadera, Brian Jalaian and Benjamin M. Marlin
• Abstract要約: 提案するフレームワークは、入力「教師」および学生モデルアーキテクチャである。 蒸留ターゲットとして, 後続の予測分布と期待エントロピーに着目した。 速度-記憶-精度の観点から,学生モデルアーキテクチャ探索法について検討する。
• 参考スコア（独自算出の注目度）: 14.479898447574204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present a general framework for distilling expectations with respect to the Bayesian posterior distribution of a deep neural network classifier, extending prior work on the Bayesian Dark Knowledge framework. The proposed framework takes as input "teacher" and student model architectures and a general posterior expectation of interest. The distillation method performs an online compression of the selected posterior expectation using iteratively generated Monte Carlo samples. We focus on the posterior predictive distribution and expected entropy as distillation targets. We investigate several aspects of this framework including the impact of uncertainty and the choice of student model architecture. We study methods for student model architecture search from a speed-storage-accuracy perspective and evaluate down-stream tasks leveraging entropy distillation including uncertainty ranking and out-of-distribution detection.
• Abstract（参考訳）: 本稿では、ディープニューラルネットワーク分類器のベイジアン後部分布に対する期待を蒸留するための一般的な枠組みを提案し、ベイジアンダークナレッジフレームワークに関する先行研究を延長する。 提案するフレームワークは,入力型"教師"と学生モデルアーキテクチャ,および一般の興味の後方にある期待値である。 本発明の蒸留方法は、反復生成モンテカルロ試料を用いて選択された後部予想のオンライン圧縮を行う。 蒸留ターゲットとして, 後方予測分布と期待エントロピーに着目した。 不確実性の影響や学生モデルアーキテクチャの選択など,このフレームワークのいくつかの側面を調査した。 学生モデルによるアーキテクチャ探索の手法を, 速度・ストレージ・精度の観点から検討し, 不確実性ランキングや分布外検出を含むエントロピー蒸留を利用したダウンストリームタスクの評価を行った。

関連論文リスト

• Misclassification bounds for PAC-Bayesian sparse deep learning [0.0]
  本研究では,Spike-and-Slab を用いた確率論的アプローチの予測誤差と誤分類誤差に関する理論的結果を示す。 その結果, 対数係数まで, 低次元と高次元の両方で最小値の最適値を達成できることが実証された。
  論文  参考訳（メタデータ） (2024-05-02T14:11:48Z)
• A Bayesian Approach to Robust Inverse Reinforcement Learning [54.24816623644148]
  我々は、オフラインモデルに基づく逆強化学習(IRL)に対するベイズ的アプローチを考える。 提案フレームワークは,専門家の報酬関数と環境力学の主観的モデルとを同時推定することにより,既存のオフラインモデルベースIRLアプローチとは異なる。 本分析は, 専門家が環境の高精度なモデルを持つと考えられる場合, 評価政策が堅牢な性能を示すという新たな知見を提示する。
  論文  参考訳（メタデータ） (2023-09-15T17:37:09Z)
• Postprocessing of Ensemble Weather Forecasts Using Permutation-invariant Neural Networks [0.0]
  予測アンサンブルを未順序メンバー予測の集合として扱うネットワークを提案する。 キャリブレーションとシャープネスの観点から,得られた予測分布の質を評価する。 以上の結果から,関連する情報の大部分は,ある程度の自由度に含まれていることが示唆された。
  論文  参考訳（メタデータ） (2023-09-08T17:20:51Z)
• Variational Bayes Deep Operator Network: A data-driven Bayesian solver for parametric differential equations [0.0]
  演算子学習のための変分ベイズDeepONet(VB-DeepONet)を提案する。 VB-DeepONetは、高次元後部分布を考慮した変分推論を用いる。
  論文  参考訳（メタデータ） (2022-06-12T04:20:11Z)
• An Energy-Based Prior for Generative Saliency [62.79775297611203]
  本稿では,情報的エネルギーベースモデルを事前分布として採用する,新たな生成正当性予測フレームワークを提案する。 生成サリエンシモデルを用いて,画像から画素単位の不確実性マップを得ることができ,サリエンシ予測におけるモデル信頼度を示す。 実験結果から, エネルギーベース先行モデルを用いた生成塩分率モデルでは, 精度の高い塩分率予測だけでなく, 人間の知覚と整合した信頼性の高い不確実性マップを実現できることが示された。
  論文  参考訳（メタデータ） (2022-04-19T10:51:00Z)
• The Bayesian Method of Tensor Networks [1.7894377200944511]
  ネットワークのベイズ的枠組みを2つの観点から検討する。 本研究では,2次元合成データセットにおけるモデルパラメータと決定境界を可視化することにより,ネットワークのベイズ特性について検討する。
  論文  参考訳（メタデータ） (2021-01-01T14:59:15Z)
• Probabilistic electric load forecasting through Bayesian Mixture Density Networks [70.50488907591463]
  確率的負荷予測(PLF)は、スマートエネルギーグリッドの効率的な管理に必要な拡張ツールチェーンの重要なコンポーネントです。 ベイジアン混合密度ネットワークを枠とした新しいPLFアプローチを提案する。 後方分布の信頼性と計算にスケーラブルな推定を行うため,平均場変動推定と深層アンサンブルを統合した。
  論文  参考訳（メタデータ） (2020-12-23T16:21:34Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)
• Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
  確率分布が未知な分布の不確実性の下でBQOについて検討する。 標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。 この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
  論文  参考訳（メタデータ） (2020-01-19T12:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。