論文の概要: On Resource-Efficient Bayesian Network Classifiers and Deep Neural
Networks
- arxiv url: http://arxiv.org/abs/2010.11773v2
- Date: Wed, 22 Sep 2021 12:59:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 04:55:28.503248
- Title: On Resource-Efficient Bayesian Network Classifiers and Deep Neural
Networks
- Title(参考訳): 資源効率の高いベイズネットワーク分類器とディープニューラルネットワークについて
- Authors: Wolfgang Roth, G\"unther Schindler, Holger Fr\"oning, Franz Pernkopf
- Abstract要約: ベイズネットワーク(BN)分類器の複雑さを低減するための2つの方法を提案する。
まず、ストレートスルー勾配推定器を用いてBNのパラメータを数ビットに量子化する量子化学習を導入する。
第2に、モデルサイズも考慮し、最近提案された微分可能な木強化ナイーブベイズ (TAN) 構造学習手法を拡張した。
- 参考スコア(独自算出の注目度): 14.540226579203207
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present two methods to reduce the complexity of Bayesian network (BN)
classifiers. First, we introduce quantization-aware training using the
straight-through gradient estimator to quantize the parameters of BNs to few
bits. Second, we extend a recently proposed differentiable tree-augmented naive
Bayes (TAN) structure learning approach by also considering the model size.
Both methods are motivated by recent developments in the deep learning
community, and they provide effective means to trade off between model size and
prediction accuracy, which is demonstrated in extensive experiments.
Furthermore, we contrast quantized BN classifiers with quantized deep neural
networks (DNNs) for small-scale scenarios which have hardly been investigated
in the literature. We show Pareto optimal models with respect to model size,
number of operations, and test error and find that both model classes are
viable options.
- Abstract(参考訳): ベイズネットワーク(bn)分類器の複雑性を低減する2つの手法を提案する。
まず、ストレートスルー勾配推定器を用いてBNのパラメータを数ビットに量子化する量子化学習を導入する。
第2に,最近提案されている微分可能木型ナイーブベイズ(tan)構造学習手法を,モデルサイズも考慮して拡張する。
どちらの手法も、ディープラーニングコミュニティの最近の発展によって動機付けられており、モデルのサイズと予測精度をトレードオフする効果的な手段を提供する。
さらに,本研究ではほとんど研究されていない小規模シナリオに対して,量子化BN分類器と量子化ディープニューラルネットワーク(DNN)を対比した。
モデルサイズ,操作数,テストエラーに関して,Paretoの最適モデルを示し,両モデルクラスが実行可能な選択肢であることを確認する。
関連論文リスト
- A Survey on Statistical Theory of Deep Learning: Approximation, Training
Dynamics, and Generative Models [15.692437265063342]
本稿では3つの観点から,ニューラルネットワークの統計理論に関する文献をレビューする。
ニューラルネットワークの過剰なリスクに関する結果は、回帰または分類の非パラメトリックフレームワークでレビューされる。
本稿では、GAN(Generative Adversarial Networks)、拡散モデル、Large Language Models(LLMs)におけるICL(In-context Learning)などの生成モデルにおける最新の理論的進歩について概説する。
論文 参考訳(メタデータ) (2024-01-14T02:30:19Z) - Information Bottleneck Analysis of Deep Neural Networks via Lossy
Compression [55.41644538483948]
Information Bottleneck(IB)原則は、ディープニューラルネットワーク(DNN)のトレーニングプロセスを分析するための情報理論フレームワークを提供する。
本稿では,一般NNのICB解析のための包括的フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-13T21:44:32Z) - Reconciliation of Pre-trained Models and Prototypical Neural Networks in
Few-shot Named Entity Recognition [35.34238362639678]
本研究では,このようなミスマッチを経験的・理論的根拠と整合させる一線符号正規化法を提案する。
我々の研究は、数発のエンティティ認識における一般的な問題に対処するための分析的な視点も提供します。
論文 参考訳(メタデータ) (2022-11-07T02:33:45Z) - Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。
本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
論文 参考訳(メタデータ) (2022-03-23T12:52:49Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - Fully differentiable model discovery [0.0]
ニューラルネットワークに基づくサロゲートとスパースベイズ学習を組み合わせたアプローチを提案する。
我々の研究は、PINNを様々なタイプのニューラルネットワークアーキテクチャに拡張し、ニューラルネットワークベースのサロゲートをベイズパラメータ推論のリッチフィールドに接続する。
論文 参考訳(メタデータ) (2021-06-09T08:11:23Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳(メタデータ) (2020-10-27T17:56:14Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳(メタデータ) (2020-03-13T13:11:35Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳(メタデータ) (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。