論文の概要: Probabilistic Neural Circuits
- arxiv url: http://arxiv.org/abs/2403.06235v1
- Date: Sun, 10 Mar 2024 15:25:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 07:09:41.525832
- Title: Probabilistic Neural Circuits
- Title(参考訳): 確率的神経回路
- Authors: Pedro Zuidberg Dos Martires
- Abstract要約: 確率的ニューラルネットワーク(PNC)は、トラクタビリティと表現力の観点から、PCとニューラルネットのバランスを崩す。
PNCはベイジアンネットワークの深い混合と解釈できることを示す。
- 参考スコア(独自算出の注目度): 4.724177741282789
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Probabilistic circuits (PCs) have gained prominence in recent years as a
versatile framework for discussing probabilistic models that support tractable
queries and are yet expressive enough to model complex probability
distributions. Nevertheless, tractability comes at a cost: PCs are less
expressive than neural networks. In this paper we introduce probabilistic
neural circuits (PNCs), which strike a balance between PCs and neural nets in
terms of tractability and expressive power. Theoretically, we show that PNCs
can be interpreted as deep mixtures of Bayesian networks. Experimentally, we
demonstrate that PNCs constitute powerful function approximators.
- Abstract(参考訳): 近年、確率回路(PC)は、トラクタブルクエリをサポートし、複雑な確率分布をモデル化するのに十分な表現力を持つ確率モデルについて議論するための汎用的なフレームワークとして注目されている。
それでも、移植性はコストがかかる。pcはニューラルネットワークよりも表現力が低い。
本稿では,PCとニューラルネットのトラクタビリティと表現力のバランスをとる確率的ニューラルネットワーク(PNC)を提案する。
理論的には、pncはベイズネットワークの深い混合物として解釈できる。
実験では, pncが強力な関数近似器であることを示す。
関連論文リスト
- Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳(メタデータ) (2024-09-17T04:48:45Z) - Scalable Neural-Probabilistic Answer Set Programming [18.136093815001423]
本稿では、NPP(Neural-Probabilistic Predicates)と解集合プログラミング(ASP)を介して統合された論理プログラムからなる新しいDPPLであるSLASHを紹介する。
予測性能を犠牲にすることなく、推論を高速化し、(地上)プログラムの無意味な部分を抜粋する方法を示す。
我々は、MNIST追加のベンチマークタスクやVQA(Visual Question Answering)など、様々なタスクでSLASHを評価する。
論文 参考訳(メタデータ) (2023-06-14T09:45:29Z) - Tractable Probabilistic Graph Representation Learning with Graph-Induced
Sum-Product Networks [25.132159381873656]
グラフ表現学習のための新しい確率的フレームワークであるグラフ誘導Sum-Product Networks (GSPNs)を紹介する。
このモデルが持つ競争力は,不足するデータの下での監視シナリオの不足や,一般的なニューラルモデルと比較したグラフ分類に代表される。
論文 参考訳(メタデータ) (2023-05-17T20:02:08Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳(メタデータ) (2022-09-16T06:36:06Z) - ExSpliNet: An interpretable and expressive spline-based neural network [0.3867363075280544]
本稿では,解釈可能な表現型ニューラルネットワークモデルであるExSpliNetを提案する。
我々はモデルを確率論的に解釈し、その普遍近似特性を示す。
論文 参考訳(メタデータ) (2022-05-03T14:06:36Z) - The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。
これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。
このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。
我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
論文 参考訳(メタデータ) (2022-02-27T23:12:43Z) - HyperSPNs: Compact and Expressive Probabilistic Circuits [89.897635970366]
HyperSPNsは、小規模のニューラルネットワークを使用して大きなPCの混合重量を生成する新しいパラダイムである。
近年の文献で紹介されている2つの最先端PCファミリーに対する正規化戦略のメリットを示す。
論文 参考訳(メタデータ) (2021-12-02T01:24:43Z) - PAC-Bayesian Learning of Aggregated Binary Activated Neural Networks
with Probabilities over Representations [2.047424180164312]
本研究では,確率論的ニューラルネットワークの予測器としての期待値について検討し,実数値重みによる正規分布を持つ二元活性化ニューラルネットワークの集約に着目した。
我々は、動的プログラミングアプローチのおかげで、深いが狭いニューラルネットワークに対して、正確な計算が引き続き実行可能であることを示す。
論文 参考訳(メタデータ) (2021-10-28T14:11:07Z) - Mitigating Performance Saturation in Neural Marked Point Processes:
Architectures and Loss Functions [50.674773358075015]
本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。
我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
論文 参考訳(メタデータ) (2021-07-07T16:59:14Z) - Probabilistic Deep Learning with Probabilistic Neural Networks and Deep
Probabilistic Models [0.6091702876917281]
確率論的深層学習には,確率論的ニューラルネットワークと深部確率論的モデルという2つのアプローチを区別する。
確率的ディープラーニング(probabilistic Deep Learning)は、モデル不確実性とデータ不確実性の両方を考慮に入れたディープラーニングである。
論文 参考訳(メタデータ) (2021-05-31T22:13:21Z) - Probabilistic Generating Circuits [50.98473654244851]
効率的な表現のための確率的生成回路(PGC)を提案する。
PGCは、非常に異なる既存モデルを統一する理論的なフレームワークであるだけでなく、現実的なデータをモデル化する大きな可能性も示している。
我々はPCとDPPの単純な組み合わせによって簡単に仮定されない単純なPGCのクラスを示し、一連の密度推定ベンチマークで競合性能を得る。
論文 参考訳(メタデータ) (2021-02-19T07:06:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。