論文の概要: Tractable Regularization of Probabilistic Circuits

• arxiv url: http://arxiv.org/abs/2106.02264v1
• Date: Fri, 4 Jun 2021 05:11:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 14:58:44.191597
• Title: Tractable Regularization of Probabilistic Circuits
• Title（参考訳）: 確率回路のトラクタブル規則化
• Authors: Anji Liu and Guy Van den Broeck
• Abstract要約: 確率回路(PC)は確率的モデリングのための有望な道である。 我々は,PCのトラクタビリティを活かしたデータソフト化とエントロピー正規化という2つの直感的な手法を提案する。 両手法が多種多様なPCの一般化性能を一貫して向上することを示す。
• 参考スコア（独自算出の注目度）: 31.841838579553034
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Probabilistic Circuits (PCs) are a promising avenue for probabilistic modeling. They combine advantages of probabilistic graphical models (PGMs) with those of neural networks (NNs). Crucially, however, they are tractable probabilistic models, supporting efficient and exact computation of many probabilistic inference queries, such as marginals and MAP. Further, since PCs are structured computation graphs, they can take advantage of deep-learning-style parameter updates, which greatly improves their scalability. However, this innovation also makes PCs prone to overfitting, which has been observed in many standard benchmarks. Despite the existence of abundant regularization techniques for both PGMs and NNs, they are not effective enough when applied to PCs. Instead, we re-think regularization for PCs and propose two intuitive techniques, data softening and entropy regularization, that both take advantage of PCs' tractability and still have an efficient implementation as a computation graph. Specifically, data softening provides a principled way to add uncertainty in datasets in closed form, which implicitly regularizes PC parameters. To learn parameters from a softened dataset, PCs only need linear time by virtue of their tractability. In entropy regularization, the exact entropy of the distribution encoded by a PC can be regularized directly, which is again infeasible for most other density estimation models. We show that both methods consistently improve the generalization performance of a wide variety of PCs. Moreover, when paired with a simple PC structure, we achieved state-of-the-art results on 10 out of 20 standard discrete density estimation benchmarks.
• Abstract（参考訳）: 確率回路(PC)は確率的モデリングのための有望な道である。 これらは、確率的グラフィカルモデル(pgms)とニューラルネットワーク(nns)の利点を組み合わせる。 しかしながら、それらは扱いやすい確率モデルであり、マージンやマップのような多くの確率的推論クエリの効率的かつ正確な計算をサポートする。 さらに、pcは構造化計算グラフであるため、ディープラーニングスタイルのパラメータ更新を活用できるため、スケーラビリティが大幅に向上する。 しかし、この革新は、多くの標準ベンチマークで観察されている過度に適合するPCを難しくする。 PGMとNNの両方に豊富な正規化技術が存在するにもかかわらず、PCに適用しても効果は十分ではない。 代わりに,pcの正規化を再考し,データソフトニングとエントロピー正規化という2つの直感的な手法を提案する。 具体的には、データソフトニングは、pcパラメータを暗黙的に規則化するクローズドな形式でデータセットに不確実性を追加する原則的な方法を提供する。 ソフト化されたデータセットからパラメータを学習するには、PCはそのトラクタビリティによって線形時間しか必要としない。 エントロピー正規化では、pcで符号化された分布の正確なエントロピーは直接正規化することができ、他のほとんどの密度推定モデルでは実現不可能である。 両手法が多種多様なPCの一般化性能を一貫して向上することを示す。 さらに、簡単なPC構造と組み合わせることで、20の標準離散密度推定ベンチマークのうち10の最先端結果を得た。

関連論文リスト

• Probabilistically Plausible Counterfactual Explanations with Normalizing Flows [2.675793767640172]
  本稿では,確率論的に妥当な反事実的説明を生成する新しい手法であるPPCEFを提案する。 本手法は, パラメータ分布の特定の族を仮定することなく, 明示密度関数を直接最適化することにより, 精度を向上する。 PPCEFは、機械学習モデルを解釈し、公正性、説明責任、AIシステムの信頼を改善するための強力なツールである。
  論文  参考訳（メタデータ） (2024-05-27T20:24:03Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• HyperSPNs: Compact and Expressive Probabilistic Circuits [89.897635970366]
  HyperSPNsは、小規模のニューラルネットワークを使用して大きなPCの混合重量を生成する新しいパラダイムである。 近年の文献で紹介されている2つの最先端PCファミリーに対する正規化戦略のメリットを示す。
  論文  参考訳（メタデータ） (2021-12-02T01:24:43Z)
• Merging Two Cultures: Deep and Statistical Learning [3.15863303008255]
  深層学習と統計的学習の2つの文化を組み合わせることで、構造化された高次元データに対する洞察が得られる。 モデルの出力層における確率的手法を用いて予測,最適化,不確実性を実現できることを示す。
  論文  参考訳（メタデータ） (2021-10-22T02:57:21Z)
• Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic Regression [51.770998056563094]
  PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。 既存の最先端手法と比較してPGBMの利点を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-03T08:32:13Z)
• MuyGPs: Scalable Gaussian Process Hyperparameter Estimation Using Local Cross-Validation [1.2233362977312945]
  本稿では,新しいGPハイパーパラメータ推定法であるMuyGPを提案する。 MuyGPsは、データの最も近い隣人構造を利用する事前のメソッドの上に構築される。 提案手法は, 解法と予測値の平均二乗誤差の両方において, 既知の競合よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-29T18:10:21Z)
• Probabilistic Generating Circuits [50.98473654244851]
  効率的な表現のための確率的生成回路(PGC)を提案する。 PGCは、非常に異なる既存モデルを統一する理論的なフレームワークであるだけでなく、現実的なデータをモデル化する大きな可能性も示している。 我々はPCとDPPの単純な組み合わせによって簡単に仮定されない単純なPGCのクラスを示し、一連の密度推定ベンチマークで競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-19T07:06:53Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic Circuits [99.59941892183454]
  我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。 中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。 本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-13T23:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。