論文の概要: Soft Learning Probabilistic Circuits

• arxiv url: http://arxiv.org/abs/2403.14504v1
• Date: Thu, 21 Mar 2024 15:56:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 13:29:56.834105
• Title: Soft Learning Probabilistic Circuits
• Title（参考訳）: ソフトラーニング確率回路
• Authors: Soroush Ghandi, Benjamin Quost, Cassio de Campos,
• Abstract要約: 本稿では,PCを学習するための主要なアルゴリズムであるLearnSPNについて述べる。 本研究では,LearnSPNが軽度仮定下での強欲的可能性の最大化であることを示す。 我々はソフトクラスタリングプロセスを用いてPCを誘導するSoftLearnという新しい学習手順を提案する。
• 参考スコア（独自算出の注目度）: 2.6436521007616114
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Probabilistic Circuits (PCs) are prominent tractable probabilistic models, allowing for a range of exact inferences. This paper focuses on the main algorithm for training PCs, LearnSPN, a gold standard due to its efficiency, performance, and ease of use, in particular for tabular data. We show that LearnSPN is a greedy likelihood maximizer under mild assumptions. While inferences in PCs may use the entire circuit structure for processing queries, LearnSPN applies a hard method for learning them, propagating at each sum node a data point through one and only one of the children/edges as in a hard clustering process. We propose a new learning procedure named SoftLearn, that induces a PC using a soft clustering process. We investigate the effect of this learning-inference compatibility in PCs. Our experiments show that SoftLearn outperforms LearnSPN in many situations, yielding better likelihoods and arguably better samples. We also analyze comparable tractable models to highlight the differences between soft/hard learning and model querying.
• Abstract（参考訳）: 確率回路(PC: Probabilistic Circuits)は、様々な正確な推論を可能にする、顕著なトラクタブル確率モデルである。 本稿では,PCを学習するための主要なアルゴリズムであるLearnSPNについて述べる。 本研究では,LearnSPNは軽度仮定下での強欲的可能性の最大化であることを示す。 PC内の推論はクエリの処理に回路構造全体を使用することができるが、LearnSPNはそれらを学習するためにハードメソッドを適用し、各和ノードでハードクラスタリングプロセスのように1つのデータポイントと1つの子供/エッジのみを伝搬する。 我々はソフトクラスタリングプロセスを用いてPCを誘導するSoftLearnという新しい学習手順を提案する。 我々は,PCにおけるこの学習-推論互換性の効果について検討する。 我々の実験は、SoftLearnがLearnSPNよりも多くの状況で優れており、より良い確率と間違いなくより良いサンプルが得られることを示している。 また、ソフト/ハードラーニングとモデルクエリの違いを強調するために、同等のトラクタブルモデルも分析します。

関連論文リスト

• Neural Conditional Probability for Inference [22.951644463554352]
  NCP(Neural Conditional Probability)は,条件分布を学習するための演算子理論的手法である。 ニューラルネットワークの強力な近似能力を活用することで、我々は様々な複雑な確率分布を効率的に扱うことができる。 実験の結果,本手法は単純なマルチ層パーセプトロン(MLP)と2つの隠蔽層とGELUアクティベーションを用いて,先行する手法と一致または一致していることがわかった。
  論文  参考訳（メタデータ） (2024-07-01T10:44:29Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• Provably Efficient Representation Learning with Tractable Planning in Low-Rank POMDP [81.00800920928621]
  部分的に観測可能なマルコフ決定過程(POMDP)における表現学習の研究 まず,不確実性(OFU)に直面した最大推定(MLE)と楽観性を組み合わせた復調性POMDPのアルゴリズムを提案する。 次に、このアルゴリズムをより広範な$gamma$-observable POMDPのクラスで機能させる方法を示す。
  論文  参考訳（メタデータ） (2023-06-21T16:04:03Z)
• Learning in POMDPs is Sample-Efficient with Hindsight Observability [36.66596305441365]
  POMDPは、幅広い意思決定問題を捉えているが、難易度の結果は、学習が本質的に部分観測可能であるため、単純な設定でも難易度が高いことを示唆している。 多くの現実的な問題では、より多くの情報が明らかにされるか、学習プロセスのどこかの時点で計算できる。 我々は、学習者が学習中にのみ潜伏状態を明らかにするPOMDPとして設定(setshort)を定式化する。
  論文  参考訳（メタデータ） (2023-01-31T18:54:36Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• A Theory of Universal Learning [26.51949485387526]
  普遍的な学習の確率は3つしかないことを示す。 任意の概念クラスの学習曲線は指数的あるいは任意に遅い速度で減衰することを示す。
  論文  参考訳（メタデータ） (2020-11-09T15:10:32Z)
• Analyzing Student Strategies In Blended Courses Using Clickstream Data [32.81171098036632]
  パターンマイニングと、自然言語処理から借用したモデルを用いて、学生のインタラクションを理解します。 きめ細かいクリックストリームデータは、非商業的な教育支援システムであるDiderotを通じて収集される。 提案手法は,混合コースの低データ設定においても有意な洞察を得られることが示唆された。
  論文  参考訳（メタデータ） (2020-05-31T03:01:00Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)
• Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic Circuits [99.59941892183454]
  我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。 中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。 本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-13T23:09:15Z)
• User-Level Privacy-Preserving Federated Learning: Analysis and Performance Optimization [77.43075255745389]
  フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。 情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。 サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-29T10:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。