論文の概要: Tractable Representation Learning with Probabilistic Circuits

• arxiv url: http://arxiv.org/abs/2507.04385v1
• Date: Sun, 06 Jul 2025 13:17:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.153182
• Title: Tractable Representation Learning with Probabilistic Circuits
• Title（参考訳）: 確率回路を用いたトラクタブル表現学習
• Authors: Steven Braun, Sahil Sidheekh, Antonio Vergari, Martin Mundt, Sriraam Natarajan, Kristian Kersting,
• Abstract要約: 確率回路(PC)は、正確かつトラクタブルな推論を可能にする強力な確率的モデルである。 ニューラルネットワークでは支配的だが、PCによる表現学習はいまだに過小評価されている。 我々は,PCのトラクタビリティを活用し,確率的埋め込みを明示的にモデル化する新しいフレームワークであるオートエンコード確率回路(APC)を紹介する。
• 参考スコア（独自算出の注目度）: 30.116247936061395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Probabilistic circuits (PCs) are powerful probabilistic models that enable exact and tractable inference, making them highly suitable for probabilistic reasoning and inference tasks. While dominant in neural networks, representation learning with PCs remains underexplored, with prior approaches relying on external neural embeddings or activation-based encodings. To address this gap, we introduce autoencoding probabilistic circuits (APCs), a novel framework leveraging the tractability of PCs to model probabilistic embeddings explicitly. APCs extend PCs by jointly modeling data and embeddings, obtaining embedding representations through tractable probabilistic inference. The PC encoder allows the framework to natively handle arbitrary missing data and is seamlessly integrated with a neural decoder in a hybrid, end-to-end trainable architecture enabled by differentiable sampling. Our empirical evaluation demonstrates that APCs outperform existing PC-based autoencoding methods in reconstruction quality, generate embeddings competitive with, and exhibit superior robustness in handling missing data compared to neural autoencoders. These results highlight APCs as a powerful and flexible representation learning method that exploits the probabilistic inference capabilities of PCs, showing promising directions for robust inference, out-of-distribution detection, and knowledge distillation.
• Abstract（参考訳）: 確率回路(PC)は、正確かつトラクタブルな推論を可能にする強力な確率的モデルであり、確率的推論や推論タスクに非常に適している。 ニューラルネットワークでは支配的だが、PCによる表現学習は、外部のニューラルネットワークの埋め込みやアクティベーションベースのエンコーディングに頼っている。 このギャップに対処するために,PCのトラクタビリティを活用し,確率的埋め込みを明示的にモデル化する新しいフレームワークであるオートエンコード確率回路(APC)を導入する。 APCは、データと埋め込みを共同でモデル化することでPCを拡張し、抽出可能な確率的推論を通じて埋め込み表現を得る。 PCエンコーダは、任意の欠落したデータをネイティブに扱うことができ、差別化可能なサンプリングによって可能となるハイブリッドなエンドツーエンドのトレーニング可能なアーキテクチャにおいて、ニューラルデコーダとシームレスに統合される。 我々の経験的評価は、APCが既存のPCベースのオートエンコード手法よりも優れた再現性を示し、競合する埋め込みを生成し、ニューラルオートエンコーダと比較して欠落データを扱う上で優れたロバスト性を示す。 これらの結果から,PCの確率的推論能力を活用する強力で柔軟な表現学習手法としてAPCが注目され,ロバスト推論,アウト・オブ・ディストリビューション検出,知識蒸留の有望な方向性を示す。

関連論文リスト

• Probabilistic Circuits with Constraints via Convex Optimization [2.6436521007616114]
  提案手法は,PCと制約の両方を入力とし,制約を満たす新しいPCを出力する。 実証的な評価は、制約とPCの組み合わせには複数のユースケースが存在することを示している。
  論文  参考訳（メタデータ） (2024-03-19T19:55:38Z)
• Pruning-Based Extraction of Descriptions from Probabilistic Circuits [5.322838001065884]
  確率回路を用いて、正にラベル付けされた実例から概念を学習する。 これらの回路は、このタスクに魅力的なトラクタブルモデルを形成するが、ドメインの専門家がそれらを検査し分析することは困難である。 本稿では,学習した確率回路を論理に基づく識別モデルに変換することにより,この問題を解決することを提案する。
  論文  参考訳（メタデータ） (2023-11-22T13:19:45Z)
• Synaptic Sampling of Neural Networks [0.14732811715354452]
  本稿では,重みをBernoulliのコインフリップとして扱うことで,ニューラルネットワークを直接サンプリング可能にする,skANNテクニックについて説明する。
  論文  参考訳（メタデータ） (2023-11-21T22:56:13Z)
• ConvBKI: Real-Time Probabilistic Semantic Mapping Network with Quantifiable Uncertainty [7.537718151195062]
  我々は,不確実な環境でのリアルタイムカラーブラック(>10Hz)セマンティックマッピングのためのモジュール型ニューラルネットワークを開発した。 提案手法は,従来の確率論的アルゴリズムの信頼性と,現代のニューラルネットワークの性能と効率の両立を図っている。
  論文  参考訳（メタデータ） (2023-10-24T17:30:26Z)
• The Predictive Forward-Forward Algorithm [79.07468367923619]
  本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。 我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。 PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
  論文  参考訳（メタデータ） (2023-01-04T05:34:48Z)
• Probabilistic Generating Circuits [50.98473654244851]
  効率的な表現のための確率的生成回路(PGC)を提案する。 PGCは、非常に異なる既存モデルを統一する理論的なフレームワークであるだけでなく、現実的なデータをモデル化する大きな可能性も示している。 我々はPCとDPPの単純な組み合わせによって簡単に仮定されない単純なPGCのクラスを示し、一連の密度推定ベンチマークで競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-19T07:06:53Z)
• General stochastic separation theorems with optimal bounds [68.8204255655161]
  分離性の現象が明らかになり、機械学習で人工知能(AI)システムのエラーを修正し、AI不安定性を分析するために使用された。 エラーやエラーのクラスタは、残りのデータから分離することができる。 AIシステムを修正する能力は、それに対する攻撃の可能性も開き、高次元性は、同じ分離性によって引き起こされる脆弱性を誘発する。
  論文  参考訳（メタデータ） (2020-10-11T13:12:41Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic Circuits [99.59941892183454]
  我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。 中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。 本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-13T23:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。