論文の概要: The Expressivity Boundary of Probabilistic Circuits: A Comparison with Large Language Models

• arxiv url: http://arxiv.org/abs/2605.12940v1
• Date: Wed, 13 May 2026 03:22:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.783016
• Title: The Expressivity Boundary of Probabilistic Circuits: A Comparison with Large Language Models
• Title（参考訳）: 確率回路の表現性境界:大規模言語モデルとの比較
• Authors: Zhiyu Zhao, Xuejie Liu, Muhan Zhang, Anji Liu,
• Abstract要約: 自己回帰型言語モデリングにおいて、確率回路(PC)はTransformer-based large language model(LLM)より遅れている 構造化分解可能なPCは, 変圧器分離ランクをvtree整列パーティションに合わせることができるが, この容量は固定されたルーティング構造に整列したパーティションに限られる。 さらに、分解可能なPCは構造化された分解可能なPCよりも厳密に表現可能であることを証明していますが、効果的に最適化することはオープンな課題です。
• 参考スコア（独自算出の注目度）: 49.67598869075125
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Probabilistic Circuits (PCs) are deep generative models that support exact and efficient probabilistic inference. Yet in autoregressive language modeling, PCs still lag behind Transformer-based large language models (LLMs), suggesting an important expressivity gap. In this work, we compare PCs and LLMs under a unified autoregressive formulation. First, an output bottleneck: PCs parameterize predictions as convex combinations in probability space, which struggles to represent the sharp distributions typical of language; adopting a logit-space parameterization substantially narrows this gap. Second, a context-encoding bottleneck: we prove that structured-decomposable PCs can match Transformer separation rank on vtree-aligned partitions, but show, both theoretically and empirically, that this capacity is limited to partitions aligned with the fixed routing structure, leading to severe degradation when the data exhibits heterogeneous dependency topologies. We further prove that decomposable PCs are strictly more expressive than structured-decomposable ones, though effectively optimizing them remains an open challenge.
• Abstract（参考訳）: 確率回路(PC)は、正確かつ効率的な確率的推論をサポートする深層生成モデルである。 しかし、自動回帰言語モデリングでは、PCはトランスフォーマーベースの大規模言語モデル(LLM)より遅れており、重要な表現力のギャップを示唆している。 本研究では,PC と LLM を統合自己回帰式で比較する。 第一に、出力ボトルネック:PCは確率空間における凸結合として予測をパラメータ化し、言語に典型的な鋭い分布を表現するのに苦労する。 第2に、構造化分解可能なPCは、vtree-alignedパーティション上のトランスフォーマー分離ランクと一致することを証明しますが、理論的にも経験的にも、この容量は固定されたルーティング構造に沿ったパーティションに限られており、データが不均一な依存トポロジーを示す場合、大幅に劣化することを示す。 さらに、分解可能なPCは構造化された分解可能なPCよりも厳密に表現可能であることを証明していますが、効果的に最適化することはオープンな課題です。

関連論文リスト

• Breaking the Factorization Barrier in Diffusion Language Models [59.946071582340146]
  ベクトル化障壁」は拡散言語モデルの効率的な並列生成を妨げる。 完全分解出力分布を置き換えるための結合離散拡散法を提案する。 我々は, CoDD が多種多様な言語モデルアーキテクチャをシームレスに拡張し, オーバーヘッドを無視できることを示した。
  論文  参考訳（メタデータ） (2026-02-09T08:36:39Z)
• Scaling Probabilistic Circuits via Monarch Matrices [109.65822339230853]
  確率回路(PC)は確率分布の抽出可能な表現である。 そこで本研究では,PCの和ブロックに対する新しいスパースパラメータと構造化パラメータ化を提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:39:15Z)
• On the Hardness of Approximating Distributions with Tractable Probabilistic Models [2.9726600487327093]
  本稿では,$f$-divergencesに基づく確率回路を用いた近似分布について検討する。 任意の分布を有界$f$-divergenceで近似することは任意のモデルに対して$mathsfNP$-hardであることを示す。
  論文  参考訳（メタデータ） (2025-06-02T03:35:07Z)
• Structural Entropy Guided Probabilistic Coding [52.01765333755793]
  構造エントロピー誘導型確率的符号化モデルSEPCを提案する。 我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。 分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-12T00:37:53Z)
• Sum of Squares Circuits [8.323409122604893]
  確率回路(PC)は、このトラクタビリティvs表現性トレードオフを理論的に分析できる枠組みを提供する。 負のパラメータによる減算混合を符号化する正方形PCは単調PCよりも指数関数的に表現可能であることを示す。 我々は、二乗PCと単調PCの両方よりも指数関数的に表現できる新しい種類のPCを定式化する。
  論文  参考訳（メタデータ） (2024-08-21T17:08:05Z)
• HyperSPNs: Compact and Expressive Probabilistic Circuits [89.897635970366]
  HyperSPNsは、小規模のニューラルネットワークを使用して大きなPCの混合重量を生成する新しいパラダイムである。 近年の文献で紹介されている2つの最先端PCファミリーに対する正規化戦略のメリットを示す。
  論文  参考訳（メタデータ） (2021-12-02T01:24:43Z)
• Probabilistic Generating Circuits [50.98473654244851]
  効率的な表現のための確率的生成回路(PGC)を提案する。 PGCは、非常に異なる既存モデルを統一する理論的なフレームワークであるだけでなく、現実的なデータをモデル化する大きな可能性も示している。 我々はPCとDPPの単純な組み合わせによって簡単に仮定されない単純なPGCのクラスを示し、一連の密度推定ベンチマークで競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-19T07:06:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。