論文の概要: Scaling Probabilistic Circuits via Monarch Matrices

• arxiv url: http://arxiv.org/abs/2506.12383v1
• Date: Sat, 14 Jun 2025 07:39:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:46.002566
• Title: Scaling Probabilistic Circuits via Monarch Matrices
• Title（参考訳）: モナーキ行列による確率回路のスケーリング
• Authors: Honghua Zhang, Meihua Dang, Benjie Wang, Stefano Ermon, Nanyun Peng, Guy Van den Broeck,
• Abstract要約: 確率回路(PC)は確率分布の抽出可能な表現である。 そこで本研究では,PCの和ブロックに対する新しいスパースパラメータと構造化パラメータ化を提案する。
• 参考スコア（独自算出の注目度）: 109.65822339230853
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Probabilistic Circuits (PCs) are tractable representations of probability distributions allowing for exact and efficient computation of likelihoods and marginals. Recent advancements have improved the scalability of PCs either by leveraging their sparse properties or through the use of tensorized operations for better hardware utilization. However, no existing method fully exploits both aspects simultaneously. In this paper, we propose a novel sparse and structured parameterization for the sum blocks in PCs. By replacing dense matrices with sparse Monarch matrices, we significantly reduce the memory and computation costs, enabling unprecedented scaling of PCs. From a theory perspective, our construction arises naturally from circuit multiplication; from a practical perspective, compared to previous efforts on scaling up tractable probabilistic models, our approach not only achieves state-of-the-art generative modeling performance on challenging benchmarks like Text8, LM1B and ImageNet, but also demonstrates superior scaling behavior, achieving the same performance with substantially less compute as measured by the number of floating-point operations (FLOPs) during training.
• Abstract（参考訳）: 確率回路(PC)は確率分布の抽出可能な表現であり、確率と限界の正確かつ効率的な計算を可能にする。 近年のPCのスケーラビリティ向上は、そのスパース特性を活用するか、ハードウェア利用を改善するためにテンソル化操作を使用することによって実現されている。 しかし、両方の側面を同時に活用する既存の手法は存在しない。 本稿では,PCの和ブロックに対する新しいスパースと構造化パラメータ化を提案する。 密度の高い行列をスパースなモナール行列に置き換えることで、メモリと計算コストを大幅に削減し、PCの前例のないスケーリングを可能にした。 提案手法は,演算可能確率モデルのスケールアップに対する従来の取り組みと比較して,Text8,LM1B,ImageNetなどの挑戦的なベンチマーク上での最先端な生成モデリング性能を実現するだけでなく,学習中の浮動小数点演算(FLOP)の数で測定された計算量とほぼ同等の性能で,優れたスケーリング挙動を示す。

関連論文リスト

• Low-Bit Integerization of Vision Transformers using Operand Reodering for Efficient Hardware [0.7136205674624813]
  計算グラフを解析し,演算再順序付けに基づく整数化プロセスを提案する。 これにより、量子化入力を直接処理することで、整数化行列乗法と線形加群が実現される。 実験結果から, 線形層と行列乗算のPE当たりの消費電力は, 低ビット推論により減少することがわかった。
  論文  参考訳（メタデータ） (2025-04-11T16:09:54Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• Compute Better Spent: Replacing Dense Layers with Structured Matrices [77.61728033234233]
  画像領域における畳み込みネットワークの成功が示すように、高密度行列に対するより効率的な代替手段を同定する。 異なる構造は、しばしばパフォーマンスに不可欠な、非常に異なる初期化尺度と学習率を必要とする。 本稿では,モナール行列を含む新しい行列族Block-Trainを提案する。
  論文  参考訳（メタデータ） (2024-06-10T13:25:43Z)
• Randomized Polar Codes for Anytime Distributed Machine Learning [66.46612460837147]
  本稿では,低速な計算ノードに対して堅牢で,線形演算の近似計算と精度の両立が可能な分散コンピューティングフレームワークを提案する。 本稿では,復号化のための計算複雑性を低く保ちながら,実数値データを扱うための逐次復号アルゴリズムを提案する。 大規模行列乗算やブラックボックス最適化など,様々な文脈において,このフレームワークの潜在的な応用を実証する。
  論文  参考訳（メタデータ） (2023-09-01T18:02:04Z)
• Efficient Inference via Universal LSH Kernel [35.22983601434134]
  本稿では,単純なハッシュ計算と集約で推論手順を近似できる数列の簡潔な集合である,数学的に証明可能なRepresenter Sketchを提案する。 Representer Sketchは、カーネル文学から人気のあるRepresenter Theoremの上に構築されている。 本研究では,Representer Sketchによるストレージ要件の最大114倍,複雑性の最大59倍を精度の低下なく達成できることを示す。
  論文  参考訳（メタデータ） (2021-06-21T22:06:32Z)
• Tractable Regularization of Probabilistic Circuits [31.841838579553034]
  確率回路(PC)は確率的モデリングのための有望な道である。 我々は,PCのトラクタビリティを活かしたデータソフト化とエントロピー正規化という2つの直感的な手法を提案する。 両手法が多種多様なPCの一般化性能を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2021-06-04T05:11:13Z)
• Memristive Stochastic Computing for Deep Learning Parameter Optimization [1.6344851071810071]
  コンピューティング(sc)は、ビットストリームとデジタルロジックを用いた様々な演算処理の低コストかつ低消費電力化を可能にするコンピューティングパラダイムである。 40nmの補完金属酸化物半導体(CMOS)プロセスを使用することで、拡張可能なアーキテクチャは1.55mm$2$を占め、文字認識タスクのために訓練されている間、畳み込みニューラルネットワーク(CNN)のパラメータを最適化する際に約167$mu$Wを消費します。
  論文  参考訳（メタデータ） (2021-03-11T07:10:32Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic Circuits [99.59941892183454]
  我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。 中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。 本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-13T23:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。