論文の概要: Tractable Sharpness-Aware Learning of Probabilistic Circuits

• arxiv url: http://arxiv.org/abs/2508.05537v1
• Date: Thu, 07 Aug 2025 16:13:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-08 18:59:39.952026
• Title: Tractable Sharpness-Aware Learning of Probabilistic Circuits
• Title（参考訳）: トラクタブルシャープネス-確率回路の学習
• Authors: Hrithik Suresh, Sahil Sidheekh, Vishnu Shreeram M. P, Sriraam Natarajan, Narayanan C. Krishnan,
• Abstract要約: 確率回路(英: Probabilistic Circuits、PC)は、広範囲のクエリに対して正確かつトラクタブルな推論を可能にする生成モデルのクラスである。 近年の進歩により、深層で表現力に富んだPCの学習が可能になったが、この能力の増大は、しばしば過度な適合につながる。 ニューラルネットワークにおけるシャープネス認識の最小化に着想を得て,PCのトレーニングのためのヘッセン系正規化器を提案する。
• 参考スコア（独自算出の注目度）: 9.353446248109599
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Probabilistic Circuits (PCs) are a class of generative models that allow exact and tractable inference for a wide range of queries. While recent developments have enabled the learning of deep and expressive PCs, this increased capacity can often lead to overfitting, especially when data is limited. We analyze PC overfitting from a log-likelihood-landscape perspective and show that it is often caused by convergence to sharp optima that generalize poorly. Inspired by sharpness aware minimization in neural networks, we propose a Hessian-based regularizer for training PCs. As a key contribution, we show that the trace of the Hessian of the log-likelihood-a sharpness proxy that is typically intractable in deep neural networks-can be computed efficiently for PCs. Minimizing this Hessian trace induces a gradient-norm-based regularizer that yields simple closed-form parameter updates for EM, and integrates seamlessly with gradient based learning methods. Experiments on synthetic and real-world datasets demonstrate that our method consistently guides PCs toward flatter minima, improves generalization performance.
• Abstract（参考訳）: 確率回路(英: Probabilistic Circuits、PC)は、広範囲のクエリに対して正確かつトラクタブルな推論を可能にする生成モデルのクラスである。 近年の進歩により、深層・表現力のあるPCの学習が可能になったが、この能力の増大は、特にデータが限られている場合、過度な適合につながることがしばしばある。 ログに類似したランドスケープの観点からPCオーバーフィッティングを解析し、しばしば最適化が不十分なシャープな最適化への収束によって引き起こされることを示す。 ニューラルネットワークにおけるシャープネス認識の最小化に着想を得て,PCをトレーニングするためのヘッセン系正規化器を提案する。 重要なコントリビューションとして、ディープニューラルネットワークで一般的に引き起こされるシャープネスプロキシのHessianのトレースが、PC上で効率的に計算可能であることを示す。 このヘシアントレースの最小化は勾配ノルムベースの正規化器を誘導し、EMに対して単純な閉形式パラメーターを更新し、勾配に基づく学習手法とシームレスに統合する。 合成および実世界のデータセットを用いた実験により,PCをフラットなミニマへ一貫した誘導を行うことで,一般化性能が向上することが示された。

関連論文リスト

• CR-SAM: Curvature Regularized Sharpness-Aware Minimization [8.248964912483912]
  Sharpness-Aware Minimization (SAM) は,1段階の勾配上昇を近似として,最悪のケース損失を最小限に抑え,一般化性を高めることを目的としている。 本稿では,トレーニングとテストセットの両面における損失景観の曲率を正確に測定する正規化ヘッセントレースを提案する。 特に、損失景観の過度な非線形性に対抗するために、曲率正規化SAM(CR-SAM)を提案する。
  論文  参考訳（メタデータ） (2023-12-21T03:46:29Z)
• Curvature-Sensitive Predictive Coding with Approximate Laplace Monte Carlo [1.1470070927586016]
  予測符号化(PC: Predictive coding)は、現在、脳における支配的な計算理論の1つとなっている。 それにもかかわらず、彼らは機械学習の幅広い分野への輸出をほとんど楽しんだ。 これは、PCでトレーニングされたモデルの性能が、サンプルの品質と限界確率の両方で評価されているためである。
  論文  参考訳（メタデータ） (2023-03-09T01:29:58Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Analytically Tractable Bayesian Deep Q-Learning [0.0]
  我々は時間差Q-ラーニングフレームワークを適応させ、抽出可能な近似ガウス推論(TAGI)と互換性を持たせる。 我々は,TAGIがバックプロパゲーション学習ネットワークに匹敵する性能に到達できることを実証した。
  論文  参考訳（メタデータ） (2021-06-21T13:11:52Z)
• Low-memory stochastic backpropagation with multi-channel randomized trace estimation [6.985273194899884]
  ニューラルネットワークにおける畳み込み層の勾配を多チャンネルランダム化トレース推定手法を用いて近似する。 他の手法と比較して、このアプローチは単純で分析に適しており、メモリフットプリントを大幅に削減する。 本稿では、バックプロパゲーションでトレーニングしたネットワークの性能と、メモリ使用量の最大化と計算オーバーヘッドの最小化を図りながら、エラーを制御する方法について論じる。
  論文  参考訳（メタデータ） (2021-06-13T13:54:02Z)
• Deep learning: a statistical viewpoint [120.94133818355645]
  ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。 特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。 我々はこれらの現象を具体的原理で補うと推測する。
  論文  参考訳（メタデータ） (2021-03-16T16:26:36Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• Einsum Networks: Fast and Scalable Learning of Tractable Probabilistic Circuits [99.59941892183454]
  我々は,PC用の新しい実装設計であるEinsum Networks (EiNets)を提案する。 中心となるのは、E EiNets は単一のモノリシックな einsum-operation に多数の算術演算を組み合わせている。 本稿では,PCにおける予測最大化(EM)の実装を,自動微分を利用した簡易化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-13T23:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。