論文の概要: A Compositional Theory of Curvature in Probabilistic Circuits
- arxiv url: http://arxiv.org/abs/2608.12869v1
- Date: Thu, 13 Aug 2026 06:34:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.413193
- Title: A Compositional Theory of Curvature in Probabilistic Circuits
- Title（参考訳）: 確率回路における曲率の構成理論
- Abstract要約: 確率回路(PC)は、正確な推論をサポートする生成モデルである。
最近の研究は、このトレースを世界規模で標準化し、偏見学習をフラットにし、最適化をより一般化している。
シャープネスを大域正規化剤として扱うことは, 曲率が本質的に構成的であるPCに対して不明確であることを示す。
- 参考スコア（独自算出の注目度）: 9.164238097900308
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Probabilistic Circuits (PCs) are generative models that support exact inference and, unlike deep neural networks, admit an exact and tractable measure of loss-surface curvature: the trace of the Hessian of the log-likelihood. Recent work regularizes this trace globally to bias learning toward flatter, better generalizing optima. We show that treating sharpness as a global regularizer can be misspecified for PCs, whose curvature is inherently compositional. We prove that each sum node's contribution to the Hessian trace factorizes exactly into its circuit flow, which measures how heavily the node is used, and a local sharpness term determined by its output distribution. This decomposition provides insights into why global sharpness regularization is depth biased and can lead to underfitting. Building on it, we introduce an adaptive sharpness aware regularizer that penalizes nodes based on intrinsic local curvature and preserves closed form EM updates. We also show that empirically, this targeted regularization recovers the generalization that global regularization sacrifices while retaining the robustness and benefits of sharpness aware learning.
- Abstract（参考訳）: 確率回路(PC)は、正確な推論をサポートする生成モデルであり、深いニューラルネットワークとは異なり、損失面の曲率の正確かつトラクタブルな測定値、すなわちログのようなヘシアンの痕跡を許容する。
最近の研究は、このトレースを世界規模で標準化し、偏見学習をフラットにし、最適化をより一般化している。
シャープネスを大域正規化剤として扱うことは, 曲率が本質的に構成的であるPCに対して不明確であることを示す。
ヘッセントレースに対する各和ノードの寄与は、その回路フローに正確に分解され、ノードがどれだけ頻繁に使用されるか、その出力分布によって決定される局所的シャープネス項が決定される。
この分解は、なぜグローバルなシャープネス正則化が深みに偏りがあり、不適合につながるかについての洞察を与える。
そこで本研究では,固有局所曲率に基づいてノードをペナライズし,閉じた形EM更新を保存する適応シャープネス対応正規化器を提案する。
また,この目標とする正規化が,グローバルな正規化を犠牲にしつつ,シャープネスを意識した学習の堅牢性やメリットを保ちながら,一般化を回復させることを実証的に示す。
関連論文リスト
- Explaining f-Divergence-Based Regularization via Local Curvature and Sharpness-Aware Minimization [7.792020418343022]
多様性に基づく正規化とシャープネス認識最小化(SAM)は、ディープラーニングの一般化を改善するための2つの重要なアプローチである。
この2つの手法はパラメータ空間の摂動の下で局所的に一致していることを示す。
また、分岐に基づく正規化は入力の変換によって定義されることを示す。
論文 参考訳（メタデータ） (2026-09-08T19:01:05Z) - Convex-Hull-Neighborhood Smooth Dual Generalization: Controlling Local Correction Propagation in Offline RL [7.803284875836737]
ブートストラップは オフライン強化学習における 推定誤差を増幅する
本稿では,ベルマンのバックアップをサンプル値のターゲットとして表現し,CHN局所補正を行うConvex Hull Neborhood Smooth Dual Generalizationを提案する。
Gym-MuJoCoとAntMazeの実験は、強力な集約性能と安定した値推定を示す。
論文 参考訳（メタデータ） (2026-08-04T04:30:02Z) - Tailoring Strictly Proper Scoring Rules for Downstream Tasks: An Application to Causal Inference [48.78219918881965]
本稿では,ダウンストリーム誤差メトリックの局所曲率をマッチングすることにより,タスク固有の厳密なスコアリングルールを導出するフレームワークを提案する。
これを平均処理効果 (ATE) 推定に適用し, 閉形式損失と対応する正準確率写像を導出する。
論文 参考訳（メタデータ） (2026-06-02T08:41:25Z) - Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。
NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
論文 参考訳（メタデータ） (2026-05-21T16:45:31Z) - Why Self-Supervised Encoders Want to Be Normal [0.0]
自己教師型エンコーダにおける正規分布の優先性は,インフォメーション・ボトルネック(IB)の原理の直接的な帰結であることを示す。
この枠組みでは、潜在表現は、類似の予測分布を共有する入力のソフトクラスタリングに対応することを示す。
この観点は、広く使われている正規化スキームに対する原則的な説明として、教師付きおよび教師なしの目的を広範囲に統一する。
論文 参考訳（メタデータ） (2026-04-30T11:33:05Z) - Explicit Dropout: Deterministic Regularization for Transformer Architectures [55.09895958546215]
ドロップアウトはディープラーニングにおいて広く使われている正規化手法であるが、その効果は一般的にマスキングによって実現される。
トレーニング損失に直接組み込まれた加算正則化器としてドロップアウトを表現する決定論的定式化を提案する。
論文 参考訳（メタデータ） (2026-04-22T12:45:51Z) - The Inductive Bias of Convolutional Neural Networks: Locality and Weight Sharing Reshape Implicit Regularization [57.37943479039033]
本研究では,勾配降下における安定性現象によって引き起こされる暗黙の正則化に,アーキテクチャ的帰納バイアスがどう影響するかを考察する。
局所性と重量共有が根本的に変化していることが示されています。
論文 参考訳（メタデータ） (2026-03-05T04:50:51Z) - Tractable Sharpness-Aware Learning of Probabilistic Circuits [9.353446248109599]
確率回路(英: Probabilistic Circuits、PC)は、広範囲のクエリに対して正確かつトラクタブルな推論を可能にする生成モデルのクラスである。
近年の進歩により、深層で表現力に富んだPCの学習が可能になったが、この能力の増大は、しばしば過度な適合につながる。
ニューラルネットワークにおけるシャープネス認識の最小化に着想を得て,PCのトレーニングのためのヘッセン系正規化器を提案する。
論文 参考訳（メタデータ） (2025-08-07T16:13:24Z) - Understanding the Generalization Benefit of Normalization Layers:
Sharpness Reduction [36.83448475700536]
正規化層(例えば、バッチ正規化、レイヤ正規化)は、非常に深い網における最適化の難しさを支援するために導入された。
本稿では,正規化が損失面のシャープネスを低減するためにGDを促進することを示唆する数学的解析と実験を行う。
論文 参考訳（メタデータ） (2022-06-14T18:19:05Z) - Implicit Regularization in ReLU Networks with the Square Loss [56.70360094597169]
モデルパラメータの明示的な関数によって、平方損失による暗黙の正規化を特徴付けることは不可能であることを示す。
非線形予測器の暗黙的正規化を理解するためには,より一般的な枠組みが必要であることが示唆された。
論文 参考訳（メタデータ） (2020-12-09T16:48:03Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。