論文の概要: SymCircuit: Bayesian Structure Inference for Tractable Probabilistic Circuits via Entropy-Regularized Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2603.20392v1
• Date: Fri, 20 Mar 2026 18:11:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:38.883346
• Title: SymCircuit: Bayesian Structure Inference for Tractable Probabilistic Circuits via Entropy-Regularized Reinforcement Learning
• Title（参考訳）: SymCircuit:エントロピー規則化強化学習によるトラクタブル確率回路のベイズ構造推定
• Abstract要約: 確率回路(PC)構造学習は、非可逆的、局所的最適決定を行う欲求アルゴリズムによって妨げられる。 本研究では,強欲探索をエントロピー正規化強化学習を通じて学習した学習的生成ポリシーに置き換えるSymCircuitを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Probabilistic circuit (PC) structure learning is hampered by greedy algorithms that make irreversible, locally optimal decisions. We propose SymCircuit, which replaces greedy search with a learned generative policy trained via entropy-regularized reinforcement learning. Instantiating the RL-as-inference framework in the PC domain, we show the optimal policy is a tempered Bayesian posterior, recovering the exact posterior when the regularization temperature is set inversely proportional to the dataset size. The policy is implemented as SymFormer, a grammar-constrained autoregressive Transformer with tree-relative self-attention that guarantees valid circuits at every generation step. We introduce option-level REINFORCE, restricting gradient updates to structural decisions rather than all tokens, yielding an SNR (signal to noise ratio) improvement and >10 times sample efficiency gain on the NLTCS dataset. A three-layer uncertainty decomposition (structural via model averaging, parametric via the delta method, leaf via conjugate Dirichlet-Categorical propagation) is grounded in the multilinear polynomial structure of PC outputs. On NLTCS, SymCircuit closes 93% of the gap to LearnSPN; preliminary results on Plants (69 variables) suggest scalability.
• Abstract（参考訳）: 確率回路(PC)構造学習は、非可逆的、局所的最適決定を行う欲求アルゴリズムによって妨げられる。 本研究では,強欲探索をエントロピー正規化強化学習を通じて学習した学習的生成ポリシーに置き換えるSymCircuitを提案する。 PC領域におけるRL-as-inferenceフレームワークを検証した結果、最適ポリシーはベイズ後部であり、正則化温度がデータセットサイズに逆比例して設定されたときの正確な後部を復元する。 このポリシーはSymFormerとして実装されている。SymFormerは文法に制約のある自己回帰変換器で、ツリー相対的な自己アテンションを持ち、各生成ステップで有効な回路を保証する。 オプションレベルのREINFORCEを導入し、すべてのトークンよりも構造決定の勾配更新を制限し、SNRの改善とNLTCSデータセットの10倍のサンプル効率向上を実現した。 PC出力の多線形多項式構造に3層不確かさ分解(構造平均化、デルタ法によるパラメトリック、共役ディリクレ-カテゴリー伝播)を基礎とする。 NLTCSでは、SymCircuitはLearningSPNのギャップの93%を閉じている。

関連論文リスト

• Stable-MM-R1: Anchoring Multimodal Reasoning Dynamics via Entropy-Guided Stratification [19.490862077232205]
  強化学習訓練の安定化を目的としたデータ中心型フレームワークを提案する。 まず、動的にデータをフィルタリングして「蒸留ゾーン」にフォーカスする潜在的クエリマイニング(PAQM)を導入する。 本稿では,Hybrid Stratified Replay(HSR)を提案する。これは,Path Entropyに基づくロールアウトの階層化,ロールアウトレベルの信頼性プロキシ,結果報酬に基づいてバッチを再構成する機構である。
  論文  参考訳（メタデータ） (2026-09-07T07:47:00Z)
• Path Integral Value Matching for Linear Quadratic Stochastic Optimal Control [26.034302137738127]
  現在の最先端のポリシーベースの手法は、計算コストの禁止と不安定さに悩まされている。 経路積分制御(PIC)の再検討による価値に基づくアプローチへのパラダイムシフトを提案する。 この理論的基礎に基づいて,パス積分値マッチング (PI-VM) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-08-11T10:29:49Z)
• Transformers Provably Implement In-Context Reinforcement Learning with Policy Improvement [23.24714915251971]
  コンテクスト内強化学習を行う変換器の能力について検討する。 線形自己注意変換器ブロックは、ポリシー改善手法を確実に実装できることを示す。 ICRL文献における最初の収束保証を確立する。
  論文  参考訳（メタデータ） (2026-05-07T06:50:49Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• Relative Entropy Pathwise Policy Optimization [66.03329137921949]
  そこで本稿では,Q値モデルをオンライントラジェクトリから純粋に訓練するオンラインアルゴリズムを提案する。 安定トレーニングのための制約付き更新と探索のためのポリシを組み合わせる方法を示し、価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。
  論文  参考訳（メタデータ） (2025-07-15T06:24:07Z)
• Modes of Sequence Models and Learning Coefficients [0.6906005491572401]
  変換器ネットワークにおける損失ランドスケープの計測可能な特性とデータ中のパターンをリンクするシーケンスモデリングの幾何学的記述を開発する。 局所学習係数の推定値がデータ依存しきい値以下のモードに無関心であることを理論的に示す。 この洞察は、ネットワークパラメータが人口減少の厳格な最小限ではない場合でも、なぜ信頼できるLLC推定値が得られるのかを明らかにする。
  論文  参考訳（メタデータ） (2025-04-25T03:38:10Z)
• Structural Entropy Guided Probabilistic Coding [52.01765333755793]
  構造エントロピー誘導型確率的符号化モデルSEPCを提案する。 我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。 分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-12T00:37:53Z)
• Complexity-Aware Deep Symbolic Regression with Robust Risk-Seeking Policy Gradients [20.941908494137806]
  本稿では,データ駆動型数式発見の堅牢性と解釈可能性を高めるために,新しい記号回帰手法を提案する。 我々の研究は、データ固有の式生成器の学習に焦点を当てた、一般的なDSRフレームワークと一致しています。
  論文  参考訳（メタデータ） (2024-06-10T19:29:10Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• Distributionally Robust Skeleton Learning of Discrete Bayesian Networks [9.46389554092506]
  我々は、潜在的に破損したデータから一般的な離散ベイズネットワークの正確なスケルトンを学習する問題を考察する。 本稿では,有界ワッサーシュタイン距離(KL)における分布群に対する最も有害なリスクを,経験的分布へのKL分散を最適化することを提案する。 本稿では,提案手法が標準正規化回帰手法と密接に関連していることを示す。
  論文  参考訳（メタデータ） (2023-11-10T15:33:19Z)
• Pessimism in the Face of Confounders: Provably Efficient Offline Reinforcement Learning in Partially Observable Markov Decision Processes [99.26864533035454]
  半可観測マルコフ決定過程におけるオフライン強化学習(RL)について検討する。 本稿では,UnderlineProxy変数 underlinePessimistic UnderlinePolicy UnderlineOptimization (textttP3O)アルゴリズムを提案する。 textttP3Oは、確立されたデータセットを持つPOMDPのための証明可能な最初のオフラインRLアルゴリズムである。
  論文  参考訳（メタデータ） (2022-05-26T19:13:55Z)
• A Hybrid Framework for Sequential Data Prediction with End-to-End Optimization [0.0]
  オンライン環境での非線形予測について検討し,手作業による特徴や手作業によるモデル選択の問題を効果的に緩和するハイブリッドモデルを提案する。 逐次データからの適応的特徴抽出にはLSTM(Recurrent Neural Network)、効果的な教師付き回帰には勾配強化機構(soft GBDT)を用いる。 本稿では, 合成データに対するアルゴリズムの学習挙動と, 各種実生活データセットに対する従来の手法による性能改善について述べる。
  論文  参考訳（メタデータ） (2022-03-25T17:13:08Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。