論文の概要: EM-NeSy: Expectation Maximization for Neurosymbolic Learning
- arxiv url: http://arxiv.org/abs/2606.14463v1
- Date: Fri, 12 Jun 2026 13:54:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 16:00:42.920847
- Title: EM-NeSy: Expectation Maximization for Neurosymbolic Learning
- Title(参考訳): EM-NeSy:ニューロシンボリックラーニングへの期待の最大化
- Authors: Annegret Seibt, Luc De Raedt, Giuseppe Marra,
- Abstract要約: EM-NeSyは期待最大化アルゴリズムの例として確率的NeSyをキャストする。
これによりNeSyは、シンボリックコンポーネントのさらなる変更や微分可能性の要求なしに、自然に近似推論に拡張できる。
- 参考スコア(独自算出の注目度): 24.952866206036532
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neurosymbolic (NeSy) models integrate neural networks and symbolic reasoning for robust and interpretable AI. State-of-the-art NeSy models require that the symbolic component is expressed in a differentiable way, often complicating the use of approximate inference. We propose EM-NeSy which casts probabilistic NeSy learning as an instance of the Expectation-Maximization (EM) algorithm. In the expectation step, we compute the posterior over the neurally predicted symbols conditioned on the label via probabilistic inference. In the maximization step, we update the neural parameters based on this posterior using gradient descent only through the neural component. This formulation unlocks the full potential of the EM algorithm for NeSy learning. It allows NeSy to extend naturally to approximate reasoning without any additional modifications or differentiability requirements of the symbolic component. Furthermore, it recovers the standard end-to-end gradient-based NeSy setting under exact inference. Our experimental results demonstrate the scalability and computational efficiency of EM-NeSy.
- Abstract(参考訳): ニューロシンボリック(NeSy)モデルは、堅牢で解釈可能なAIのためのニューラルネットワークとシンボリック推論を統合する。
最先端のNeSyモデルは、記号成分が微分可能な方法で表現され、しばしば近似推論の使用を複雑にする。
本稿では,予測最大化(EM)アルゴリズムの例として,確率論的NeSy学習を例に挙げるEM-NeSyを提案する。
予測ステップでは、確率的推論によりラベルに条件付けられたニューラルネットワークで予測されたシンボルの後方を計算する。
最大化ステップでは、神経成分を通してのみ勾配降下を用いて、この後部に基づいて神経パラメータを更新する。
この定式化は、NeSy学習のためのEMアルゴリズムの全潜在性を解放する。
これによりNeSyは、シンボリックコンポーネントのさらなる変更や微分可能性の要求なしに、自然に近似推論に拡張できる。
さらに、正確な推論で標準のエンドツーエンド勾配ベースのNeSy設定を復元する。
実験によりEM-NeSyのスケーラビリティと計算効率を実証した。
関連論文リスト
- On the Hardness of Probabilistic Neurosymbolic Learning [10.180468225166441]
ニューロシンボリックモデルにおける確率的推論の微分の複雑さについて検討する。
モデルサンプリングに基づく非バイアス勾配推定器WeightMEを紹介する。
我々の実験は、まだ正確な解が可能である場合でも、既存の偏差近似は最適化に苦慮していることを示している。
論文 参考訳(メタデータ) (2024-06-06T19:56:33Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳(メタデータ) (2024-04-18T16:46:08Z) - The Role of Foundation Models in Neuro-Symbolic Learning and Reasoning [54.56905063752427]
Neuro-Symbolic AI(NeSy)は、AIシステムの安全なデプロイを保証することを約束している。
ニューラルネットワークとシンボリックコンポーネントを順次トレーニングする既存のパイプラインは、広範なラベリングを必要とする。
新しいアーキテクチャであるNeSyGPTは、生データから象徴的特徴を抽出する視覚言語基盤モデルを微調整する。
論文 参考訳(メタデータ) (2024-02-02T20:33:14Z) - A-NeSI: A Scalable Approximate Method for Probabilistic Neurosymbolic
Inference [11.393328084369783]
近年、DeepProbLogのような確率的ニューロシンボリックラーニング(PNL)のためのフレームワークが指数時間正確な推論を行う。
近似推論にスケーラブルなニューラルネットワークを用いるPNLの新しいフレームワークである近似ニューロシンボリック推論(A-NeSI)を紹介する。
論文 参考訳(メタデータ) (2022-12-23T15:24:53Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳(メタデータ) (2021-09-29T07:46:54Z) - Bayesian Neural Ordinary Differential Equations [0.9422623204346027]
Neural ODEs と Bayesian 推論フレームワークの統合が成功したことを実証します。
10,000枚の画像のテストアンサンブルで、後部のサンプル精度を98.5%達成します。
これにより、不確実性の確率的推定のための科学的機械学習ツールが提供される。
論文 参考訳(メタデータ) (2020-12-14T04:05:26Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。
トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。
しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文 参考訳(メタデータ) (2020-02-22T22:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。