論文の概要: On the Hardness of Probabilistic Neurosymbolic Learning
- arxiv url: http://arxiv.org/abs/2406.04472v1
- Date: Thu, 6 Jun 2024 19:56:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-10 18:07:23.127827
- Title: On the Hardness of Probabilistic Neurosymbolic Learning
- Title（参考訳）: 確率論的ニューロシンボリック学習の硬さについて
- Authors: Jaron Maene, Vincent Derkinderen, Luc De Raedt,
- Abstract要約: ニューロシンボリックモデルにおける確率的推論の微分の複雑さについて検討する。
モデルサンプリングに基づく非バイアス勾配推定器WeightMEを紹介する。
我々の実験は、まだ正確な解が可能である場合でも、既存の偏差近似は最適化に苦慮していることを示している。
- 参考スコア（独自算出の注目度）: 10.180468225166441
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The limitations of purely neural learning have sparked an interest in probabilistic neurosymbolic models, which combine neural networks with probabilistic logical reasoning. As these neurosymbolic models are trained with gradient descent, we study the complexity of differentiating probabilistic reasoning. We prove that although approximating these gradients is intractable in general, it becomes tractable during training. Furthermore, we introduce WeightME, an unbiased gradient estimator based on model sampling. Under mild assumptions, WeightME approximates the gradient with probabilistic guarantees using a logarithmic number of calls to a SAT solver. Lastly, we evaluate the necessity of these guarantees on the gradient. Our experiments indicate that the existing biased approximations indeed struggle to optimize even when exact solving is still feasible.
- Abstract（参考訳）: 純粋にニューラルネットワークの限界は、確率論的論理的推論とニューラルネットワークを組み合わせた確率論的ニューロシンボリックモデルへの関心を喚起した。
これらのニューロシンボリックモデルは勾配降下で訓練されるので、確率論的推論を区別する複雑さについて研究する。
これらの勾配の近似は一般には難解であるが、訓練中は難解になる。
さらに,モデルサンプリングに基づく非バイアス勾配推定器WeightMEを導入する。
軽微な仮定の下で、WeightMEはSATソルバへの対数的な呼び出し数を用いて確率的保証と勾配を近似する。
最後に、これらの保証の必要性を勾配で評価する。
我々の実験は、まだ正確な解が可能である場合でも、既存の偏差近似は最適化に苦慮していることを示している。
関連論文リスト
- Non-asymptotic convergence analysis of the stochastic gradient
Hamiltonian Monte Carlo algorithm with discontinuous stochastic gradient with
applications to training of ReLU neural networks [8.058385158111207]
我々は、勾配ハミルトニアンモンテカルロのWasserstein-1 と Wasserstein-2 距離の目標測度への収束の非漸近解析を提供する。
本研究の主な成果を説明するために、定量推定に関する数値実験と、金融と人工知能に関連するReLUニューラルネットワークに関わるいくつかの問題について考察する。
論文 参考訳（メタデータ） (2024-09-25T17:21:09Z) - Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。
これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文 参考訳（メタデータ） (2023-06-06T19:02:57Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳（メタデータ） (2023-02-28T00:04:22Z) - Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。
我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。
対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
論文 参考訳（メタデータ） (2023-02-10T08:05:19Z) - Learning a Single Neuron with Bias Using Gradient Descent [53.15475693468925]
単一ニューロンをバイアス項で学習する基本的な問題について検討する。
これはバイアスのないケースとは大きく異なり、より難しい問題であることを示す。
論文 参考訳（メタデータ） (2021-06-02T12:09:55Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳（メタデータ） (2020-10-27T17:56:14Z) - A Deterministic Approximation to Neural SDEs [38.23826389188657]
本研究では,NSDEから精度の高い不確実性推定値を取得することは,計算的に禁止されていることを示す。
我々は、遷移カーネルを正確に近似する計算的に手頃な決定論的スキームを開発する。
また,決定論的学習の数値的安定性により予測精度も向上する。
論文 参考訳（メタデータ） (2020-06-16T08:00:26Z) - Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。
そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。
勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文 参考訳（メタデータ） (2020-06-04T21:51:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。