論文の概要: Injecting Logical Constraints into Neural Networks via Straight-Through
Estimators
- arxiv url: http://arxiv.org/abs/2307.04347v1
- Date: Mon, 10 Jul 2023 05:12:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-11 14:10:54.890666
- Title: Injecting Logical Constraints into Neural Networks via Straight-Through
Estimators
- Title(参考訳): ストレートスルー推定器による論理制約のニューラルネットワークへの注入
- Authors: Zhun Yang, Joohyung Lee, Chiyoun Park
- Abstract要約: ニューラルネットワーク学習に離散的な論理的制約を注入することは、ニューロシンボリックAIにおける大きな課題の1つだ。
ニューラルネットワークの学習に論理的制約を組み込むために、バイナリニューラルネットワークをトレーニングするために導入されたストレートスルー推定器が効果的に適用できることがわかった。
- 参考スコア(独自算出の注目度): 5.6613898352023515
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Injecting discrete logical constraints into neural network learning is one of
the main challenges in neuro-symbolic AI. We find that a
straight-through-estimator, a method introduced to train binary neural
networks, could effectively be applied to incorporate logical constraints into
neural network learning. More specifically, we design a systematic way to
represent discrete logical constraints as a loss function; minimizing this loss
using gradient descent via a straight-through-estimator updates the neural
network's weights in the direction that the binarized outputs satisfy the
logical constraints. The experimental results show that by leveraging GPUs and
batch training, this method scales significantly better than existing
neuro-symbolic methods that require heavy symbolic computation for computing
gradients. Also, we demonstrate that our method applies to different types of
neural networks, such as MLP, CNN, and GNN, making them learn with no or fewer
labeled data by learning directly from known constraints.
- Abstract(参考訳): ニューラルネットワーク学習に離散的な論理的制約を注入することは、ニューロシンボリックAIにおける大きな課題の1つだ。
ニューラルネットワークの学習に論理的制約を組み込むために、バイナリニューラルネットワークをトレーニングするために導入されたストレートスルー推定器が効果的に適用できることがわかった。
より具体的には、離散論理制約を損失関数として表現する体系的な方法を設計する;ストレートスルー推定器による勾配降下による損失最小化 この損失最小化は、二元化出力が論理制約を満たす方向にニューラルネットワークの重みを更新する。
実験結果から,GPUとバッチトレーニングを活用することにより,計算勾配の計算に重大なシンボリック計算を必要とする既存のニューロシンボリック手法よりも大幅にスケールすることが示された。
また,本手法は,MLP,CNN,GNNなどの異なるタイプのニューラルネットワークに適用され,既知の制約から直接学習することで,ラベル付きデータのほとんどあるいは少なからぬ学習を可能にする。
関連論文リスト
- Simple and Effective Transfer Learning for Neuro-Symbolic Integration [54.27778591338189]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。
これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。
それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。
本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文 参考訳(メタデータ) (2024-02-21T15:51:01Z) - NeuralFastLAS: Fast Logic-Based Learning from Raw Data [54.938128496934695]
シンボリック・ルール学習者は解釈可能な解を生成するが、入力を記号的に符号化する必要がある。
ニューロシンボリックアプローチは、ニューラルネットワークを使用して生データを潜在シンボリック概念にマッピングすることで、この問題を克服する。
我々は,ニューラルネットワークを記号学習者と共同でトレーニングする,スケーラブルで高速なエンドツーエンドアプローチであるNeuralFastLASを紹介する。
論文 参考訳(メタデータ) (2023-10-08T12:33:42Z) - Neuro-Symbolic Learning of Answer Set Programs from Raw Data [54.56905063752427]
Neuro-Symbolic AIは、シンボリックテクニックの解釈可能性と、生データから学ぶ深層学習の能力を組み合わせることを目的としている。
本稿では,ニューラルネットワークを用いて生データから潜在概念を抽出するNSIL(Neuro-Symbolic Inductive Learner)を提案する。
NSILは表現力のある知識を学習し、計算的に複雑な問題を解き、精度とデータ効率の観点から最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-05-25T12:41:59Z) - Interpretable Fault Diagnosis of Rolling Element Bearings with Temporal
Logic Neural Network [11.830457329372283]
本稿では、時間論理ニューラルネットワーク(TLNN)と呼ばれる新しいニューラルネットワーク構造を提案する。
TLNNは、従来のニューロンネットワークの優れた特性を保ちながら、形式言語で自身を形式的に解釈する。
論文 参考訳(メタデータ) (2022-04-15T11:54:30Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳(メタデータ) (2021-09-29T07:46:54Z) - Reinforcement Learning with External Knowledge by using Logical Neural
Networks [67.46162586940905]
論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。
外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
論文 参考訳(メタデータ) (2021-03-03T12:34:59Z) - Brain-Inspired Learning on Neuromorphic Substrates [5.279475826661643]
本稿では、ニューロモルフィック基板のための実用的なオンライン学習アルゴリズムの設計のための数学的枠組みを提供する。
具体的には、リアルタイムリカレントラーニング(RTRL)と、スパイキングニューラルネットワーク(SNN)をトレーニングするための生物学的に妥当な学習規則との直接的な関連を示す。
我々はブロック対角ジャコビアンに基づくスパース近似を動機付け、アルゴリズムの計算複雑性を低減する。
論文 参考訳(メタデータ) (2020-10-22T17:56:59Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Understanding and mitigating gradient pathologies in physics-informed
neural networks [2.1485350418225244]
この研究は、物理システムの結果を予測し、ノイズの多いデータから隠れた物理を発見するための物理情報ニューラルネットワークの有効性に焦点を当てる。
本稿では,モデル学習中の勾配統計を利用して,複合損失関数の異なる項間の相互作用のバランスをとる学習速度アニーリングアルゴリズムを提案する。
また、そのような勾配に耐性のある新しいニューラルネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-01-13T21:23:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。