論文の概要: Optimisation in Neurosymbolic Learning Systems
- arxiv url: http://arxiv.org/abs/2401.10819v1
- Date: Fri, 19 Jan 2024 17:09:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-22 15:09:11.800702
- Title: Optimisation in Neurosymbolic Learning Systems
- Title（参考訳）: ニューロシンボリック学習システムの最適化
- Authors: Emile van Krieken
- Abstract要約: 我々は、記号言語を用いて表現されたデータと背景知識の両方を持つニューロシンボリックラーニングについて研究する。
確率論的推論(probabilistic reasoning)は、ニューラルネットワークに自然に適合する。
私たちの洞察は、確率論的推論の結果を予測するために、合成データでニューラルネットワークをトレーニングすることです。
- 参考スコア（独自算出の注目度）: 1.450405446885067
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neurosymbolic AI aims to integrate deep learning with symbolic AI. This
integration has many promises, such as decreasing the amount of data required
to train a neural network, improving the explainability and interpretability of
answers given by models and verifying the correctness of trained systems. We
study neurosymbolic learning, where we have both data and background knowledge
expressed using symbolic languages. How do we connect the symbolic and neural
components to communicate this knowledge? One option is fuzzy reasoning, which
studies degrees of truth. For example, being tall is not a binary concept.
Instead, probabilistic reasoning studies the probability that something is true
or will happen. Our first research question studies how different forms of
fuzzy reasoning combine with learning. We find surprising results like a
connection to the Raven paradox stating we confirm "ravens are black" when we
observe a green apple. In this study, we did not use the background knowledge
when we deployed our models after training. In our second research question, we
studied how to use background knowledge in deployed models. We developed a new
neural network layer based on fuzzy reasoning. Probabilistic reasoning is a
natural fit for neural networks, which we usually train to be probabilistic.
However, they are expensive to compute and do not scale well to large tasks. In
our third research question, we study how to connect probabilistic reasoning
with neural networks by sampling to estimate averages, while in the final
research question, we study scaling probabilistic neurosymbolic learning to
much larger problems than before. Our insight is to train a neural network with
synthetic data to predict the result of probabilistic reasoning.
- Abstract（参考訳）: Neurosymbolic AIは、ディープラーニングとシンボリックAIを統合することを目指している。
この統合には、ニューラルネットワークのトレーニングに必要なデータ量の削減、モデルによって与えられる答えの説明可能性と解釈可能性の向上、トレーニングされたシステムの正確性検証など、多くの約束がある。
我々は、記号言語を用いて表現されたデータと背景知識の両方を持つニューロシンボリック学習を研究する。
この知識を伝達するために、シンボリックコンポーネントとニューラルコンポーネントをどうやって結合するか?
一つの選択肢は、真理の程度を研究するファジィ推論である。
例えば、背が高いことはバイナリの概念ではない。
その代わり、確率的推論は、何かが真実である、または起こる確率を研究する。
我々の最初の研究は、ファジィ推論の異なる形態が学習とどのように結合するかである。
緑色のリンゴを観察すると、レイヴンパラドックスと接続して「レイヴンが黒い」ことを確認するという驚くべき結果が得られます。
本研究では,トレーニング後にモデルをデプロイしたとき,背景知識は使用しなかった。
第2の研究質問では,デプロイモデルにおけるバックグラウンド知識の利用方法を検討した。
我々はファジィ推論に基づく新しいニューラルネットワーク層を開発した。
確率的推論は、通常確率的になるようにトレーニングされるニューラルネットワークに自然に適合する。
しかし、計算には費用がかかり、大規模なタスクにはスケールしない。
第3の研究質問では、確率的推論とニューラルネットワークをサンプリングして平均値を推定する方法を調査し、最終研究質問では、確率的ニューロシンボリック学習を以前よりもはるかに大きな問題にスケールする方法について研究した。
我々の洞察は、確率的推論の結果を予測するために、合成データでニューラルネットワークを訓練することです。
関連論文リスト
- EXPLAIN, AGREE, LEARN: Scaling Learning for Neural Probabilistic Logic [14.618208661185365]
より複雑なシステムに学習を拡大するためのサンプリングに基づく目的を提案する。
標本数を増大させると消滅する可能性に関して、目的が有界誤差を持つことを証明する。
次に,この目的を用いたEXPLAIN, AGREE, LEARN (EXAL) 手法を開発した。
従来のNeSy法とは対照的に、EXALはエラーに関する理論的保証を維持しながら、より大きな問題サイズにスケールすることができる。
論文 参考訳（メタデータ） (2024-08-15T13:07:51Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - Identifying Interpretable Visual Features in Artificial and Biological
Neural Systems [3.604033202771937]
ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。
多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。
本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
論文 参考訳（メタデータ） (2023-10-17T17:41:28Z) - Utility-Probability Duality of Neural Networks [4.871730595406078]
本稿では,ディープラーニングにおける標準教師あり学習手順に対するユーティリティに基づく代替的説明を提案する。
基本的な考え方は、学習したニューラルネットワークを確率モデルではなく、順序付きユーティリティ関数として解釈することである。
ソフトマックス出力を持つ全てのニューラルネットワークに対して、最大推定値のSGD学習ダイナミクスを反復過程と見なすことができる。
論文 参考訳（メタデータ） (2023-05-24T08:09:07Z) - Brain-inspired Graph Spiking Neural Networks for Commonsense Knowledge
Representation and Reasoning [11.048601659933249]
神経科学、認知科学、心理学、人工知能において、人間の脳におけるニューラルネットワークがどのように常識知識を表現するかは重要な研究トピックである。
本研究は, 個体群エンコーディングとスパイクタイミング依存的可塑性(STDP)機構をスパイクニューラルネットワークの学習に組み込む方法について検討する。
異なるコミュニティのニューロン集団は、コモンセンス知識グラフ全体を構成し、巨大なグラフがニューラルネットワークをスパイクする。
論文 参考訳（メタデータ） (2022-07-11T05:22:38Z) - The mathematics of adversarial attacks in AI -- Why deep learning is
unstable despite the existence of stable neural networks [69.33657875725747]
固定アーキテクチャを用いた分類問題に対するニューラルネットワークのトレーニングに基づくトレーニング手順が,不正確あるいは不安定なニューラルネットワーク(正確であれば)を生み出すことを証明している。
鍵となるのは、安定かつ正確なニューラルネットワークは入力に依存する可変次元を持つ必要があり、特に、可変次元は安定性に必要な条件である。
我々の結果は、正確で安定したニューラルネットワークが存在するというパラドックスを示しているが、現代のアルゴリズムはそれらを計算していない。
論文 参考訳（メタデータ） (2021-09-13T16:19:25Z) - The Causal Neural Connection: Expressiveness, Learnability, and
Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。
本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。
我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文 参考訳（メタデータ） (2021-07-02T01:55:18Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳（メタデータ） (2020-12-07T01:20:38Z) - Extending Answer Set Programs with Neural Networks [2.512827436728378]
ニューラルネットワークを導入することで、応答セットプログラムをシンプルに拡張するNeurASPを提案する。
我々は、NeurASPがトレーニング済みニューラルネットワークの知覚精度を向上できるだけでなく、論理ルールによる制約を与えることで、ニューラルネットワークをより良くトレーニングできることを示した。
論文 参考訳（メタデータ） (2020-09-22T00:52:30Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳（メタデータ） (2020-06-24T02:44:54Z) - A Heterogeneous Graph with Factual, Temporal and Logical Knowledge for
Question Answering Over Dynamic Contexts [81.4757750425247]
動的テキスト環境における質問応答について検討する。
構築したグラフ上にグラフニューラルネットワークを構築し,エンドツーエンドでモデルをトレーニングする。
論文 参考訳（メタデータ） (2020-04-25T04:53:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。