論文の概要: A Mathematical Framework, a Taxonomy of Modeling Paradigms, and a Suite of Learning Techniques for Neural-Symbolic Systems
- arxiv url: http://arxiv.org/abs/2407.09693v1
- Date: Fri, 12 Jul 2024 21:26:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 21:18:20.406188
- Title: A Mathematical Framework, a Taxonomy of Modeling Paradigms, and a Suite of Learning Techniques for Neural-Symbolic Systems
- Title（参考訳）: 数理的枠組み,モデリングパラダイムの分類,およびニューラルシンボリックシステムのための学習技術スイート
- Authors: Charles Dickens, Connor Pryor, Changyu Gao, Alon Albalak, Eriq Augustine, William Wang, Stephen Wright, Lise Getoor,
- Abstract要約: 本稿では,ニューラル・シンボリックエネルギーベースモデル(NeSy-EBMs)を紹介する。
我々はNeSy-EBMを用いて,システムのニューラルシンボリックインタフェースと推論機能に着目したモデリングパラダイムの分類法を開発した。
我々はまた、スケーラビリティと表現性のために設計されたオープンソースのNeSy-EBMライブラリNeuPSL(NeuPSL)についても紹介する。
- 参考スコア（独自算出の注目度）: 22.42431063362667
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The field of Neural-Symbolic (NeSy) systems is growing rapidly. Proposed approaches show great promise in achieving symbiotic unions of neural and symbolic methods. However, each NeSy system differs in fundamental ways. There is a pressing need for a unifying theory to illuminate the commonalities and differences in approaches and enable further progress. In this paper, we introduce Neural-Symbolic Energy-Based Models (NeSy-EBMs), a unifying mathematical framework for discriminative and generative modeling with probabilistic and non-probabilistic NeSy approaches. We utilize NeSy-EBMs to develop a taxonomy of modeling paradigms focusing on a system's neural-symbolic interface and reasoning capabilities. Additionally, we introduce a suite of learning techniques for NeSy-EBMs. Importantly, NeSy-EBMs allow the derivation of general expressions for gradients of prominent learning losses, and we provide four learning approaches that leverage methods from multiple domains, including bilevel and stochastic policy optimization. Finally, we present Neural Probabilistic Soft Logic (NeuPSL), an open-source NeSy-EBM library designed for scalability and expressivity, facilitating real-world application of NeSy systems. Through extensive empirical analysis across multiple datasets, we demonstrate the practical advantages of NeSy-EBMs in various tasks, including image classification, graph node labeling, autonomous vehicle situation awareness, and question answering.
- Abstract（参考訳）: ニューラル・シンボリック・システム(NeSy)の分野は急速に成長している。
提案されたアプローチは、ニューラルおよびシンボリックメソッドの共生結合を達成する上で大きな可能性を示している。
しかし、それぞれのNeSy系は基本的な方法で異なる。
共通点とアプローチの違いを照らし、さらなる進歩を可能にする統一理論が必要である。
本稿では,ニューラル・シンボリックエネルギーベースモデル(NeSy-EBMs)を紹介する。
我々はNeSy-EBMを用いて,システムのニューラルシンボリックインタフェースと推論機能に着目したモデリングパラダイムの分類法を開発した。
さらに,NeSy-EBMの学習手法についても紹介する。
重要なことは、NeSy-EBMは、顕著な学習損失の勾配に対する一般的な表現の導出を可能にし、両レベルおよび確率的ポリシー最適化を含む複数の領域からの手法を活用する4つの学習アプローチを提供する。
最後に、NeSyシステムの現実的な応用を容易にするため、スケーラビリティと表現性のために設計されたオープンソースのNeSy-EBMライブラリであるNeuPSLを提案する。
画像分類,グラフノードラベリング,自動運転車の状況認識,質問応答など,さまざまなタスクにおいて,NeSy-EBMの実用的メリットを示す。
関連論文リスト
- Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳（メタデータ） (2024-02-20T15:23:24Z) - Improving Neural-based Classification with Logical Background Knowledge [0.0]
本稿では,提案する背景知識を用いた教師付きマルチラベル分類のための新しい定式化を提案する。
推論時に意味条件付けと呼ばれる新しいニューロシンボリック手法を導入する。
本稿では、他の2つの一般的なニューロシンボリック技術に対する理論的および実践的優位性について論じる。
論文 参考訳（メタデータ） (2024-02-20T14:01:26Z) - The Role of Foundation Models in Neuro-Symbolic Learning and Reasoning [54.56905063752427]
Neuro-Symbolic AI(NeSy)は、AIシステムの安全なデプロイを保証することを約束している。
ニューラルネットワークとシンボリックコンポーネントを順次トレーニングする既存のパイプラインは、広範なラベリングを必要とする。
新しいアーキテクチャであるNeSyGPTは、生データから象徴的特徴を抽出する視覚言語基盤モデルを微調整する。
論文 参考訳（メタデータ） (2024-02-02T20:33:14Z) - Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。
ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
論文 参考訳（メタデータ） (2024-01-11T18:57:17Z) - Embedding Capabilities of Neural ODEs [0.0]
動的システム理論を用いたニューラルODEの入出力関係について検討する。
我々は,低次元および高次元の異なるニューラルODEアーキテクチャにおける写像の正確な埋め込みについて,いくつかの結果を証明した。
論文 参考訳（メタデータ） (2023-08-02T15:16:34Z) - Extensions to Generalized Annotated Logic and an Equivalent Neural
Architecture [4.855957436171202]
本稿では,ニューロシンボリックシステムに対する望ましい基準のリストを提案し,既存のアプローチのいくつかがこれらの基準にどう対処するかを検討する。
次に、等価なニューラルアーキテクチャの作成を可能にするアノテーション付き一般化論理の拡張を提案する。
トレーニングプロセスの継続的な最適化に依存する従来のアプローチとは異なり、当社のフレームワークは、離散最適化を使用する二項化ニューラルネットワークとして設計されている。
論文 参考訳（メタデータ） (2023-02-23T17:39:46Z) - Gaussian Process Surrogate Models for Neural Networks [6.8304779077042515]
科学と工学において、モデリング(英: modeling)とは、内部プロセスが不透明な複雑なシステムを理解するために用いられる方法論である。
本稿では,ガウス過程を用いたニューラルネットワークの代理モデルのクラスを構築する。
提案手法は,ニューラルネットワークのスペクトルバイアスに関連する既存の現象を捕捉し,サロゲートモデルを用いて現実的な問題を解決することを実証する。
論文 参考訳（メタデータ） (2022-08-11T20:17:02Z) - Reachability Analysis of a General Class of Neural Ordinary Differential
Equations [7.774796410415387]
連続的なディープラーニングモデル(Neural Ordinary Differential Equations (Neural ODEs)と呼ばれる)は、ここ数年でかなりの注目を集めている。
その衝撃にもかかわらず、これらのシステムには公式な分析技術が欠如している。
我々は,それらの行動の形式的分析を可能にする,新しい到達可能性フレームワークを導入する。
論文 参考訳（メタデータ） (2022-07-13T22:05:52Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳（メタデータ） (2022-02-21T18:59:03Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。