論文の概要: Neural-Symbolic Recursive Machine for Systematic Generalization
- arxiv url: http://arxiv.org/abs/2210.01603v1
- Date: Tue, 4 Oct 2022 13:27:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 12:54:46.129932
- Title: Neural-Symbolic Recursive Machine for Systematic Generalization
- Title(参考訳): システム一般化のためのニューラルシンボリック再帰機械
- Authors: Qing Li, Yixin Zhu, Yitao Liang, Ying Nian Wu, Song-Chun Zhu, Siyuan
Huang
- Abstract要約: 本稿では,この障害に対処するためにニューラルシンボリック再帰機械(NSR)を提案する。
NSRは、神経知覚、構文解析、意味推論の類似した別々のモジュールを実装している。
NSRはSCANとPCFGで100%の一般化精度を実現し、HINTの最先端モデルを約23%上回っている。
- 参考スコア(独自算出の注目度): 128.76840341306067
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the tremendous success, existing machine learning models still fall
short of human-like systematic generalization -- learning compositional rules
from limited data and applying them to unseen combinations in various domains.
We propose Neural-Symbolic Recursive Machine (NSR) to tackle this deficiency.
The core representation of NSR is a Grounded Symbol System (GSS) with
combinatorial syntax and semantics, which entirely emerges from training data.
Akin to the neuroscience studies suggesting separate brain systems for
perceptual, syntactic, and semantic processing, NSR implements analogous
separate modules of neural perception, syntactic parsing, and semantic
reasoning, which are jointly learned by a deduction-abduction algorithm. We
prove that NSR is expressive enough to model various sequence-to-sequence
tasks. Superior systematic generalization is achieved via the inductive biases
of equivariance and recursiveness embedded in NSR. In experiments, NSR achieves
state-of-the-art performance in three benchmarks from different domains: SCAN
for semantic parsing, PCFG for string manipulation, and HINT for arithmetic
reasoning. Specifically, NSR achieves 100% generalization accuracy on SCAN and
PCFG and outperforms state-of-the-art models on HINT by about 23%. Our NSR
demonstrates stronger generalization than pure neural networks due to its
symbolic representation and inductive biases. NSR also demonstrates better
transferability than existing neural-symbolic approaches due to less
domain-specific knowledge required.
- Abstract(参考訳): 膨大な成功にもかかわらず、既存の機械学習モデルは、まだ人間のような体系的な一般化には欠かせない -- 限られたデータから構成規則を学習し、さまざまなドメインで目に見えない組み合わせに適用する。
本稿では,この障害に対処するためにニューラルシンボリック再帰機械(NSR)を提案する。
NSRの中核的な表現は、組合せ構文と意味論を備えたグラウンドドシンボルシステム(GSS)であり、完全にトレーニングデータから現れる。
知覚、構文、意味処理のための別個の脳システムを提案する神経科学の研究と同様に、nsrは神経知覚、構文解析、意味推論の類似のモジュールを実装している。
nsrは様々なシーケンスからシーケンスへのタスクをモデル化できるほど表現力が高いことが証明される。
上位の体系的一般化は、NSRに埋め込まれた等式と再帰性の帰納バイアスによって達成される。
実験では、NSRは意味解析のためのSCAN、文字列操作のためのPCFG、算術的推論のためのHINTの3つのベンチマークで最先端のパフォーマンスを達成する。
特に、NSRはSCANとPCFGで100%の一般化精度を達成し、HINTの最先端モデルを約23%上回っている。
我々のNSRは、その象徴的表現と帰納的バイアスにより、純粋なニューラルネットワークよりも強力な一般化を示す。
NSRはまた、ドメイン固有の知識が少ないため、既存のニューラルシンボリックアプローチよりも優れた転送可能性を示す。
関連論文リスト
- Exploring Learned Representations of Neural Networks with Principal
Component Analysis [1.0923877073891446]
ある層では、高い精度の分類には中間的特徴空間分散の20%しか必要としない。
本研究は神経崩壊と相関し, 中間神経崩壊の関連現象の部分的証拠を提供する。
論文 参考訳(メタデータ) (2023-09-27T00:18:25Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - Heterogeneous Recurrent Spiking Neural Network for Spatio-Temporal
Classification [13.521272923545409]
Spi Neural Networksは、人工知能の第3波の脳にインスパイアされた学習モデルとしてしばしば評価される。
本稿では,ビデオ認識タスクのための教師なし学習を用いたヘテロジニアススパイキングニューラルネットワーク(HRSNN)を提案する。
本研究では,時間的バックプロパゲーション訓練による教師付きSNNに類似した性能を実現することができるが,少ない計算量で実現可能であることを示す。
論文 参考訳(メタデータ) (2022-09-22T16:34:01Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳(メタデータ) (2022-09-16T06:36:06Z) - Exploring Hidden Semantics in Neural Networks with Symbolic Regression [4.321067255759366]
NNの数学的表現を発見するために,ニューラルワーク(SRNet)のための新しい記号回帰法を提案する。
この方法は (1+$lambda$) 進化戦略 (MNNCGP-ES) を用いて、NN内の全ての層の最終的な数学的表現を抽出する。
LIMEやMAPLEと比較すると、SRNetは実際のデータセットの実際のモデルを近似する精度と傾向が高い。
論文 参考訳(メタデータ) (2022-04-22T06:47:56Z) - SyGNS: A Systematic Generalization Testbed Based on Natural Language
Semantics [39.845425535943534]
自然言語セマンティックス(SyGNS)に基づく体系的一般化テストベッドを提案する。
ニューラルネットワークが、量化子や否定といった論理式の新しい組み合わせを含む文を体系的に解析できるかどうかを検証する。
実験により、Transformer と GRU モデルは、与えられたトレーニングインスタンスの形式に類似しているが、他のモデルには似ていない量化器、否定器、修飾器の組み合わせに一般化できることが示された。
論文 参考訳(メタデータ) (2021-06-02T11:24:41Z) - Exploiting Heterogeneity in Operational Neural Networks by Synaptic
Plasticity [87.32169414230822]
最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。
本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。
高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
論文 参考訳(メタデータ) (2020-08-21T19:03:23Z) - Compositional Generalization via Neural-Symbolic Stack Machines [99.79811868836248]
合成一般化における制限に対処するためのNear-Symbolic Stack Machine (NeSS)を提案する。
NeSSは、ニューラルネットワークモデルの表現力と、シンボリックスタックマシンが支持する再帰を結合する。
NeSSは4つの領域で100%の一般化性能を達成する。
論文 参考訳(メタデータ) (2020-08-15T06:23:20Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。