論文の概要: Neural-Symbolic Recursive Machine for Systematic Generalization

• arxiv url: http://arxiv.org/abs/2210.01603v1
• Date: Tue, 4 Oct 2022 13:27:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 12:54:46.129932
• Title: Neural-Symbolic Recursive Machine for Systematic Generalization
• Title（参考訳）: システム一般化のためのニューラルシンボリック再帰機械
• Authors: Qing Li, Yixin Zhu, Yitao Liang, Ying Nian Wu, Song-Chun Zhu, Siyuan Huang
• Abstract要約: 本稿では,この障害に対処するためにニューラルシンボリック再帰機械(NSR)を提案する。 NSRは、神経知覚、構文解析、意味推論の類似した別々のモジュールを実装している。 NSRはSCANとPCFGで100%の一般化精度を実現し、HINTの最先端モデルを約23%上回っている。
• 参考スコア（独自算出の注目度）: 128.76840341306067
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the tremendous success, existing machine learning models still fall short of human-like systematic generalization -- learning compositional rules from limited data and applying them to unseen combinations in various domains. We propose Neural-Symbolic Recursive Machine (NSR) to tackle this deficiency. The core representation of NSR is a Grounded Symbol System (GSS) with combinatorial syntax and semantics, which entirely emerges from training data. Akin to the neuroscience studies suggesting separate brain systems for perceptual, syntactic, and semantic processing, NSR implements analogous separate modules of neural perception, syntactic parsing, and semantic reasoning, which are jointly learned by a deduction-abduction algorithm. We prove that NSR is expressive enough to model various sequence-to-sequence tasks. Superior systematic generalization is achieved via the inductive biases of equivariance and recursiveness embedded in NSR. In experiments, NSR achieves state-of-the-art performance in three benchmarks from different domains: SCAN for semantic parsing, PCFG for string manipulation, and HINT for arithmetic reasoning. Specifically, NSR achieves 100% generalization accuracy on SCAN and PCFG and outperforms state-of-the-art models on HINT by about 23%. Our NSR demonstrates stronger generalization than pure neural networks due to its symbolic representation and inductive biases. NSR also demonstrates better transferability than existing neural-symbolic approaches due to less domain-specific knowledge required.
• Abstract（参考訳）: 膨大な成功にもかかわらず、既存の機械学習モデルは、まだ人間のような体系的な一般化には欠かせない -- 限られたデータから構成規則を学習し、さまざまなドメインで目に見えない組み合わせに適用する。 本稿では,この障害に対処するためにニューラルシンボリック再帰機械(NSR)を提案する。 NSRの中核的な表現は、組合せ構文と意味論を備えたグラウンドドシンボルシステム(GSS)であり、完全にトレーニングデータから現れる。 知覚、構文、意味処理のための別個の脳システムを提案する神経科学の研究と同様に、nsrは神経知覚、構文解析、意味推論の類似のモジュールを実装している。 nsrは様々なシーケンスからシーケンスへのタスクをモデル化できるほど表現力が高いことが証明される。 上位の体系的一般化は、NSRに埋め込まれた等式と再帰性の帰納バイアスによって達成される。 実験では、NSRは意味解析のためのSCAN、文字列操作のためのPCFG、算術的推論のためのHINTの3つのベンチマークで最先端のパフォーマンスを達成する。 特に、NSRはSCANとPCFGで100%の一般化精度を達成し、HINTの最先端モデルを約23%上回っている。 我々のNSRは、その象徴的表現と帰納的バイアスにより、純粋なニューラルネットワークよりも強力な一般化を示す。 NSRはまた、ドメイン固有の知識が少ないため、既存のニューラルシンボリックアプローチよりも優れた転送可能性を示す。

関連論文リスト

• Mastering Symbolic Operations: Augmenting Language Models with Compiled Neural Networks [48.14324895100478]
  ニューラルアーキテクチャ」は、コンパイルされたニューラルネットワーク(CoNN)を標準変換器に統合する。 CoNNは、人工的に生成された注意重みを通してルールを明示的にエンコードするように設計されたニューラルネットワークモジュールである。 実験は,シンボル操作における長さ一般化,効率,解釈可能性の観点から,既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-04T09:50:07Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Learning Dynamics and Structure of Complex Systems Using Graph Neural Networks [13.509027957413409]
  我々は、非線形力学系の例から時系列に適合するようにグラフニューラルネットワークを訓練した。 学習した表現とモデルコンポーネントの簡単な解釈を見出した。 我々は,信念伝達における統計的相互作用と,それに対応する学習ネットワークのパラメータ間のグラフトランスレータの同定に成功した。
  論文  参考訳（メタデータ） (2022-02-22T15:58:16Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Sequence-to-Sequence Learning with Latent Neural Grammars [12.624691611049341]
  ニューラルネットワークを用いたシーケンス対シーケンス学習は、シーケンス予測タスクのデファクトスタンダードとなっている。 フレキシブルでパフォーマンスが高いが、これらのモデルはトレーニングのために大きなデータセットを必要とすることが多く、構成の一般化をテストするために設計されたベンチマークで驚くほど失敗することがある。 この研究は、準同期文法を用いたシーケンシャル・ツー・シークエンス学習の代替的、階層的アプローチを探求する。
  論文  参考訳（メタデータ） (2021-09-02T17:58:08Z)
• SyGNS: A Systematic Generalization Testbed Based on Natural Language Semantics [39.845425535943534]
  自然言語セマンティックス(SyGNS)に基づく体系的一般化テストベッドを提案する。 ニューラルネットワークが、量化子や否定といった論理式の新しい組み合わせを含む文を体系的に解析できるかどうかを検証する。 実験により、Transformer と GRU モデルは、与えられたトレーニングインスタンスの形式に類似しているが、他のモデルには似ていない量化器、否定器、修飾器の組み合わせに一般化できることが示された。
  論文  参考訳（メタデータ） (2021-06-02T11:24:41Z)
• Compositional Generalization via Neural-Symbolic Stack Machines [99.79811868836248]
  合成一般化における制限に対処するためのNear-Symbolic Stack Machine (NeSS)を提案する。 NeSSは、ニューラルネットワークモデルの表現力と、シンボリックスタックマシンが支持する再帰を結合する。 NeSSは4つの領域で100%の一般化性能を達成する。
  論文  参考訳（メタデータ） (2020-08-15T06:23:20Z)
• Neural Complexity Measures [96.06344259626127]
  本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。 我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
  論文  参考訳（メタデータ） (2020-08-07T02:12:10Z)
• Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
  メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。 良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
  論文  参考訳（メタデータ） (2020-06-18T15:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。