論文の概要: Neural-Symbolic Recursive Machine for Systematic Generalization

• arxiv url: http://arxiv.org/abs/2210.01603v2
• Date: Mon, 29 Apr 2024 08:32:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 03:47:11.318380
• Title: Neural-Symbolic Recursive Machine for Systematic Generalization
• Title（参考訳）: システム一般化のためのニューラルシンボリック再帰機械
• Authors: Qing Li, Yixin Zhu, Yitao Liang, Ying Nian Wu, Song-Chun Zhu, Siyuan Huang,
• Abstract要約: 我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。 NSRは神経知覚、構文解析、意味推論を統合している。 我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
• 参考スコア（独自算出の注目度）: 113.22455566135757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current learning models often struggle with human-like systematic generalization, particularly in learning compositional rules from limited data and extrapolating them to novel combinations. We introduce the Neural-Symbolic Recursive Machine (NSR), whose core is a Grounded Symbol System (GSS), allowing for the emergence of combinatorial syntax and semantics directly from training data. The NSR employs a modular design that integrates neural perception, syntactic parsing, and semantic reasoning. These components are synergistically trained through a novel deduction-abduction algorithm. Our findings demonstrate that NSR's design, imbued with the inductive biases of equivariance and compositionality, grants it the expressiveness to adeptly handle diverse sequence-to-sequence tasks and achieve unparalleled systematic generalization. We evaluate NSR's efficacy across four challenging benchmarks designed to probe systematic generalization capabilities: SCAN for semantic parsing, PCFG for string manipulation, HINT for arithmetic reasoning, and a compositional machine translation task. The results affirm NSR's superiority over contemporary neural and hybrid models in terms of generalization and transferability.
• Abstract（参考訳）: 現在の学習モデルは、特に限られたデータから構成規則を学習し、それらを新しい組み合わせに外挿する際に、人間のような体系的な一般化に苦しむことが多い。 我々は,ニューラルネットワーク再帰機械 (NSR) を導入し,その中核が接地記号システム (GSS) であり,学習データから直接組合せ構文や意味論の出現を可能にする。 NSRは、神経知覚、構文解析、意味論的推論を統合するモジュール設計を採用している。 これらのコンポーネントは、新しい推論・アブダクションアルゴリズムによって相乗的に訓練される。 これらの結果から,NSRの設計には等値性や構成性の帰納的バイアスが伴い,多種多様なシーケンス・シーケンスタスクを順応的に処理し,非並列な体系的一般化を実現することの表現力を与えることがわかった。 我々は,意味解析のためのSCAN,文字列操作のためのPCFG,算術的推論のためのHINT,合成機械翻訳タスクという,体系的な一般化能力の探索を目的とした4つのベンチマークにおいて,NSRの有効性を評価する。 その結果、一般化と伝達性の観点から、現代のニューラルモデルやハイブリッドモデルよりもNSRの方が優れていることが確認された。

関連論文リスト

• NeSyCoCo: A Neuro-Symbolic Concept Composer for Compositional Generalization [17.49136753589057]
  NeSyCoCoは、シンボリック表現を生成し、それらを微分可能なニューラル計算にマッピングする、ニューロシンボリックフレームワークである。 我々のフレームワークは、ReaSCANとCLEVR-CoGenT合成一般化ベンチマークの最先端結果を達成する。
  論文  参考訳（メタデータ） (2024-12-20T05:48:58Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Learning Dynamics and Structure of Complex Systems Using Graph Neural Networks [13.509027957413409]
  我々は、非線形力学系の例から時系列に適合するようにグラフニューラルネットワークを訓練した。 学習した表現とモデルコンポーネントの簡単な解釈を見出した。 我々は,信念伝達における統計的相互作用と,それに対応する学習ネットワークのパラメータ間のグラフトランスレータの同定に成功した。
  論文  参考訳（メタデータ） (2022-02-22T15:58:16Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Sequence-to-Sequence Learning with Latent Neural Grammars [12.624691611049341]
  ニューラルネットワークを用いたシーケンス対シーケンス学習は、シーケンス予測タスクのデファクトスタンダードとなっている。 フレキシブルでパフォーマンスが高いが、これらのモデルはトレーニングのために大きなデータセットを必要とすることが多く、構成の一般化をテストするために設計されたベンチマークで驚くほど失敗することがある。 この研究は、準同期文法を用いたシーケンシャル・ツー・シークエンス学習の代替的、階層的アプローチを探求する。
  論文  参考訳（メタデータ） (2021-09-02T17:58:08Z)
• SyGNS: A Systematic Generalization Testbed Based on Natural Language Semantics [39.845425535943534]
  自然言語セマンティックス(SyGNS)に基づく体系的一般化テストベッドを提案する。 ニューラルネットワークが、量化子や否定といった論理式の新しい組み合わせを含む文を体系的に解析できるかどうかを検証する。 実験により、Transformer と GRU モデルは、与えられたトレーニングインスタンスの形式に類似しているが、他のモデルには似ていない量化器、否定器、修飾器の組み合わせに一般化できることが示された。
  論文  参考訳（メタデータ） (2021-06-02T11:24:41Z)
• Compositional Generalization via Neural-Symbolic Stack Machines [99.79811868836248]
  合成一般化における制限に対処するためのNear-Symbolic Stack Machine (NeSS)を提案する。 NeSSは、ニューラルネットワークモデルの表現力と、シンボリックスタックマシンが支持する再帰を結合する。 NeSSは4つの領域で100%の一般化性能を達成する。
  論文  参考訳（メタデータ） (2020-08-15T06:23:20Z)
• Neural Complexity Measures [96.06344259626127]
  本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。 我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
  論文  参考訳（メタデータ） (2020-08-07T02:12:10Z)
• Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
  メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。 良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
  論文  参考訳（メタデータ） (2020-06-18T15:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。