論文の概要: SyGNS: A Systematic Generalization Testbed Based on Natural Language Semantics

• arxiv url: http://arxiv.org/abs/2106.01077v1
• Date: Wed, 2 Jun 2021 11:24:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-03 14:33:20.434451
• Title: SyGNS: A Systematic Generalization Testbed Based on Natural Language Semantics
• Title（参考訳）: SyGNS: 自然言語意味論に基づく体系的一般化テストベッド
• Authors: Hitomi Yanaka, Koji Mineshima, Kentaro Inui
• Abstract要約: 自然言語セマンティックス(SyGNS)に基づく体系的一般化テストベッドを提案する。 ニューラルネットワークが、量化子や否定といった論理式の新しい組み合わせを含む文を体系的に解析できるかどうかを検証する。 実験により、Transformer と GRU モデルは、与えられたトレーニングインスタンスの形式に類似しているが、他のモデルには似ていない量化器、否定器、修飾器の組み合わせに一般化できることが示された。
• 参考スコア（独自算出の注目度）: 39.845425535943534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, deep neural networks (DNNs) have achieved great success in semantically challenging NLP tasks, yet it remains unclear whether DNN models can capture compositional meanings, those aspects of meaning that have been long studied in formal semantics. To investigate this issue, we propose a Systematic Generalization testbed based on Natural language Semantics (SyGNS), whose challenge is to map natural language sentences to multiple forms of scoped meaning representations, designed to account for various semantic phenomena. Using SyGNS, we test whether neural networks can systematically parse sentences involving novel combinations of logical expressions such as quantifiers and negation. Experiments show that Transformer and GRU models can generalize to unseen combinations of quantifiers, negations, and modifiers that are similar to given training instances in form, but not to the others. We also find that the generalization performance to unseen combinations is better when the form of meaning representations is simpler. The data and code for SyGNS are publicly available at https://github.com/verypluming/SyGNS.
• Abstract（参考訳）: 近年、ディープニューラルネットワーク(DNN)は、意味論的に挑戦するNLPタスクにおいて大きな成功を収めているが、DNNモデルが構成的意味を捉えることができるかどうかは不明である。 そこで本研究では,自然言語セマンティックス(SyGNS)に基づく体系的一般化テストベッドを提案する。 sygnsを用いて、量子化子や否定といった論理表現の新たな組み合わせを含む文をニューラルネットワークが体系的に解析できるかどうかをテストする。 実験により、Transformer と GRU モデルは、与えられたトレーニングインスタンスに類似しているが、他のモデルには似ていない量化器、否定器、修飾器の組み合わせに一般化できることが示されている。 また、意味表現の形式が単純であれば、見当たらない組み合わせに対する一般化性能がよいことが分かる。 SyGNSのデータとコードはhttps://github.com/verypluming/SyGNSで公開されている。

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• Laziness Is a Virtue When It Comes to Compositionality in Neural Semantic Parsing [20.856601758389544]
  本稿では,論理形式の葉から始まる論理形式をボトムアップから構築するニューラルセマンティック解析生成手法を提案する。 我々の新しいボトムアップ・パーシング・セマンティック・テクニックは、汎用的なセマンティクスよりも優れており、同等のニューラル・セマンティクスと競合していることを示す。
  論文  参考訳（メタデータ） (2023-05-07T17:53:08Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
  我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。 NSRは神経知覚、構文解析、意味推論を統合している。 我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-10-04T13:27:38Z)
• Equivariant Transduction through Invariant Alignment [71.45263447328374]
  グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。 我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。 また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
  論文  参考訳（メタデータ） (2022-09-22T11:19:45Z)
• Sequence-to-Sequence Learning with Latent Neural Grammars [12.624691611049341]
  ニューラルネットワークを用いたシーケンス対シーケンス学習は、シーケンス予測タスクのデファクトスタンダードとなっている。 フレキシブルでパフォーマンスが高いが、これらのモデルはトレーニングのために大きなデータセットを必要とすることが多く、構成の一般化をテストするために設計されたベンチマークで驚くほど失敗することがある。 この研究は、準同期文法を用いたシーケンシャル・ツー・シークエンス学習の代替的、階層的アプローチを探求する。
  論文  参考訳（メタデータ） (2021-09-02T17:58:08Z)
• Can RNNs learn Recursive Nested Subject-Verb Agreements? [4.094098809740732]
  言語処理にはネストした木構造を抽出する機能が必要である。 リカレントニューラルネットワーク(RNN)の最近の進歩は、いくつかの言語タスクでほぼ人間に近いパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-01-06T20:47:02Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。