論文の概要: Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language?

• arxiv url: http://arxiv.org/abs/2004.14839v2
• Date: Sat, 2 May 2020 12:35:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 05:17:42.473655
• Title: Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language?
• Title（参考訳）: ニューラルモデルは自然言語における単調性推論の体系性を学ぶか?
• Authors: Hitomi Yanaka, Koji Mineshima, Daisuke Bekki, and Kentaro Inui
• Abstract要約: 本稿では,ニューラルネットワークが自然言語の単調推論の体系性を学習できるかどうかを評価する手法を提案する。 単調性推論の4つの側面を考察し、モデルが異なるトレーニング/テスト分割における語彙的および論理的現象を体系的に解釈できるかどうかを検証する。
• 参考スコア（独自算出の注目度）: 41.649440404203595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the success of language models using neural networks, it remains unclear to what extent neural models have the generalization ability to perform inferences. In this paper, we introduce a method for evaluating whether neural models can learn systematicity of monotonicity inference in natural language, namely, the regularity for performing arbitrary inferences with generalization on composition. We consider four aspects of monotonicity inferences and test whether the models can systematically interpret lexical and logical phenomena on different training/test splits. A series of experiments show that three neural models systematically draw inferences on unseen combinations of lexical and logical phenomena when the syntactic structures of the sentences are similar between the training and test sets. However, the performance of the models significantly decreases when the structures are slightly changed in the test set while retaining all vocabularies and constituents already appearing in the training set. This indicates that the generalization ability of neural models is limited to cases where the syntactic structures are nearly the same as those in the training set.
• Abstract（参考訳）: ニューラルネットワークを用いた言語モデルの成功にもかかわらず、どの程度ニューラルネットワークが推論を一般化できるかは、まだ不明である。 本稿では,ニューラルネットワークが自然言語における単調推論の体系性,すなわち任意の推論を行うための規則性を学ぶことができるかどうかを評価する手法を提案する。 単調性推論の4つの側面を検討し,モデルが異なる訓練/テスト分割において語彙現象と論理現象を体系的に解釈できるかどうかを検証する。 一連の実験により、3つのニューラルモデルが、文章の構文構造がトレーニングセットとテストセットに類似している場合、語彙的および論理的現象の見当たらない組み合わせを体系的に推論することを示した。 しかし, モデルの性能は, トレーニングセットにすでに存在するすべての語彙や構成成分を保持しつつ, 試験セット内で構造がわずかに変化した場合に著しく低下する。 これは、神経モデルの一般化能力は、訓練セットの構文構造とほとんど同じである場合に限られていることを示している。

関連論文リスト

• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Contextual modulation of language comprehension in a dynamic neural model of lexical meaning [0.0]
  本稿では、英語の語彙項目「have」をテストケースとして用いて、その多義性に焦点をあてて、モデルのアーキテクチャと振舞いを実証する。 結果は、単語の多くの関連する意味が、メタスタブルなニューラルアクティベーション状態である、という、語彙的多義性に関する新しい視点を支持する。
  論文  参考訳（メタデータ） (2024-07-19T23:28:55Z)
• Montague semantics and modifier consistency measurement in neural language models [1.6799377888527685]
  本研究では,現代言語モデルにおける構成行動を測定する手法を提案する。 具体的には,形容詞・名詞句における形容詞修飾子現象に着目した。 実験結果から,現在のニューラル言語モデルが期待される言語理論に従って,限られた範囲でのみ動作することが示唆された。
  論文  参考訳（メタデータ） (2022-10-10T18:43:16Z)
• Learning Disentangled Representations for Natural Language Definitions [0.0]
  テキストデータの連続的な構文的・意味的規則性は、構造的バイアスと生成的要因の両方をモデルに提供するのに有効である、と我々は主張する。 本研究では,文型,定義文の表現的・意味的に密接なカテゴリに存在する意味的構造を利用して,不整合表現を学習するための変分オートエンコーダを訓練する。
  論文  参考訳（メタデータ） (2022-09-22T14:31:55Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Causal Abstractions of Neural Networks [9.291492712301569]
  本稿では,テキストの抽象の形式的理論に基づく新しい構造解析手法を提案する。 本稿では,Multiply Quantified Natural Language Inference (MQNLI) コーパスで学習したニューラルネットワークの解析に本手法を適用した。
  論文  参考訳（メタデータ） (2021-06-06T01:07:43Z)
• Discrete representations in neural models of spoken language [56.29049879393466]
  音声言語の弱教師付きモデルの文脈における4つの一般的なメトリクスの利点を比較した。 異なる評価指標が矛盾する結果をもたらすことが分かりました。
  論文  参考訳（メタデータ） (2021-05-12T11:02:02Z)
• Structural Supervision Improves Few-Shot Learning and Syntactic Generalization in Neural Language Models [47.42249565529833]
  人間は最小限の経験から単語に関する構造的特性を学ぶことができる。 我々は、現代のニューラル言語モデルがこの行動を英語で再現する能力を評価する。
  論文  参考訳（メタデータ） (2020-10-12T14:12:37Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。