論文の概要: Probing Linguistic Systematicity
- arxiv url: http://arxiv.org/abs/2005.04315v2
- Date: Tue, 25 Aug 2020 04:18:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 12:44:45.848046
- Title: Probing Linguistic Systematicity
- Title(参考訳): 言語体系性の検証
- Authors: Emily Goodwin and Koustuv Sinha and Timothy J. O'Donnell
- Abstract要約: ニューラルモデルがしばしば非体系的に一般化する証拠が蓄積されている。
ネットワークアーキテクチャが非体系的に一般化できる方法を特定し、なぜそのような一般化が不満足なのかについて議論する。
- 参考スコア(独自算出の注目度): 11.690179162556353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, there has been much interest in the question of whether deep
natural language understanding models exhibit systematicity; generalizing such
that units like words make consistent contributions to the meaning of the
sentences in which they appear. There is accumulating evidence that neural
models often generalize non-systematically. We examined the notion of
systematicity from a linguistic perspective, defining a set of probes and a set
of metrics to measure systematic behaviour. We also identified ways in which
network architectures can generalize non-systematically, and discuss why such
forms of generalization may be unsatisfying. As a case study, we performed a
series of experiments in the setting of natural language inference (NLI),
demonstrating that some NLU systems achieve high overall performance despite
being non-systematic.
- Abstract(参考訳): 近年、深層自然言語理解モデルが体系性を示すかどうかという問題に多くの関心が寄せられ、単語のような単位が出現する文の意味に一貫した貢献をするように一般化されている。
神経モデルがしばしば非体系的に一般化する証拠が蓄積されている。
言語学的観点から体系性の概念を考察し,一連のプローブと一連のメトリクスを定義し,体系的行動を測定する。
また、ネットワークアーキテクチャが非体系的に一般化できる方法を特定し、なぜそのような一般化の形式が満足できないのかについて議論した。
ケーススタディとして,自然言語推論(nli)の設定における一連の実験を行い,nluシステムの一部が非システム的ながら高い総合的性能を達成できることを実証した。
関連論文リスト
- Architecture of a Cortex Inspired Hierarchical Event Recaller [0.0]
本稿では、複雑なパターンの教師なし連続文脈依存学習に焦点を当てた機械学習(ML)に対する新しいアプローチを提案する。
複雑な時間系列を同定し、予測できる合成構造を定義し、実験的に検証する。
概念実証として, 提案システムでは, 事前知識を伴わずに, 人間の発話のような極めて複雑な時系列を学習し, 識別し, 予測できることが示されている。
論文 参考訳(メタデータ) (2024-05-03T09:36:16Z) - Generative Models as a Complex Systems Science: How can we make sense of
large language model behavior? [75.79305790453654]
事前訓練されたモデルから望ましい振る舞いを排除し、望ましくないモデルを避けながら、NLPを再定義した。
言語モデルの振る舞いをタスク間性能を説明するカテゴリに分解する体系的な取り組みについて論じる。
論文 参考訳(メタデータ) (2023-07-31T22:58:41Z) - A Hybrid System for Systematic Generalization in Simple Arithmetic
Problems [70.91780996370326]
本稿では,記号列に対する合成的および体系的推論を必要とする算術的問題を解くことができるハイブリッドシステムを提案する。
提案システムは,最も単純なケースを含むサブセットでのみ訓練された場合においても,ネストした数式を正確に解くことができることを示す。
論文 参考訳(メタデータ) (2023-06-29T18:35:41Z) - Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。
NSRは神経知覚、構文解析、意味推論を統合している。
我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
論文 参考訳(メタデータ) (2022-10-04T13:27:38Z) - Compositional Semantics and Inference System for Temporal Order based on
Japanese CCG [9.683269364766426]
本稿では,日本語の時間順を考慮した論理型自然言語推論システムを提案する。
本システムでは,時間的関係と自動定理証明器の公理を用いて時間的順序を考慮した推論を行う。
我々は,従来の論理ベースのシステムや,現在のディープラーニングベースのモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-04-20T06:21:21Z) - SyGNS: A Systematic Generalization Testbed Based on Natural Language
Semantics [39.845425535943534]
自然言語セマンティックス(SyGNS)に基づく体系的一般化テストベッドを提案する。
ニューラルネットワークが、量化子や否定といった論理式の新しい組み合わせを含む文を体系的に解析できるかどうかを検証する。
実験により、Transformer と GRU モデルは、与えられたトレーニングインスタンスの形式に類似しているが、他のモデルには似ていない量化器、否定器、修飾器の組み合わせに一般化できることが示された。
論文 参考訳(メタデータ) (2021-06-02T11:24:41Z) - Discrete representations in neural models of spoken language [56.29049879393466]
音声言語の弱教師付きモデルの文脈における4つの一般的なメトリクスの利点を比較した。
異なる評価指標が矛盾する結果をもたらすことが分かりました。
論文 参考訳(メタデータ) (2021-05-12T11:02:02Z) - Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。
次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文 参考訳(メタデータ) (2020-12-10T01:27:24Z) - Curious Case of Language Generation Evaluation Metrics: A Cautionary
Tale [52.663117551150954]
イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。
これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。
本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
論文 参考訳(メタデータ) (2020-10-26T13:57:20Z) - Systematic Generalization on gSCAN with Language Conditioned Embedding [19.39687991647301]
体系的一般化とは、学習アルゴリズムが学習した振る舞いを目に見えない状況に外挿する能力を指す。
本稿では,入力自然言語を条件とした動的メッセージパッシングによるオブジェクトの文脈的埋め込みを学習する手法を提案する。
論文 参考訳(メタデータ) (2020-09-11T17:35:05Z) - Do Neural Models Learn Systematicity of Monotonicity Inference in
Natural Language? [41.649440404203595]
本稿では,ニューラルネットワークが自然言語の単調推論の体系性を学習できるかどうかを評価する手法を提案する。
単調性推論の4つの側面を考察し、モデルが異なるトレーニング/テスト分割における語彙的および論理的現象を体系的に解釈できるかどうかを検証する。
論文 参考訳(メタデータ) (2020-04-30T14:48:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。