論文の概要: Structural generalization is hard for sequence-to-sequence models
- arxiv url: http://arxiv.org/abs/2210.13050v1
- Date: Mon, 24 Oct 2022 09:03:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 16:42:43.981853
- Title: Structural generalization is hard for sequence-to-sequence models
- Title（参考訳）: 構造一般化は列列列モデルにとって難しい
- Authors: Yuekun Yao and Alexander Koller
- Abstract要約: シーケンス・ツー・シーケンス(seq2seq)モデルは、多くのNLPタスクで成功している。
構成一般化に関する最近の研究は、セq2seqモデルは訓練で見られなかった言語構造への一般化において非常に低い精度を達成することを示した。
- 参考スコア（独自算出の注目度）: 85.0087839979613
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sequence-to-sequence (seq2seq) models have been successful across many NLP
tasks, including ones that require predicting linguistic structure. However,
recent work on compositional generalization has shown that seq2seq models
achieve very low accuracy in generalizing to linguistic structures that were
not seen in training. We present new evidence that this is a general limitation
of seq2seq models that is present not just in semantic parsing, but also in
syntactic parsing and in text-to-text tasks, and that this limitation can often
be overcome by neurosymbolic models that have linguistic knowledge built in. We
further report on some experiments that give initial answers on the reasons for
these limitations.
- Abstract（参考訳）: シークエンス・ツー・シークエンス(seq2seq)モデルは、言語構造を予測することを含む多くのNLPタスクで成功している。
しかし、合成一般化に関する最近の研究により、seq2seqモデルは訓練で見られない言語構造への一般化において、非常に低い精度を達成することが示されている。
これは意味解析だけでなく、構文解析やテキストからテキストへのタスクにおいても見られるseq2seqモデルの一般的な制限であり、言語知識を組み込んだニューロシンボリックモデルによってしばしば克服されるという新たな証拠を示す。
さらに,これらの制約の理由についての最初の回答を与える実験についても報告する。
関連論文リスト
- SLOG: A Structural Generalization Benchmark for Semantic Parsing [68.19511282584304]
合成一般化ベンチマークの目的は、モデルがいかにして新しい複雑な言語表現に一般化するかを評価することである。
既存のベンチマークは、しばしば語彙一般化に焦点を当て、訓練に精通した構文構造における新しい語彙項目の解釈は、しばしば不足している。
SLOGは,COGSを拡張したセマンティック解析データセットである。
論文 参考訳（メタデータ） (2023-10-23T15:39:09Z) - Compositional Generalisation with Structured Reordering and Fertility
Layers [121.37328648951993]
Seq2seqモデルは構成一般化に苦しむことが示されている。
本稿では、2つの構造演算を構成するフレキシブルなエンドツーエンドの微分可能なニューラルモデルを提案する。
論文 参考訳（メタデータ） (2022-10-06T19:51:31Z) - Coloring the Blank Slate: Pre-training Imparts a Hierarchical Inductive
Bias to Sequence-to-sequence Models [23.21767225871304]
シークエンス・ツー・シークエンス(seq2seq)モデルは、構文変換を行う際に階層性に敏感な方法で一般化できないことが多い。
事前学習されたSeq2seqモデルは、構文変換を行う際に階層的に一般化するが、構文変換でスクラッチから訓練されたモデルはそうではない。
論文 参考訳（メタデータ） (2022-03-17T15:46:53Z) - Compositional Generalization Requires Compositional Parsers [69.77216620997305]
直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。
構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
論文 参考訳（メタデータ） (2022-02-24T07:36:35Z) - Discontinuous Grammar as a Foreign Language [0.7412445894287709]
構成解析のためのシーケンス・ツー・シーケンス・モデルの枠組みを拡張した。
我々は不連続性を完全に生成できるいくつかの新規化を設計する。
提案手法はまず,主要な不連続なベンチマーク上でシーケンス・ツー・シーケンス・モデルをテストする。
論文 参考訳（メタデータ） (2021-10-20T08:58:02Z) - Unlocking Compositional Generalization in Pre-trained Models Using
Intermediate Representations [27.244943870086175]
seq2seq(sequence-to-sequence)モデルは、分散構成の一般化に苦しむことが知られている。
事前訓練されたseq2seqモデルにおける中間表現が組成一般化に及ぼす影響について検討する。
論文 参考訳（メタデータ） (2021-04-15T14:15:14Z) - Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。
次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文 参考訳（メタデータ） (2020-12-10T01:27:24Z) - High-order Semantic Role Labeling [86.29371274587146]
本稿では,ニューラルセマンティックロールラベリングモデルのための高階グラフ構造を提案する。
これにより、モデルは孤立述語-引数対だけでなく、述語-引数対間の相互作用も明示的に考慮することができる。
CoNLL-2009ベンチマークの7つの言語に対する実験結果から、高次構造学習技術は強力なSRLモデルに有益であることが示された。
論文 参考訳（メタデータ） (2020-10-09T15:33:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。