論文の概要: Compositional Generalisation with Structured Reordering and Fertility Layers

• arxiv url: http://arxiv.org/abs/2210.03183v1
• Date: Thu, 6 Oct 2022 19:51:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 13:42:12.523332
• Title: Compositional Generalisation with Structured Reordering and Fertility Layers
• Title（参考訳）: 構造的順序付けと肥育層による組成一般化
• Authors: Matthias Lindemann, Alexander Koller, Ivan Titov
• Abstract要約: Seq2seqモデルは構成一般化に苦しむことが示されている。 本稿では、2つの構造演算を構成するフレキシブルなエンドツーエンドの微分可能なニューラルモデルを提案する。
• 参考スコア（独自算出の注目度）: 121.37328648951993
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Seq2seq models have been shown to struggle with compositional generalisation, i.e. generalising to new and potentially more complex structures than seen during training. Taking inspiration from grammar-based models that excel at compositional generalisation, we present a flexible end-to-end differentiable neural model that composes two structural operations: a fertility step, which we introduce in this work, and a reordering step based on previous work (Wang et al., 2021). Our model outperforms seq2seq models by a wide margin on challenging compositional splits of realistic semantic parsing tasks that require generalisation to longer examples. It also compares favourably to other models targeting compositional generalisation.
• Abstract（参考訳）: Seq2seqモデルは、構成一般化、すなわち、トレーニング中に見られるよりも新しくより複雑な構造への一般化に苦しむことが示されている。 構成の一般化に優れた文法モデルから着想を得て,2つの構造的操作を構成する柔軟なエンドツーエンドの微分可能なニューラルモデルを提案する。 我々のモデルは、より長い例に一般化を必要とする現実的な意味解析タスクの難解な構成分割に対して、Seq2seqモデルより広範囲に優れている。 また、構成一般化を対象とする他のモデルと好意的に比較する。

関連論文リスト

• What makes Models Compositional? A Theoretical View: With Supplement [60.284698521569936]
  本稿では,構成関数の一般神経-記号的定義とその構成複雑性について述べる。 既存の汎用および特殊目的のシーケンス処理モデルがこの定義にどのように適合しているかを示し、それらを用いて構成複雑性を分析する。
  論文  参考訳（メタデータ） (2024-05-02T20:10:27Z)
• On Provable Length and Compositional Generalization [7.883808173871223]
  一般的なシーケンス・ツー・シーケンスモデルに対して、長さと合成の一般化に関する最初の証明可能な保証を提供する。 これらの異なるアーキテクチャの制限容量バージョンは、長さと構成の一般化の両方を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-07T14:16:28Z)
• SLOG: A Structural Generalization Benchmark for Semantic Parsing [68.19511282584304]
  合成一般化ベンチマークの目的は、モデルがいかにして新しい複雑な言語表現に一般化するかを評価することである。 既存のベンチマークは、しばしば語彙一般化に焦点を当て、訓練に精通した構文構造における新しい語彙項目の解釈は、しばしば不足している。 SLOGは,COGSを拡張したセマンティック解析データセットである。
  論文  参考訳（メタデータ） (2023-10-23T15:39:09Z)
• Revisiting the Compositional Generalization Abilities of Neural Sequence Models [23.665350744415004]
  一般的なSCANベンチマークで導入されたワンショットプリミティブな一般化に焦点を当てる。 トレーニング分布をシンプルかつ直感的に修正することで、標準的なSeq-to-seqモデルでほぼ完璧な一般化性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-03-14T18:03:21Z)
• Compositional Generalization Requires Compositional Parsers [69.77216620997305]
  直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。 構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
  論文  参考訳（メタデータ） (2022-02-24T07:36:35Z)
• Grounded Graph Decoding Improves Compositional Generalization in Question Answering [68.72605660152101]
  質問応答モデルは、長いシーケンスやより複雑なテスト構造のようなトレーニングパターンの新しい構成に一般化するのに苦労する。 構造化された予測をアテンション機構でグラウンド化することで,言語表現の合成一般化を改善する手法であるグラウンドドグラフデコーディングを提案する。 本モデルは,質問応答における合成一般化の挑戦的ベンチマークである構成自由ベース質問(CFQ)データセットにおいて,最先端のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2021-11-05T17:50:14Z)
• Learning Algebraic Recombination for Compositional Generalization [71.78771157219428]
  合成一般化のための代数的組換え学習のためのエンドツーエンドニューラルモデルLeARを提案する。 主要な洞察は、意味解析タスクを潜在構文代数学と意味代数学の間の準同型としてモデル化することである。 2つの現実的・包括的構成一般化の実験は、我々のモデルの有効性を実証している。
  論文  参考訳（メタデータ） (2021-07-14T07:23:46Z)
• Unlocking Compositional Generalization in Pre-trained Models Using Intermediate Representations [27.244943870086175]
  seq2seq(sequence-to-sequence)モデルは、分散構成の一般化に苦しむことが知られている。 事前訓練されたseq2seqモデルにおける中間表現が組成一般化に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2021-04-15T14:15:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。