論文の概要: Revisiting the Compositional Generalization Abilities of Neural Sequence Models

• arxiv url: http://arxiv.org/abs/2203.07402v1
• Date: Mon, 14 Mar 2022 18:03:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-16 14:59:24.418036
• Title: Revisiting the Compositional Generalization Abilities of Neural Sequence Models
• Title（参考訳）: ニューラルシーケンスモデルの合成一般化能力の再検討
• Authors: Arkil Patel, Satwik Bhattamishra, Phil Blunsom, Navin Goyal
• Abstract要約: 一般的なSCANベンチマークで導入されたワンショットプリミティブな一般化に焦点を当てる。 トレーニング分布をシンプルかつ直感的に修正することで、標準的なSeq-to-seqモデルでほぼ完璧な一般化性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 23.665350744415004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compositional generalization is a fundamental trait in humans, allowing us to effortlessly combine known phrases to form novel sentences. Recent works have claimed that standard seq-to-seq models severely lack the ability to compositionally generalize. In this paper, we focus on one-shot primitive generalization as introduced by the popular SCAN benchmark. We demonstrate that modifying the training distribution in simple and intuitive ways enables standard seq-to-seq models to achieve near-perfect generalization performance, thereby showing that their compositional generalization abilities were previously underestimated. We perform detailed empirical analysis of this phenomenon. Our results indicate that the generalization performance of models is highly sensitive to the characteristics of the training data which should be carefully considered while designing such benchmarks in future.
• Abstract（参考訳）: 構成的一般化は人間の基本的な特徴であり、既知のフレーズを組み合わせて新しい文を作ることができます。 最近の研究は、標準のSeq-to-seqモデルは構成的に一般化する能力に欠けていると主張している。 本稿では,SCANベンチマークで紹介されているワンショットプリミティブな一般化に着目した。 トレーニング分布をシンプルで直感的な方法で修正することで、標準的なSeq-to-seqモデルがほぼ完璧な一般化性能を達成できることを示す。 我々はこの現象の詳細な実験分析を行う。 この結果から,モデル一般化性能は,将来そのようなベンチマークを設計しながら慎重に検討すべきトレーニングデータの特徴に非常に敏感であることが示唆された。

関連論文リスト

• SLOG: A Structural Generalization Benchmark for Semantic Parsing [68.19511282584304]
  合成一般化ベンチマークの目的は、モデルがいかにして新しい複雑な言語表現に一般化するかを評価することである。 既存のベンチマークは、しばしば語彙一般化に焦点を当て、訓練に精通した構文構造における新しい語彙項目の解釈は、しばしば不足している。 SLOGは,COGSを拡張したセマンティック解析データセットである。
  論文  参考訳（メタデータ） (2023-10-23T15:39:09Z)
• Compositional Generalisation with Structured Reordering and Fertility Layers [121.37328648951993]
  Seq2seqモデルは構成一般化に苦しむことが示されている。 本稿では、2つの構造演算を構成するフレキシブルなエンドツーエンドの微分可能なニューラルモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-06T19:51:31Z)
• Generalization Gap in Amortized Inference [17.951010274427187]
  確率モデルの一般的なクラス - 変分オートエンコーダ (VAE) の一般化について検討する。 過度に適合する現象は、通常、償却推論ネットワークに支配されていることを示す。 そこで本研究では,従来のウェイク・スリープ・アルゴリズムにヒントを得た新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2022-05-23T21:28:47Z)
• Compositional Generalization Requires Compositional Parsers [69.77216620997305]
  直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。 構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
  論文  参考訳（メタデータ） (2022-02-24T07:36:35Z)
• Grounded Graph Decoding Improves Compositional Generalization in Question Answering [68.72605660152101]
  質問応答モデルは、長いシーケンスやより複雑なテスト構造のようなトレーニングパターンの新しい構成に一般化するのに苦労する。 構造化された予測をアテンション機構でグラウンド化することで,言語表現の合成一般化を改善する手法であるグラウンドドグラフデコーディングを提案する。 本モデルは,質問応答における合成一般化の挑戦的ベンチマークである構成自由ベース質問(CFQ)データセットにおいて,最先端のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2021-11-05T17:50:14Z)
• Disentangled Sequence to Sequence Learning for Compositional Generalization [62.954842223732435]
  本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。 意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-10-09T22:27:19Z)
• Unlocking Compositional Generalization in Pre-trained Models Using Intermediate Representations [27.244943870086175]
  seq2seq(sequence-to-sequence)モデルは、分散構成の一般化に苦しむことが知られている。 事前訓練されたseq2seqモデルにおける中間表現が組成一般化に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2021-04-15T14:15:14Z)
• Robustness to Augmentations as a Generalization metric [0.0]
  一般化とは、目に見えないドメインを予測するモデルの能力です。 拡張に頑健なモデルは、そうでないモデルよりも一般化可能であるという概念を用いて、モデルの一般化性能を予測する手法を提案する。 提案手法は、ディープラーニングにおける一般化予測に関するNeurIPSコンペティションの最初のランナーアップソリューションであった。
  論文  参考訳（メタデータ） (2021-01-16T15:36:38Z)
• Improving Compositional Generalization in Semantic Parsing [54.4720965813889]
  オフ・オブ・ディストリビューション(OOD)データへのモデルの一般化は、最近、大きな注目を集めている。 合成一般化のための自然なテストベッドである意味解析における合成一般化について検討する。
  論文  参考訳（メタデータ） (2020-10-12T12:34:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。