論文の概要: Learning to Substitute Spans towards Improving Compositional Generalization

• arxiv url: http://arxiv.org/abs/2306.02840v1
• Date: Mon, 5 Jun 2023 12:44:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 15:12:58.030249
• Title: Learning to Substitute Spans towards Improving Compositional Generalization
• Title（参考訳）: 合成一般化改善のためのスパン置換学習
• Authors: Zhaoyi Li, Ying Wei and Defu Lian
• Abstract要約: 我々はtextbfSpan textbfSubstitution (SpanSub) と呼ばれる新しい合成増強戦略を提案する。 次にtextbfSubstitute textbfSpan (L2S2) フレームワークを導入する。 SCAN、COGS、GeoQueryを含む3つの標準構成一般化ベンチマークの結果は、SpanSub、学習フレームワークL2S2、およびそれらの組み合わせの優位性を実証している。
• 参考スコア（独自算出の注目度）: 26.878616721700485
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the rising prevalence of neural sequence models, recent empirical evidences suggest their deficiency in compositional generalization. One of the current de-facto solutions to this problem is compositional data augmentation, aiming to incur additional compositional inductive bias. Nonetheless, the improvement offered by existing handcrafted augmentation strategies is limited when successful systematic generalization of neural sequence models requires multi-grained compositional bias (i.e., not limited to either lexical or structural biases only) or differentiation of training sequences in an imbalanced difficulty distribution. To address the two challenges, we first propose a novel compositional augmentation strategy dubbed \textbf{Span} \textbf{Sub}stitution (SpanSub) that enables multi-grained composition of substantial substructures in the whole training set. Over and above that, we introduce the \textbf{L}earning \textbf{to} \textbf{S}ubstitute \textbf{S}pan (L2S2) framework which empowers the learning of span substitution probabilities in SpanSub in an end-to-end manner by maximizing the loss of neural sequence models, so as to outweigh those challenging compositions with elusive concepts and novel surroundings. Our empirical results on three standard compositional generalization benchmarks, including SCAN, COGS and GeoQuery (with an improvement of at most 66.5\%, 10.3\%, 1.2\%, respectively), demonstrate the superiority of SpanSub, %the learning framework L2S2 and their combination.
• Abstract（参考訳）: 神経配列モデルの増加にもかかわらず、最近の実証的証拠は合成一般化の欠如を示唆している。 この問題に対する現在のデファクトソリューションの1つは合成データ拡張であり、追加の合成帰納的バイアスを引き起こすことを目的としている。 それにもかかわらず、既存の手作りの強化戦略による改善は、神経配列モデルの体系的な一般化が成功した場合、多結晶構成バイアス(例えば、語彙バイアスまたは構造バイアスのみに限定されない)や、不均衡な難易度分布におけるトレーニングシーケンスの分化を必要とする場合に限られる。 この2つの課題に対処するために,我々はまず,トレーニングセット全体における実質的な部分構造の多面的構成を可能にする,新しい構成拡張戦略であるspansubを提案する。 その上で、spansubにおけるスパン置換確率の学習をエンドツーエンドで促進し、神経シーケンスモデルの損失を最大化することにより、難解な構成を不可解な概念や新しい環境に置き換えることのできる、 \textbf{l}earning \textbf{to} \textbf{s}ubstitute \textbf{s}pan (l2s2)フレームワークを紹介する。 SCAN, COGS, GeoQueryの3つの標準構成一般化ベンチマーク(それぞれ66.5\%, 10.3\%, 1.2\%)における実験結果から, SpanSub, %学習フレームワークL2S2およびそれらの組み合わせの優位性が示された。

関連論文リスト

• Structural generalization in COGS: Supertagging is (almost) all you need [12.991247861348048]
  最近のセマンティック解析データセットは、合成一般化が必要な場合において、ニューラルネットワークの重要な制限を提示している。 この問題を軽減するために、ニューラルネットワークベースのセマンティックパーシングフレームワークをいくつかの方法で拡張します。
  論文  参考訳（メタデータ） (2023-10-21T21:51:25Z)
• Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning [81.24269148865555]
  最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。 このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。 具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
  論文  参考訳（メタデータ） (2022-12-12T15:40:30Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Compositional Generalisation with Structured Reordering and Fertility Layers [121.37328648951993]
  Seq2seqモデルは構成一般化に苦しむことが示されている。 本稿では、2つの構造演算を構成するフレキシブルなエンドツーエンドの微分可能なニューラルモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-06T19:51:31Z)
• Incremental Few-Shot Learning via Implanting and Compressing [13.122771115838523]
  増分的なFew-Shot Learningは、いくつかの例から新しいクラスを継続的に学習するモデルを必要とする。 我々はtextbfImplanting と textbfCompressing と呼ばれる2段階の学習戦略を提案する。 具体的には、textbfImplantingのステップにおいて、新しいクラスのデータ分布をデータ・アサンダント・ベース・セットの助けを借りて模倣することを提案する。 textbfのステップでは、特徴抽出器を各新規クラスを正確に表現し、クラス内コンパクト性を高める。
  論文  参考訳（メタデータ） (2022-03-19T11:04:43Z)
• Improving Compositional Generalization with Latent Structure and Data Augmentation [39.24527889685699]
  合成構造学習者(CSL)と呼ばれるモデルを用いたより強力なデータ組換え手法を提案する。 CSLは、準同期の文脈自由文法バックボーンを持つ生成モデルである。 この手順は、診断タスクのためにCSLの組成バイアスの大部分をT5に効果的に転送する。
  論文  参考訳（メタデータ） (2021-12-14T18:03:28Z)
• Learning to Generalize Compositionally by Transferring Across Semantic Parsing Tasks [37.66114618645146]
  本研究では,ある構成課題から別の構成課題への移動学習を容易にする学習表現について検討する。 本手法を3つの全く異なるデータセットを用いて意味解析に適用する。 本手法は,対象タスクのテストセット上でのベースラインに対する合成一般化を著しく改善する。
  論文  参考訳（メタデータ） (2021-11-09T09:10:21Z)
• Grounded Graph Decoding Improves Compositional Generalization in Question Answering [68.72605660152101]
  質問応答モデルは、長いシーケンスやより複雑なテスト構造のようなトレーニングパターンの新しい構成に一般化するのに苦労する。 構造化された予測をアテンション機構でグラウンド化することで,言語表現の合成一般化を改善する手法であるグラウンドドグラフデコーディングを提案する。 本モデルは,質問応答における合成一般化の挑戦的ベンチマークである構成自由ベース質問(CFQ)データセットにおいて,最先端のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2021-11-05T17:50:14Z)
• Sequence-Level Mixed Sample Data Augmentation [119.94667752029143]
  本研究は、シーケンス対シーケンス問題に対するニューラルモデルにおける合成行動を促進するための単純なデータ拡張手法を提案する。 我々の手法であるSeqMixは、トレーニングセットから入力/出力シーケンスをソフトに結合することで、新しい合成例を作成する。
  論文  参考訳（メタデータ） (2020-11-18T02:18:04Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。