論文の概要: Learning to Recombine and Resample Data for Compositional Generalization

• arxiv url: http://arxiv.org/abs/2010.03706v6
• Date: Tue, 8 Jun 2021 00:43:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 11:15:02.702990
• Title: Learning to Recombine and Resample Data for Compositional Generalization
• Title（参考訳）: 合成一般化のためのデータの再結合と再サンプルの学習
• Authors: Ekin Aky\"urek, Afra Feyza Aky\"urek, Jacob Andreas
• Abstract要約: R&Rは、潜在記号構造に訴えることなく、大規模な合成一般化を可能にする学習データ拡張スキームである。 R&Rには、プロトタイプベースの生成モデルによるオリジナルのトレーニング例の再結合と、外挿を促進するために生成されたサンプルの再サンプリングの2つのコンポーネントがある。
• 参考スコア（独自算出の注目度）: 35.868789086531685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Flexible neural sequence models outperform grammar- and automaton-based counterparts on a variety of tasks. However, neural models perform poorly in settings requiring compositional generalization beyond the training data -- particularly to rare or unseen subsequences. Past work has found symbolic scaffolding (e.g. grammars or automata) essential in these settings. We describe R&R, a learned data augmentation scheme that enables a large category of compositional generalizations without appeal to latent symbolic structure. R&R has two components: recombination of original training examples via a prototype-based generative model and resampling of generated examples to encourage extrapolation. Training an ordinary neural sequence model on a dataset augmented with recombined and resampled examples significantly improves generalization in two language processing problems -- instruction following (SCAN) and morphological analysis (SIGMORPHON 2018) -- where R&R enables learning of new constructions and tenses from as few as eight initial examples.
• Abstract（参考訳）: 柔軟なニューラルシーケンスモデルは、様々なタスクにおいて文法やオートマトンに基づくモデルよりも優れている。 しかし、ニューラルモデルはトレーニングデータを超えた構成的一般化を必要とする設定で、特に稀または未確認のサブシーケンスでは、パフォーマンスが良くない。 過去の研究は、これらの設定に不可欠な記号的な足場(文法やオートマトンなど)を発見した。 R&Rは、潜在記号構造に訴えることなく、大規模な合成一般化を可能にする学習データ拡張スキームである。 r&rには2つのコンポーネントがある: プロトタイプベースの生成モデルによる元のトレーニングサンプルの再結合と、生成されたサンプルの再サンプリング。 recombinedとresampledの例で拡張されたデータセット上で通常のニューラルネットワークモデルをトレーニングすることで、命令追従(scan)と形態素解析(sigmorphon 2018)という2つの言語処理問題の一般化が大幅に改善される。

関連論文リスト

• Iterative self-transfer learning: A general methodology for response time-history prediction based on small dataset [0.0]
  本研究では,小さなデータセットに基づいてニューラルネットワークを学習するための反復的自己伝達学習手法を提案する。 提案手法は,小さなデータセットに対して,ほぼ一桁の精度でモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T18:48:04Z)
• Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning [81.24269148865555]
  最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。 このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。 具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
  論文  参考訳（メタデータ） (2022-12-12T15:40:30Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
  我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。 NSRは神経知覚、構文解析、意味推論を統合している。 我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-10-04T13:27:38Z)
• Compositionality as Lexical Symmetry [42.37422271002712]
  意味解析、命令追従、質問応答といったタスクでは、標準的なディープネットワークは小さなデータセットから合成的に一般化できない。 本稿では、モデルよりもデータ分布の対称性の制約として、構成性のドメイン一般およびモデル非依存の定式化を提案する。 LEXSYMと呼ばれる手法は,これらの変換を自動的に検出し,通常のニューラルシーケンスモデルのトレーニングデータに適用する。
  論文  参考訳（メタデータ） (2022-01-30T21:44:46Z)
• Recursive Decoding: A Situated Cognition Approach to Compositional Generation in Grounded Language Understanding [0.0]
  本稿では,Seq2seqモデルをトレーニングおよび使用するための新しい手順であるRecursive Decodingを提案する。 1回のパスで出力シーケンス全体を生成するのではなく、モデルは一度に1つのトークンを予測するように訓練される。 RDは、gSCANの2つの以前に無視された一般化タスクに対して劇的な改善をもたらす。
  論文  参考訳（メタデータ） (2022-01-27T19:13:42Z)
• Improving Compositional Generalization with Latent Structure and Data Augmentation [39.24527889685699]
  合成構造学習者(CSL)と呼ばれるモデルを用いたより強力なデータ組換え手法を提案する。 CSLは、準同期の文脈自由文法バックボーンを持つ生成モデルである。 この手順は、診断タスクのためにCSLの組成バイアスの大部分をT5に効果的に転送する。
  論文  参考訳（メタデータ） (2021-12-14T18:03:28Z)
• Finding needles in a haystack: Sampling Structurally-diverse Training Sets from Synthetic Data for Compositional Generalization [33.30539396439008]
  意味解析における合成一般化を改善するための合成発話プログラムペアの自動生成について検討する。 構造的に異なる合成例のサブセットを選択し、それらを合成一般化を改善するために利用する。 我々は,スキーマ2QAデータセットの新たな分割に対するアプローチを評価し,それが構成一般化の劇的な改善と従来のi.i.dセットアップの適度な改善につながっていることを示す。
  論文  参考訳（メタデータ） (2021-09-06T16:20:47Z)
• Learning Algebraic Recombination for Compositional Generalization [71.78771157219428]
  合成一般化のための代数的組換え学習のためのエンドツーエンドニューラルモデルLeARを提案する。 主要な洞察は、意味解析タスクを潜在構文代数学と意味代数学の間の準同型としてモデル化することである。 2つの現実的・包括的構成一般化の実験は、我々のモデルの有効性を実証している。
  論文  参考訳（メタデータ） (2021-07-14T07:23:46Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。