論文の概要: Unobserved Local Structures Make Compositional Generalization Hard
- arxiv url: http://arxiv.org/abs/2201.05899v1
- Date: Sat, 15 Jan 2022 18:03:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-19 15:04:09.161154
- Title: Unobserved Local Structures Make Compositional Generalization Hard
- Title(参考訳): 観測されていない局所構造は組成の一般化を困難にする
- Authors: Ben Bogin, Shivanshu Gupta, Jonathan Berant
- Abstract要約: 特定のテストインスタンスにおける合成一般化の難しさについて検討する。
テストインスタンスがトレーニング時に観察されなかった局所構造を含む場合、テストインスタンスは難しい。
本研究では, 難易度の高い構成分割を創出するために, 局所構造を利用することができることを示す。
- 参考スコア(独自算出の注目度): 38.00335865058236
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While recent work has convincingly showed that sequence-to-sequence models
struggle to generalize to new compositions (termed compositional
generalization), little is known on what makes compositional generalization
hard on a particular test instance. In this work, we investigate what are the
factors that make generalization to certain test instances challenging. We
first substantiate that indeed some examples are more difficult than others by
showing that different models consistently fail or succeed on the same test
instances. Then, we propose a criterion for the difficulty of an example: a
test instance is hard if it contains a local structure that was not observed at
training time. We formulate a simple decision rule based on this criterion and
empirically show it predicts instance-level generalization well across 5
different semantic parsing datasets, substantially better than alternative
decision rules. Last, we show local structures can be leveraged for creating
difficult adversarial compositional splits and also to improve compositional
generalization under limited training budgets by strategically selecting
examples for the training set.
- Abstract(参考訳): 最近の研究は、シーケンシャル・ツー・シーケンス・モデルが新しい合成への一般化に苦しむこと(合成一般化が決定される)を説得的に示しているが、作曲一般化を特定のテストインスタンスで難しいものにする方法についてはほとんど分かっていない。
本研究では,特定のテストインスタンスの一般化を困難にする要因について検討する。
私たちはまず、異なるモデルが一貫して同じテストインスタンスで失敗するか成功することを示すことによって、いくつかの例が他の例よりも難しいことを証明します。
テストインスタンスがトレーニング時に観測されなかったローカル構造を含む場合、テストインスタンスは困難である。
この基準に基づいて簡単な決定ルールを定式化し、5つの異なるセマンティック解析データセットでインスタンスレベルの一般化を予測できることを示す。
最後に, 局所構造を, 難易度の高い構成分割の生成に活用し, 訓練セットの具体例を戦略的に選択することにより, 限られた訓練予算で構成一般化を改善できることを示す。
関連論文リスト
- Data Factors for Better Compositional Generalization [60.698130703909804]
我々は、異なるデータ要素を持つ様々なトレーニングセット上で、Transformerモデルをトレーニングすることで、経験的分析を行う。
データセットの複雑さが増大すると、複数の異なる一般化課題におけるより優れた一般化行動がもたらされることを示す。
難易度の異なるトレーニング例が一般化にどう影響するかを考察する。
論文 参考訳(メタデータ) (2023-11-08T01:27:34Z) - How Do In-Context Examples Affect Compositional Generalization? [86.57079616209474]
本稿では,コンテクスト内構成一般化を検証するためのテストスイートであるCoFeを提案する。
構成一般化性能は、文脈内例の選択によって容易に影響を受けることが判明した。
我々の系統実験は、文脈内サンプルは、テストケースと構造的に似ており、互いに異なっており、個別に単純であることを示します。
論文 参考訳(メタデータ) (2023-05-08T16:32:18Z) - Compositional Generalization Requires Compositional Parsers [69.77216620997305]
直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。
構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
論文 参考訳(メタデータ) (2022-02-24T07:36:35Z) - On the Impact of Hard Adversarial Instances on Overfitting in
Adversarial Training [72.95029777394186]
敵の訓練は、敵の攻撃に対してモデルを強固にするための一般的な方法である。
トレーニングインスタンスの観点から,この現象を考察する。
逆行訓練における一般化性能の低下は, 強行訓練に適合するモデルが試みた結果であることを示す。
論文 参考訳(メタデータ) (2021-12-14T12:19:24Z) - Grounded Graph Decoding Improves Compositional Generalization in
Question Answering [68.72605660152101]
質問応答モデルは、長いシーケンスやより複雑なテスト構造のようなトレーニングパターンの新しい構成に一般化するのに苦労する。
構造化された予測をアテンション機構でグラウンド化することで,言語表現の合成一般化を改善する手法であるグラウンドドグラフデコーディングを提案する。
本モデルは,質問応答における合成一般化の挑戦的ベンチマークである構成自由ベース質問(CFQ)データセットにおいて,最先端のベースラインを著しく上回っている。
論文 参考訳(メタデータ) (2021-11-05T17:50:14Z) - Symbolic Brittleness in Sequence Models: on Systematic Generalization in
Symbolic Mathematics [38.62999063710003]
我々は、テストセットを超えて体系的に一般化する必要があるため、記号的数学的積分の問題を考察する。
本稿では,問題領域の構造と検証器へのアクセスを活かした一般化評価手法を開発する。
本研究では,手動テストスイートと遺伝的アルゴリズムの両方を用いて,ロバスト性,構成性,分布外一般化を実現する上での課題を示す。
論文 参考訳(メタデータ) (2021-09-28T18:50:15Z) - Finding needles in a haystack: Sampling Structurally-diverse Training
Sets from Synthetic Data for Compositional Generalization [33.30539396439008]
意味解析における合成一般化を改善するための合成発話プログラムペアの自動生成について検討する。
構造的に異なる合成例のサブセットを選択し、それらを合成一般化を改善するために利用する。
我々は,スキーマ2QAデータセットの新たな分割に対するアプローチを評価し,それが構成一般化の劇的な改善と従来のi.i.dセットアップの適度な改善につながっていることを示す。
論文 参考訳(メタデータ) (2021-09-06T16:20:47Z) - Compositional Generalization and Natural Language Variation: Can a
Semantic Parsing Approach Handle Both? [27.590858384414567]
私たちは、自然言語のバリエーションと合成の一般化の両方を扱う意味解析アプローチを開発できますか?
我々は、この能力をよりよく評価するために、非合成データセットの新しいトレインとテスト分割を提案する。
また、NQG-T5は、高精度文法に基づくアプローチと事前学習されたシーケンス・ツー・シーケンスモデルを組み合わせたハイブリッドモデルである。
論文 参考訳(メタデータ) (2020-10-24T00:38:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。