論文の概要: Unobserved Local Structures Make Compositional Generalization Hard

• arxiv url: http://arxiv.org/abs/2201.05899v1
• Date: Sat, 15 Jan 2022 18:03:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-19 15:04:09.161154
• Title: Unobserved Local Structures Make Compositional Generalization Hard
• Title（参考訳）: 観測されていない局所構造は組成の一般化を困難にする
• Authors: Ben Bogin, Shivanshu Gupta, Jonathan Berant
• Abstract要約: 特定のテストインスタンスにおける合成一般化の難しさについて検討する。 テストインスタンスがトレーニング時に観察されなかった局所構造を含む場合、テストインスタンスは難しい。 本研究では, 難易度の高い構成分割を創出するために, 局所構造を利用することができることを示す。
• 参考スコア（独自算出の注目度）: 38.00335865058236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While recent work has convincingly showed that sequence-to-sequence models struggle to generalize to new compositions (termed compositional generalization), little is known on what makes compositional generalization hard on a particular test instance. In this work, we investigate what are the factors that make generalization to certain test instances challenging. We first substantiate that indeed some examples are more difficult than others by showing that different models consistently fail or succeed on the same test instances. Then, we propose a criterion for the difficulty of an example: a test instance is hard if it contains a local structure that was not observed at training time. We formulate a simple decision rule based on this criterion and empirically show it predicts instance-level generalization well across 5 different semantic parsing datasets, substantially better than alternative decision rules. Last, we show local structures can be leveraged for creating difficult adversarial compositional splits and also to improve compositional generalization under limited training budgets by strategically selecting examples for the training set.
• Abstract（参考訳）: 最近の研究は、シーケンシャル・ツー・シーケンス・モデルが新しい合成への一般化に苦しむこと(合成一般化が決定される)を説得的に示しているが、作曲一般化を特定のテストインスタンスで難しいものにする方法についてはほとんど分かっていない。 本研究では,特定のテストインスタンスの一般化を困難にする要因について検討する。 私たちはまず、異なるモデルが一貫して同じテストインスタンスで失敗するか成功することを示すことによって、いくつかの例が他の例よりも難しいことを証明します。 テストインスタンスがトレーニング時に観測されなかったローカル構造を含む場合、テストインスタンスは困難である。 この基準に基づいて簡単な決定ルールを定式化し、5つの異なるセマンティック解析データセットでインスタンスレベルの一般化を予測できることを示す。 最後に, 局所構造を, 難易度の高い構成分割の生成に活用し, 訓練セットの具体例を戦略的に選択することにより, 限られた訓練予算で構成一般化を改善できることを示す。

関連論文リスト

• What makes Models Compositional? A Theoretical View: With Supplement [60.284698521569936]
  本稿では,構成関数の一般神経-記号的定義とその構成複雑性について述べる。 既存の汎用および特殊目的のシーケンス処理モデルがこの定義にどのように適合しているかを示し、それらを用いて構成複雑性を分析する。
  論文  参考訳（メタデータ） (2024-05-02T20:10:27Z)
• Towards Understanding the Relationship between In-context Learning and Compositional Generalization [7.843029855730508]
  私たちは、通常の学習を非常に難しい設定で因果変換器を訓練します。 しかし、このモデルは、初期の例を利用して、後の例に一般化することで、タスクを解くことができる。 データセット、SCAN、COGS、GeoQueryの評価では、この方法でトレーニングされたモデルは、実際に合成の一般化の改善を示している。
  論文  参考訳（メタデータ） (2024-03-18T14:45:52Z)
• Data Factors for Better Compositional Generalization [60.698130703909804]
  我々は、異なるデータ要素を持つ様々なトレーニングセット上で、Transformerモデルをトレーニングすることで、経験的分析を行う。 データセットの複雑さが増大すると、複数の異なる一般化課題におけるより優れた一般化行動がもたらされることを示す。 難易度の異なるトレーニング例が一般化にどう影響するかを考察する。
  論文  参考訳（メタデータ） (2023-11-08T01:27:34Z)
• How Do In-Context Examples Affect Compositional Generalization? [86.57079616209474]
  本稿では,コンテクスト内構成一般化を検証するためのテストスイートであるCoFeを提案する。 構成一般化性能は、文脈内例の選択によって容易に影響を受けることが判明した。 我々の系統実験は、文脈内サンプルは、テストケースと構造的に似ており、互いに異なっており、個別に単純であることを示します。
  論文  参考訳（メタデータ） (2023-05-08T16:32:18Z)
• Compositional Generalization Requires Compositional Parsers [69.77216620997305]
  直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。 構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
  論文  参考訳（メタデータ） (2022-02-24T07:36:35Z)
• On the Impact of Hard Adversarial Instances on Overfitting in Adversarial Training [72.95029777394186]
  敵の訓練は、敵の攻撃に対してモデルを強固にするための一般的な方法である。 トレーニングインスタンスの観点から,この現象を考察する。 逆行訓練における一般化性能の低下は, 強行訓練に適合するモデルが試みた結果であることを示す。
  論文  参考訳（メタデータ） (2021-12-14T12:19:24Z)
• Symbolic Brittleness in Sequence Models: on Systematic Generalization in Symbolic Mathematics [38.62999063710003]
  我々は、テストセットを超えて体系的に一般化する必要があるため、記号的数学的積分の問題を考察する。 本稿では,問題領域の構造と検証器へのアクセスを活かした一般化評価手法を開発する。 本研究では,手動テストスイートと遺伝的アルゴリズムの両方を用いて,ロバスト性,構成性,分布外一般化を実現する上での課題を示す。
  論文  参考訳（メタデータ） (2021-09-28T18:50:15Z)
• Compositional Generalization and Natural Language Variation: Can a Semantic Parsing Approach Handle Both? [27.590858384414567]
  私たちは、自然言語のバリエーションと合成の一般化の両方を扱う意味解析アプローチを開発できますか? 我々は、この能力をよりよく評価するために、非合成データセットの新しいトレインとテスト分割を提案する。 また、NQG-T5は、高精度文法に基づくアプローチと事前学習されたシーケンス・ツー・シーケンスモデルを組み合わせたハイブリッドモデルである。
  論文  参考訳（メタデータ） (2020-10-24T00:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。