論文の概要: Structurally Diverse Sampling Reduces Spurious Correlations in Semantic Parsing Datasets

• arxiv url: http://arxiv.org/abs/2203.08445v1
• Date: Wed, 16 Mar 2022 07:41:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-17 14:55:49.773922
• Title: Structurally Diverse Sampling Reduces Spurious Correlations in Semantic Parsing Datasets
• Title（参考訳）: 構造的横サンプリングによる意味的パーシングデータセットのスパーラス相関の低減
• Authors: Shivanshu Gupta and Sameer Singh and Matt Gardner
• Abstract要約: 本稿では,構造化された出力を持つラベル付きインスタンスプールから,構造的に多様なインスタンス群をサンプリングする新しいアルゴリズムを提案する。 提案アルゴリズムは, 合成テンプレート分割だけでなく, 従来のID分割においても, 従来のアルゴリズムよりも競合的に動作することを示す。 一般に、多種多様な列車集合は、10組のデータセット分割ペアのうち9組で同じ大きさのランダムな訓練集合よりも優れた一般化をもたらす。
• 参考スコア（独自算出の注目度）: 51.095144091781734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A rapidly growing body of research has demonstrated the inability of NLP models to generalize compositionally and has tried to alleviate it through specialized architectures, training schemes, and data augmentation, among other approaches. In this work, we study a different relatively under-explored approach: sampling diverse train sets that encourage compositional generalization. We propose a novel algorithm for sampling a structurally diverse set of instances from a labeled instance pool with structured outputs. Evaluating on 5 semantic parsing datasets of varying complexity, we show that our algorithm performs competitively with or better than prior algorithms in not only compositional template splits but also traditional IID splits of all but the least structurally diverse datasets. In general, we find that diverse train sets lead to better generalization than random training sets of the same size in 9 out of 10 dataset-split pairs, with over 10% absolute improvement in 5, providing further evidence to their sample efficiency. Moreover, we show that structural diversity also makes for more comprehensive test sets that require diverse training to succeed on. Finally, we use information theory to show that reduction in spurious correlations between substructures may be one reason why diverse training sets improve generalization.
• Abstract（参考訳）: 急速に成長する研究機関は、NLPモデルが合成を一般化できないことを実証し、特殊アーキテクチャ、トレーニングスキーム、データ拡張などを通じてそれを緩和しようとしている。 本研究では,構成一般化を促進する多種多様な列車集合をサンプリングする手法について検討した。 本稿では,構造化アウトプットを用いたラベル付きインスタンスプールから,構造的に多様なインスタンス集合をサンプリングする新しいアルゴリズムを提案する。 複雑度の異なる5つのセマンティック解析データセットを評価したところ、我々のアルゴリズムは、構成テンプレート分割だけでなく、最も構造的にも多様でないデータセットの従来のID分割においても、以前のアルゴリズムと競合するか、より優れていることを示す。 一般に,10組のデータセット分割ペアのうち9組で同じ大きさのランダムトレーニングセットよりも多種多様な列車セットがより一般化され,5組で10%以上の絶対改善が達成され,サンプル効率のさらなる証拠が得られた。 さらに, 構造的多様性は, 多様な学習を必要とする総合的なテストセットにも寄与することを示した。 最後に,情報理論を用いて下位構造間のスプリアス相関の低減が,多種多様なトレーニングセットが一般化を促進する一因であることを示す。

関連論文リスト

• Learning Dynamic Bayesian Networks from Data: Foundations, First Principles and Numerical Comparisons [2.403231673869682]
  データから動的ベイズネットワーク(DBN)を学習する基礎について紹介する。 一般化の形式と、特定の変数分布に対する共通型DBNの集合について述べる。
  論文  参考訳（メタデータ） (2024-06-25T14:28:17Z)
• ComboStoc: Combinatorial Stochasticity for Diffusion Generative Models [65.82630283336051]
  拡散生成モデルの既存のトレーニングスキームにより,次元と属性の組み合わせによって区切られた空間が十分に標本化されていないことを示す。 構造を完全に活用するプロセスを構築し,ComboStocという名前でこの問題に対処する。
  論文  参考訳（メタデータ） (2024-05-22T15:23:10Z)
• Deep Negative Correlation Classification [82.45045814842595]
  既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。 深部負相関分類(DNCC)を提案する。 DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
  論文  参考訳（メタデータ） (2022-12-14T07:35:20Z)
• Learning to Generalize Compositionally by Transferring Across Semantic Parsing Tasks [37.66114618645146]
  本研究では,ある構成課題から別の構成課題への移動学習を容易にする学習表現について検討する。 本手法を3つの全く異なるデータセットを用いて意味解析に適用する。 本手法は,対象タスクのテストセット上でのベースラインに対する合成一般化を著しく改善する。
  論文  参考訳（メタデータ） (2021-11-09T09:10:21Z)
• Cross-Dataset Collaborative Learning for Semantic Segmentation [17.55660581677053]
  我々は、Cross-Dataset Collaborative Learning (CDCL) と呼ばれる、単純で柔軟で汎用的なセマンティックセグメンテーション手法を提案する。 複数のラベル付きデータセットを付与することで、各データセット上の特徴表現の一般化と識別を改善することを目指しています。 単一データセットとクロスデータセットの設定で,Cityscapes,BDD100K,CamVid,COCO Stuffという4つの多様なデータセットに対して,広範な評価を行う。
  論文  参考訳（メタデータ） (2021-03-21T09:59:47Z)
• Substructure Substitution: Structured Data Augmentation for NLP [55.69800855705232]
  SUB2は、同じラベルを持つサブ構造を置換して新しい例を生成する。 より一般的なタスクでは、選挙区解析木に基づくSUB2のバリエーションを示す。 ほとんどの場合、SUB2による強化データセットによるトレーニングは、元のトレーニングセットでのトレーニングよりも優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-01-02T09:54:24Z)
• A Comparative Analysis of the Ensemble Methods for Drug Design [0.0]
  エンサンブルベースの機械学習アプローチは、限界を克服し、信頼できる予測を生成するために使用されます。 本稿では、57のアルゴリズムを開発し、4つの異なるデータセットを比較した。 提案した個々のモデルは統合されたモデルとして印象的な結果を示さなかったが、組み合わせると最も重要な予測器とみなされた。
  論文  参考訳（メタデータ） (2020-12-11T05:27:20Z)
• CDEvalSumm: An Empirical Study of Cross-Dataset Evaluation for Neural Summarization Systems [121.78477833009671]
  データセット間設定下での様々な要約モデルの性能について検討する。 異なるドメインの5つのデータセットに対する11の代表的な要約システムに関する包括的な研究は、モデルアーキテクチャと生成方法の影響を明らかにしている。
  論文  参考訳（メタデータ） (2020-10-11T02:19:15Z)
• Neural Ensemble Search for Uncertainty Estimation and Dataset Shift [67.57720300323928]
  ニューラルネットワークのアンサンブルは、データセットシフトに対する精度、不確実性キャリブレーション、堅牢性の観点から、スタンドアロンネットワークよりも優れたパフォーマンスを実現する。 本稿では,アンサンブルをアンサンブルで自動構築する2つの手法を提案する。 得られたアンサンブルは、精度だけでなく、不確実なキャリブレーションやデータセットシフトに対する堅牢性の観点からも、深いアンサンブルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-15T17:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。