論文の概要: Uncontrolled Lexical Exposure Leads to Overestimation of Compositional Generalization in Pretrained Models

• arxiv url: http://arxiv.org/abs/2212.10769v1
• Date: Wed, 21 Dec 2022 05:02:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 14:48:24.520378
• Title: Uncontrolled Lexical Exposure Leads to Overestimation of Compositional Generalization in Pretrained Models
• Title（参考訳）: 非制御語彙露光は事前学習モデルにおける合成汎化の過大評価に繋がる
• Authors: Najoung Kim, Tal Linzen, Paul Smolensky
• Abstract要約: 事前学習データへの露出は分布制御を損なう可能性があると我々は主張する。 いずれのセットアップもT5の一般化性能を低下させる。
• 参考スコア（独自算出の注目度）: 31.573015421633155
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Human linguistic capacity is often characterized by compositionality and the generalization it enables -- human learners can produce and comprehend novel complex expressions by composing known parts. Several benchmarks exploit distributional control across training and test to gauge compositional generalization, where certain lexical items only occur in limited contexts during training. While recent work using these benchmarks suggests that pretrained models achieve impressive generalization performance, we argue that exposure to pretraining data may break the aforementioned distributional control. Using the COGS benchmark of Kim and Linzen (2020), we test two modified evaluation setups that control for this issue: (1) substituting context-controlled lexical items with novel character sequences, and (2) substituting them with special tokens represented by novel embeddings. We find that both of these setups lead to lower generalization performance in T5 (Raffel et al., 2020), suggesting that previously reported results have been overestimated due to uncontrolled lexical exposure during pretraining. The performance degradation is more extreme with novel embeddings, and the degradation increases with the amount of pretraining data, highlighting an interesting case of inverse scaling.
• Abstract（参考訳）: 人間の言語能力は、しばしば構成性とそれが可能にする一般化によって特徴づけられる -- 人間の学習者は既知の部分を構成することによって、新しい複雑な表現を創造し理解することができる。 いくつかのベンチマークでは、トレーニングとテストにまたがる分布制御を利用して、特定の語彙項目がトレーニング中に限られたコンテキストでのみ発生する構成一般化を計測している。 これらのベンチマークを用いた最近の研究は、事前学習モデルが優れた一般化性能を発揮することを示唆しているが、事前学習データへの露出は上記の分布制御を損なう可能性があると主張している。 我々はKim and Linzen(2020)のCOGSベンチマークを用いて,(1)文脈制御された語彙項目を新しい文字配列で置換する,(2)新しい埋め込みで表現された特別なトークンで置換する,という2つの改良された評価設定を検証した。 これらの設定はいずれもT5(Raffel et al., 2020)の一般化性能を低下させ, 前報では事前トレーニング中に非制御語彙曝露により過大評価されていることを示唆している。 新たな埋め込みでは性能劣化が極端であり、事前学習データの量によって劣化が増加し、逆スケーリングの興味深いケースが浮かび上がっている。

関連論文リスト

• On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
  教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。 本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。 この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
  論文  参考訳（メタデータ） (2024-03-11T16:23:42Z)
• Lexical Repetitions Lead to Rote Learning: Unveiling the Impact of Lexical Overlap in Train and Test Reference Summaries [131.80860903537172]
  理想的な要約モデルは、roteによる参照トレーニング要約を覚えることなく、新しい要約価値のあるコンテンツに一般化すべきである。 本稿では,参照テストサマリーとトレーニングサマリーの語彙的類似性に基づいて,テストセットを分割し,詳細な評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2023-11-15T23:47:53Z)
• Enhancing Supervised Learning with Contrastive Markings in Neural Machine Translation Training [10.498938255717066]
  ニューラルネットワーク翻訳(NMT)における指導的学習は、典型的には教師の強制パラダイムに従う。 コントラッシブマーキング目的による標準最大推定の簡易拡張を提案する。 コントラストマーキングによるトレーニングは教師付き学習の上に改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-07-17T11:56:32Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Dynamic Scheduled Sampling with Imitation Loss for Neural Text Generation [10.306522595622651]
  トレーニング時間精度のみに基づいてスケジュールを維持するDySI(Dynamic Scheduled Sampling with Imitation Loss)を導入する。 DySIは標準的な機械翻訳ベンチマークの顕著な改善を実現し、他のテキスト生成モデルの堅牢性を大幅に改善した。
  論文  参考訳（メタデータ） (2023-01-31T16:41:06Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Categorizing Semantic Representations for Neural Machine Translation [53.88794787958174]
  ソースの文脈化表現に分類を導入する。 主な考え方は、スパーシリティとオーバーフィッティングを減らして一般化を強化することである。 MTデータセットを用いた実験により,提案手法は構成一般化誤差率を24%削減することを示した。
  論文  参考訳（メタデータ） (2022-10-13T04:07:08Z)
• Revisiting the Compositional Generalization Abilities of Neural Sequence Models [23.665350744415004]
  一般的なSCANベンチマークで導入されたワンショットプリミティブな一般化に焦点を当てる。 トレーニング分布をシンプルかつ直感的に修正することで、標準的なSeq-to-seqモデルでほぼ完璧な一般化性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-03-14T18:03:21Z)
• Compositional generalization in semantic parsing with pretrained transformers [13.198689566654108]
  我々は,非英語コーパスやプログラミング言語コーパスにのみ事前訓練された言語モデルが,アウト・オブ・ディストリビューションの一般化を著しく改善することを示した。 また, より大規模なモデルではスクラッチからのトレーニングが困難であり, 収束までのトレーニングでは, 一般化精度が低いことを示す。
  論文  参考訳（メタデータ） (2021-09-30T13:06:29Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。