論文の概要: Evaluating the Impact of Model Scale for Compositional Generalization in Semantic Parsing

• arxiv url: http://arxiv.org/abs/2205.12253v1
• Date: Tue, 24 May 2022 17:57:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 14:33:29.716415
• Title: Evaluating the Impact of Model Scale for Compositional Generalization in Semantic Parsing
• Title（参考訳）: 意味解析における合成一般化におけるモデル尺度の影響評価
• Authors: Linlu Qiu, Peter Shaw, Panupong Pasupat, Tianze Shi, Jonathan Herzig, Emily Pitler, Fei Sha, Kristina Toutanova
• Abstract要約: 最近の研究により、モデルスケーリングによる多くのNLPタスクが大幅に改善されている。 ファインチューニングは通常、分布外合成の一般化に対して平坦または負のスケーリング曲線を持つ。 文脈内学習は、正のスケーリング曲線を持つが、一般的には、より小さな微調整モデルよりも優れている。
• 参考スコア（独自算出の注目度）: 38.770055054268965
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite their strong performance on many tasks, pre-trained language models have been shown to struggle on out-of-distribution compositional generalization. Meanwhile, recent work has shown considerable improvements on many NLP tasks from model scaling. Can scaling up model size also improve compositional generalization in semantic parsing? We evaluate encoder-decoder models up to 11B parameters and decoder-only models up to 540B parameters, and compare model scaling curves for three different methods for transfer learning: fine-tuning all parameters, prompt tuning, and in-context learning. We observe that fine-tuning generally has flat or negative scaling curves on out-of-distribution compositional generalization in semantic parsing evaluations. In-context learning has positive scaling curves, but is generally outperformed by much smaller fine-tuned models. Prompt-tuning can outperform fine-tuning, suggesting further potential improvements from scaling as it exhibits a more positive scaling curve. Additionally, we identify several error trends that vary with model scale. For example, larger models are generally better at modeling the syntax of the output space, but are also more prone to certain types of overfitting. Overall, our study highlights limitations of current techniques for effectively leveraging model scale for compositional generalization, while our analysis also suggests promising directions for future work.
• Abstract（参考訳）: 多くのタスクにおいて高い性能を示したにもかかわらず、事前学習された言語モデルは、分配外構成の一般化に苦戦している。 一方、最近の研究では、モデルスケーリングによる多くのNLPタスクが大幅に改善されている。 モデルサイズをスケールアップすることで、意味解析の合成一般化も改善できるのだろうか? 我々は,最大11Bパラメータと最大540Bパラメータのエンコーダ・デコーダモデルを評価し,すべてのパラメータの微調整,即時チューニング,コンテキスト内学習の3つの方法について,モデルスケーリング曲線を比較した。 我々は, セマンティック・パーシング評価において, 分布外構成の一般化に対して, 概して平坦あるいは負のスケーリング曲線を持つことを示した。 インコンテクスト学習はポジティブなスケーリング曲線を持つが、一般的にはより小さな微調整モデルの方が優れている。 プロンプトチューニングは微調整よりも優れており、よりポジティブなスケーリング曲線を示すため、スケーリングの改善の可能性も示唆されている。 さらに,モデルスケールによって異なる複数の誤差傾向を同定する。 例えば、より大きなモデルは一般的に出力空間の構文をモデル化するのに優れているが、ある種の過度に適合する傾向がある。 本研究は,構成一般化にモデルスケールを効果的に活用するための現在の手法の限界を強調するとともに,今後の研究に期待できる方向性も示唆する。

関連論文リスト

• A Hitchhiker's Guide to Scaling Law Estimation [56.06982415792523]
  スケーリング法則は、より少ないパラメータやより少ないトレーニングセットで訓練が容易なモデルから外挿することで、ターゲットとなる機械学習モデルの損失を予測する。 我々は1000以上のスケーリング法則を推定し、新しいモデルファミリーにおけるスケーリング法則を推定するためのベストプラクティスを導出する。
  論文  参考訳（メタデータ） (2024-10-15T17:59:10Z)
• Observational Scaling Laws and the Predictability of Language Model Performance [51.2336010244645]
  本稿では、モデルトレーニングを回避し、100のパブリックモデルからスケーリング法則を構築する観察的アプローチを提案する。 いくつかの創発現象が滑らかでシグモダルな挙動を辿り、小さなモデルから予測可能であることを示す。 言語モデル機能の改善が進むにつれて、Chain-of-ThoughtやSelf-Consistencyといったポストトレーニング介入の影響を予測する方法を示す。
  論文  参考訳（メタデータ） (2024-05-17T17:49:44Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Few-shot Fine-tuning vs. In-context Learning: A Fair Comparison and Evaluation [35.72916406365469]
  数ショットの微調整とコンテキスト内学習の一般化と,データセットへの挑戦を比較した。 この結果から,微調整言語モデルがドメイン外をうまく一般化できることが示唆された。
  論文  参考訳（メタデータ） (2023-05-26T13:55:17Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。