論文の概要: Why do small language models underperform? Studying Language Model Saturation via the Softmax Bottleneck

• arxiv url: http://arxiv.org/abs/2404.07647v1
• Date: Thu, 11 Apr 2024 11:10:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 14:19:15.584970
• Title: Why do small language models underperform? Studying Language Model Saturation via the Softmax Bottleneck
• Title（参考訳）: 小さな言語モデルはなぜ性能が低いのか?Softmax Bottleneckによる言語モデル飽和の研究
• Authors: Nathan Godey, Éric de la Clergerie, Benoît Sagot,
• Abstract要約: より小型モデルは飽和に悩まされる可能性があり,訓練の先進点における性能低下を特徴とする。 これは、より小さなモデルの隠れ次元とターゲットの文脈確率分布の高階とのミスマッチによって説明できる。 各種設定におけるソフトマックスボトルネックの影響を計測し,1000次元未満の隠れ次元に基づくモデルでは,遅延事前学習において退化した潜在表現を採用する傾向にあることを示す。
• 参考スコア（独自算出の注目度）: 11.416426888383873
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent advances in language modeling consist in pretraining highly parameterized neural networks on extremely large web-mined text corpora. Training and inference with such models can be costly in practice, which incentivizes the use of smaller counterparts. However, it has been observed that smaller models can suffer from saturation, characterized as a drop in performance at some advanced point in training followed by a plateau. In this paper, we find that such saturation can be explained by a mismatch between the hidden dimension of smaller models and the high rank of the target contextual probability distribution. This mismatch affects the performance of the linear prediction head used in such models through the well-known softmax bottleneck phenomenon. We measure the effect of the softmax bottleneck in various settings and find that models based on less than 1000 hidden dimensions tend to adopt degenerate latent representations in late pretraining, which leads to reduced evaluation performance.
• Abstract（参考訳）: 言語モデリングの最近の進歩は、非常に大きなウェブマイニングテキストコーパス上で、高度にパラメータ化されたニューラルネットワークを事前訓練することである。 このようなモデルによるトレーニングと推論は、実際にコストがかかり、より小さなモデルの使用を動機付けます。 しかし、より小型のモデルでは飽和に悩まされ、訓練の先進点で性能が低下し、高原が続くのが特徴である。 本稿では,より小さいモデルの隠れ次元とターゲットの文脈確率分布の高階とのミスマッチによって,そのような飽和が説明できることを示す。 このミスマッチは、よく知られたソフトマックスボトルネック現象を通じて、そのようなモデルで使用される線形予測ヘッドの性能に影響を与える。 各種設定におけるソフトマックスボトルネックの影響を計測し,1000次元未満の隠れ次元に基づくモデルでは,遅延事前学習において退化した潜在表現を採用する傾向があり,評価性能が低下することを示した。

関連論文リスト

• A Hitchhiker's Guide to Scaling Law Estimation [56.06982415792523]
  スケーリング法則は、より少ないパラメータやより少ないトレーニングセットで訓練が容易なモデルから外挿することで、ターゲットとなる機械学習モデルの損失を予測する。 我々は1000以上のスケーリング法則を推定し、新しいモデルファミリーにおけるスケーリング法則を推定するためのベストプラクティスを導出する。
  論文  参考訳（メタデータ） (2024-10-15T17:59:10Z)
• Tending Towards Stability: Convergence Challenges in Small Language Models [3.734405405403176]
  その利点にもかかわらず、より小型のモデルはより大きなモデルに比べて性能が劣ることが多い。 これは、比例的に表現能力の低下によるものである。 階層のアクティベーションの収束とパラメータの有効ランクを結びつけることで、我々の分析は、小さなモデルの学習力学における非効率性に対処するために将来の研究を導くことができる。
  論文  参考訳（メタデータ） (2024-10-15T09:57:19Z)
• Strong Model Collapse [16.071600606637908]
  本稿では,モデル崩壊現象の強い形態が存在することを示す。 以上の結果から,最小の合成データであっても,モデル崩壊につながる可能性が示唆された。 大規模言語モデルの学習における現在の傾向に沿ったアプローチであるモデルサイズの増加が,モデル崩壊を悪化させるか緩和させるかを検討する。
  論文  参考訳（メタデータ） (2024-10-07T08:54:23Z)
• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Compressing Sentence Representation with maximum Coding Rate Reduction [0.0]
  ほとんどの自然言語推論問題では、文表現は意味検索タスクに必要である。 スペースとハードウェアの制限のため、より小さなモデルを使用する場合には、同等の結果を得る必要がある。 複雑性と文埋め込みサイズを低減した新しい言語モデルは,セマンティック検索ベンチマークにおいて同等の結果が得られることを実証した。
  論文  参考訳（メタデータ） (2023-04-25T09:23:43Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• A Multi-dimensional Evaluation of Tokenizer-free Multilingual Pretrained Models [87.7086269902562]
  サブワードベースのモデルは、多くの設定において依然として最も実用的な選択肢であることを示している。 我々は,新しいモデルを設計し,評価する際のこれらの要因を検討するために,トークンフリーな手法の今後の取り組みを奨励する。
  論文  参考訳（メタデータ） (2022-10-13T15:47:09Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• On the Benefits of Models with Perceptually-Aligned Gradients [8.427953227125148]
  敵攻撃に対する強靭性を示さないモデルにおいても,解釈的かつ知覚的に整合した勾配が存在することを示す。 解釈可能な知覚整合性を持つモデルを活用し、最大摂動境界の低い対角トレーニングがゼロショットおよび弱教師付きローカライゼーションタスクのモデルの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2020-05-04T14:05:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。