論文の概要: Emergent Abilities in Reduced-Scale Generative Language Models

• arxiv url: http://arxiv.org/abs/2404.02204v1
• Date: Tue, 2 Apr 2024 18:00:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 19:38:40.490916
• Title: Emergent Abilities in Reduced-Scale Generative Language Models
• Title（参考訳）: 大規模生成言語モデルにおける創発的能力
• Authors: Sherin Muckatira, Vijeta Deshpande, Vladislav Lialin, Anna Rumshisky,
• Abstract要約: 大規模言語モデルはタスク固有の微調整なしで新しいタスクを解くことができる。 この能力は創発的能力と見なされ、数十億のパラメータを持つ大きな言語モデルで主に見られる。 本研究では,そのような創発特性がモデルサイズと厳密に結びついているか,縮小スケールで訓練されたより小さなモデルで示すことができるかを検討する。
• 参考スコア（独自算出の注目度）: 10.51168925267033
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models can solve new tasks without task-specific fine-tuning. This ability, also known as in-context learning (ICL), is considered an emergent ability and is primarily seen in large language models with billions of parameters. This study investigates if such emergent properties are strictly tied to model size or can be demonstrated by smaller models trained on reduced-scale data. To explore this, we simplify pre-training data and pre-train 36 causal language models with parameters varying from 1 million to 165 million parameters. We show that models trained on this simplified pre-training data demonstrate enhanced zero-shot capabilities across various tasks in simplified language, achieving performance comparable to that of pre-trained models six times larger on unrestricted language. This suggests that downscaling the language allows zero-shot learning capabilities to emerge in models with limited size. Additionally, we find that these smaller models pre-trained on simplified data demonstrate a power law relationship between the evaluation loss and the three scaling factors: compute, dataset size, and model size.
• Abstract（参考訳）: 大規模言語モデルはタスク固有の微調整なしで新しいタスクを解くことができる。 この能力は、ICL(In-context Learning)としても知られており、数十億のパラメータを持つ大規模言語モデルで主に見られる創発的な能力であると考えられている。 本研究では,そのような創発特性がモデルサイズと厳密に結びついているか,縮小スケールで訓練されたより小さなモデルで示すことができるかを検討する。 そこで本研究では,事前学習データと,パラメータが100万から1億6500万まで変化する36の因果言語モデルについて検討する。 この単純化された事前学習データに基づいてトレーニングされたモデルは、単純化された言語における様々なタスクにおけるゼロショット能力の強化を示し、非制限言語における事前訓練されたモデルの6倍の精度を実現した。 このことは、言語をダウンスケールすることで、ゼロショット学習機能が限られたサイズでモデルに現れることを示唆している。 さらに、単純化されたデータに基づいて事前訓練されたこれらの小さなモデルは、評価損失と3つのスケーリング要因(計算、データセットサイズ、モデルサイズ)の間の電力法則の関係を示す。

関連論文リスト

• Scaling Smart: Accelerating Large Language Model Pre-training with Small Model Initialization [22.90653167145603]
  本稿では,事前学習した言語モデルのパラメータを,隠れ次元が増大する大規模モデルのパラメータに拡張する手法であるHyperCloningを紹介する。 結果として、より大きなモデルは、トレーニングを開始する前に、より小さなモデルの予測能力と精度をすでに継承している。
  論文  参考訳（メタデータ） (2024-09-19T16:50:26Z)
• Observational Scaling Laws and the Predictability of Language Model Performance [51.2336010244645]
  本稿では、モデルトレーニングを回避し、100のパブリックモデルからスケーリング法則を構築する観察的アプローチを提案する。 いくつかの創発現象が滑らかでシグモダルな挙動を辿り、小さなモデルから予測可能であることを示す。 言語モデル機能の改善が進むにつれて、Chain-of-ThoughtやSelf-Consistencyといったポストトレーニング介入の影響を予測する方法を示す。
  論文  参考訳（メタデータ） (2024-05-17T17:49:44Z)
• Small Language Models are Good Too: An Empirical Study of Zero-Shot Classification [4.4467858321751015]
  異なるアーキテクチャとスコアリング関数を用いて、77Mから40Bパラメータの言語モデルをベンチマークする。 この結果から、小さなモデルはテキストを効果的に分類し、より大きなテキストに匹敵するか、上回っていることが明らかとなった。 この研究は、大きめが常に良いとは限らないという考えを強調し、リソース効率の良い小さなモデルが特定のデータ分類の課題に対して実行可能なソリューションを提供するかもしれないことを示唆している。
  論文  参考訳（メタデータ） (2024-04-17T07:10:28Z)
• Split and Rephrase with Large Language Models [2.499907423888049]
  Split and Rephrase (SPRP) タスクは、複雑な文を短い文法文の列に分割する。 タスク上の大きな言語モデルを評価し、主要なメトリクスに基づいて、技術の現状を大幅に改善できることを示します。
  論文  参考訳（メタデータ） (2023-12-18T10:16:37Z)
• Contrastive Alignment of Vision to Language Through Parameter-Efficient Transfer Learning [60.26952378997713]
  コントラスト的視覚言語モデル(例えばCLIP)は、コントラスト的トレーニングを通じて視覚モデルと言語モデルの全てのパラメータを更新することによって作成される。 パラメータ更新の最小セット($7%)が、フルモデルトレーニングと同じパフォーマンスを実現可能であることを示す。 既存の知識がパラメータ効率のトレーニングにおいてより強く保存されていることを示す。
  論文  参考訳（メタデータ） (2023-03-21T14:12:08Z)
• Go-tuning: Improving Zero-shot Learning Abilities of Smaller Language Models [23.818751895205132]
  Go-tuningは幾何学誘導型自己教師型学習法である。 ゴーチューニングは、T5-XL(3B)のような大きな言語モデルと比較して、T5-小(80M)の競合ゼロショット結果を可能にする。
  論文  参考訳（メタデータ） (2022-12-20T17:36:49Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• Emergent Abilities of Large Language Models [172.08007363384218]
  より小さなモデルには存在しないが、より大きなモデルには存在しない場合、創発する能力を考える。 このような出現の存在は、さらなるスケーリングが言語モデルの機能範囲をさらに拡大することを意味している。
  論文  参考訳（メタデータ） (2022-06-15T17:32:01Z)
• GLaM: Efficient Scaling of Language Models with Mixture-of-Experts [84.33607245023049]
  我々はGLaM(Generalist Language Model)という言語モデル群を提案し,開発する。 GLaMは、厳密な変種に比べてトレーニングコストを大幅に削減しつつ、モデルのキャパシティを拡大するために、わずかに活性化されたミックス・オブ・エキスパートアーキテクチャを使用する。 GPT-3の訓練に使用するエネルギーの1/3しか消費せず、推論にはフロップの半分しか必要とせず、29のNLPタスクにまたがる全体的なゼロショットとワンショットのパフォーマンスは向上している。
  論文  参考訳（メタデータ） (2021-12-13T18:58:19Z)
• Scaling Language Models: Methods, Analysis & Insights from Training Gopher [83.98181046650664]
  本稿では,トランスフォーマーに基づく言語モデルの性能を,幅広いモデルスケールで解析する。 スケールからのゲインは、理解、事実確認、有害言語の同定などにおいて最大である。 我々は、AIの安全性と下流の害の軽減に対する言語モデルの適用について論じる。
  論文  参考訳（メタデータ） (2021-12-08T19:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。