論文の概要: Transfer training from smaller language model
- arxiv url: http://arxiv.org/abs/2104.11390v1
- Date: Fri, 23 Apr 2021 02:56:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-26 20:20:46.807887
- Title: Transfer training from smaller language model
- Title（参考訳）: 小型言語モデルからのトランスファートレーニング
- Authors: Han Zhang
- Abstract要約: 小型の訓練済みモデルを大規模モデルに変更することで、トレーニング時間とリソースコストを節約する方法を見つけます。
ターゲットモデルを複数のデータセットでテストし、ソースモデルといまだに同等であることを示す。
- 参考スコア（独自算出の注目度）: 6.982133308738434
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models have led to state-of-the-art accuracies across a range
of tasks. However,training large language model needs massive computing
resource, as more and more open source pre-training models are available, it is
worthy to study how to take full advantage of available model. We find a method
to save training time and resource cost by changing the small well-trained
model to large model. We initialize a larger target model from a smaller source
model by copy weight values from source model and padding with zeros or small
initialization values on it to make the source and target model have
approximate outputs, which is valid due to block matrix multiplication and
residual connection in transformer structure. We test the target model on
several data sets and find it is still comparable with the source model. When
we continue training the target model, the training loss can start from a
smaller value.
- Abstract（参考訳）: 大規模な言語モデルは様々なタスクに最先端の精度をもたらす。
しかし、大規模言語モデルのトレーニングには膨大なコンピューティングリソースが必要であり、より多くのオープンソース事前トレーニングモデルが利用可能になっているため、利用可能なモデルを最大限に活用する方法を研究することには価値がある。
そこで本研究では,学習時間と資源コストを削減すべく,小型の訓練モデルから大規模モデルへ変更する手法を提案する。
ソースモデルから重み値をコピーし、ゼロまたは小さな初期化値でパディングすることで、より小さなソースモデルから大きなターゲットモデルを初期化し、ソースモデルとターゲットモデルを近似出力にすることで、トランス構造におけるブロック行列の乗算と残留接続のために有効である。
ターゲットモデルを複数のデータセットでテストし、ソースモデルといまだに同等であることを示す。
ターゲットモデルをトレーニングし続けると、トレーニング損失はより小さな値から始まります。
関連論文リスト
- Scaling Smart: Accelerating Large Language Model Pre-training with Small Model Initialization [22.90653167145603]
本稿では,事前学習した言語モデルのパラメータを,隠れ次元が増大する大規模モデルのパラメータに拡張する手法であるHyperCloningを紹介する。
結果として、より大きなモデルは、トレーニングを開始する前に、より小さなモデルの予測能力と精度をすでに継承している。
論文 参考訳（メタデータ） (2024-09-19T16:50:26Z) - Initializing Models with Larger Ones [76.41561758293055]
事前訓練された大モデルから重みのサブセットを選択することにより、より小さなモデルを初期化する手法である重み選択を導入する。
実験により, 重量選択は小型モデルの性能を著しく向上し, トレーニング時間を短縮できることが示された。
論文 参考訳（メタデータ） (2023-11-30T18:58:26Z) - Reusing Pretrained Models by Multi-linear Operators for Efficient
Training [65.64075958382034]
大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。
bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。
本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
論文 参考訳（メタデータ） (2023-10-16T06:16:47Z) - TRAK: Attributing Model Behavior at Scale [79.56020040993947]
本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
論文 参考訳（メタデータ） (2023-03-24T17:56:22Z) - Efficient Language Model Training through Cross-Lingual and Progressive
Transfer Learning [0.7612676127275795]
ほとんどのトランスフォーマー言語モデルは英語のテキストで事前訓練されている。
モデルのサイズが大きくなるにつれて、英語と他の言語のパフォーマンスギャップはさらに大きくなる。
我々はCLP-Transferと呼ばれる言語横断的・進行的トランスファー学習手法を導入する。
論文 参考訳（メタデータ） (2023-01-23T18:56:12Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Revealing Secrets From Pre-trained Models [2.0249686991196123]
トランスファーラーニングは多くの新しいディープラーニングアルゴリズムで広く採用されている。
本研究では,事前学習モデルと微調整モデルが重み値に非常によく似ていることを示す。
ブラックボックスの被害者モデルで使用されるモデルアーキテクチャと事前訓練モデルを明らかにするモデル抽出攻撃を提案する。
論文 参考訳（メタデータ） (2022-07-19T20:19:03Z) - bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。
bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
論文 参考訳（メタデータ） (2021-10-14T04:05:25Z) - Train Large, Then Compress: Rethinking Model Size for Efficient Training
and Inference of Transformers [94.43313684188819]
本研究では,計算によって制限されたNLPタスクのトランスフォーマーモデルに着目し,モデルサイズの影響について検討する。
まず最初に、より小さなTransformerモデルがイテレーション毎に高速に実行されているにもかかわらず、より広いモデルとより深いモデルがはるかに少ないステップで収束していることを示します。
これは、大きなTransformerモデルのトレーニング効率と小さなTransformerモデルの推論効率との間に明らかなトレードオフをもたらす。
論文 参考訳（メタデータ） (2020-02-26T21:17:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。