論文の概要: Multi-armed bandits for resource efficient, online optimization of
language model pre-training: the use case of dynamic masking
- arxiv url: http://arxiv.org/abs/2203.13151v2
- Date: Tue, 30 May 2023 11:23:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 03:18:29.565877
- Title: Multi-armed bandits for resource efficient, online optimization of
language model pre-training: the use case of dynamic masking
- Title（参考訳）: 言語モデルの事前学習におけるリソース効率とオンライン最適化のためのマルチアームバンディット:動的マスキングのユースケース
- Authors: I\~nigo Urteaga, Moulay-Za\"idane Dra\"idia, Tomer Lancewicki and
Shahram Khadivi
- Abstract要約: 我々はトランスフォーマーベース言語モデル(TLM)の資源効率向上のためのフレームワークの評価を行った。
本稿では,TLM事前学習型ハイパーパラメータの逐次選択のためのマルチアームバンディットフレームワークを提案する。
GP-TSは、効率よく最適化されたTLM事前学習のためのインタラクティブなフレームワークを提供する。
- 参考スコア（独自算出の注目度）: 7.3618738570222915
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We design and evaluate a Bayesian optimization framework for resource
efficient pre-training of Transformer-based language models (TLMs). TLM
pre-training requires high computational resources and introduces many
unresolved design choices, such as selecting its pre-training hyperparameters.
We propose a multi-armed bandit framework for the sequential selection of TLM
pre-training hyperparameters, aimed at optimizing language model performance,
in a resource efficient manner. We design a Thompson sampling algorithm, with a
surrogate Gaussian process reward model of the Masked Language Model (MLM)
pre-training objective, for its sequential minimization. Instead of MLM
pre-training with fixed masking probabilities, the proposed Gaussian
process-based Thompson sampling (GP-TS) accelerates pre-training by
sequentially selecting masking hyperparameters that improve performance. We
empirically demonstrate how GP-TS pre-trains language models efficiently, i.e.,
it achieves lower MLM loss in fewer epochs, across a variety of settings. In
addition, GP-TS pre-trained TLMs attain competitive downstream performance,
while avoiding expensive hyperparameter grid search. GP-TS provides an
interactive framework for efficient and optimized TLM pre-training that, by
circumventing costly hyperparameter selection, enables substantial
computational savings.
- Abstract（参考訳）: トランスフォーマー型言語モデル(tlms)の資源効率の良い事前学習のためのベイズ最適化フレームワークの設計と評価を行った。
TLM事前学習には高い計算資源が必要であり、事前学習ハイパーパラメータの選択など、未解決の設計選択が数多く導入されている。
本稿では,言語モデルの性能の最適化を目的とした,TLM事前学習型ハイパーパラメータの逐次選択のためのマルチアームバンディットフレームワークを提案する。
我々は,マスク言語モデル(mlm)の事前学習目標であるサロゲートガウス過程報酬モデルを用いて,逐次最小化のためのトンプソンサンプリングアルゴリズムを設計する。
固定マスキング確率を持つMLM事前トレーニングの代わりに,提案したガウスプロセスに基づくトンプソンサンプリング(GP-TS)は,マスキングハイパーパラメータを逐次選択することで事前トレーニングを加速する。
我々は,gp-tsが言語モデルの事前学習を効率的に行うことを実証的に示す。
さらにGP-TSで事前訓練したTLMは、高価なハイパーパラメータグリッドサーチを回避しながら、下流での競争性能が向上した。
GP-TSは高速かつ最適化されたTLM事前学習のための対話型フレームワークを提供する。
関連論文リスト
- Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization [65.64108848398696]
本稿では,MLLMのマルチモーダル推論能力を高めるための選好最適化プロセスを提案する。
我々は,マルチモーダルCoT性能を向上する,MPO(Mixed Preference Optimization)と呼ばれるシンプルで効果的な手法を開発した。
我々のモデルであるInternVL2-8B-MPOは、MathVista上で67.0の精度を実現し、InternVL2-8Bを8.7ポイント上回り、10倍のInternVL2-76Bに匹敵する性能を達成する。
論文 参考訳（メタデータ） (2024-11-15T18:59:27Z) - In-the-loop Hyper-Parameter Optimization for LLM-Based Automated Design of Heuristics [0.020482269513546456]
大規模言語モデル(LLM)は、(メタ)ヒューリスティックを自動的に生成し最適化する大きな可能性を示している。
本稿では,オープンソースのLLaMEAフレームワークとハイパー進化最適化(HPO)手法を統合した新しいハイブリッドアプローチであるLLaMEA-HPOを提案する。
論文 参考訳（メタデータ） (2024-10-07T14:04:31Z) - LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、下流タスクのための大規模な事前学習モデルに効果的に適応する、PEFT (Efficient Fine Tuning) 手法として人気がある。
モデル更新に低階テンソルパラメトリゼーションを用いる新しい手法を提案する。
提案手法は,大規模言語モデルの微調整に有効であり,比較性能を維持しつつ,パラメータ数の大幅な削減を実現している。
論文 参考訳（メタデータ） (2024-10-05T06:59:50Z) - CodePMP: Scalable Preference Model Pretraining for Large Language Model Reasoning [23.21367081440852]
大規模言語モデル(LLM)は、スケーラブルな事前学習と高度な微調整によって、自然言語の理解と生成に大きな進歩をもたらした。
我々は,大規模なコード-参照ペアのコーパスを利用する,スケーラブルな選好モデル事前学習(PMP)パイプラインであるCodePMPを紹介する。
CodePMPは、大規模な合成コード-参照ペアの好みモデルを事前学習することで、RM微調整効率を向上する。
論文 参考訳（メタデータ） (2024-10-03T05:51:26Z) - Optimization Hyper-parameter Laws for Large Language Models [56.322914260197734]
ハイパーパラメータとトレーニング結果の関係をキャプチャするフレームワークであるOps-Lawsを提案する。
さまざまなモデルサイズとデータスケールにわたる検証は、Opt-Lawsのトレーニング損失を正確に予測する能力を示しています。
このアプローチは、全体的なモデル性能を高めながら、計算コストを大幅に削減する。
論文 参考訳（メタデータ） (2024-09-07T09:37:19Z) - Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。
得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。
MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
論文 参考訳（メタデータ） (2024-05-26T00:29:04Z) - Value Augmented Sampling for Language Model Alignment and Personalization [39.070662999014836]
報酬最適化のための新しいフレームワーク、価値拡張サンプリング(VAS)を提案する。
VASは、ポリシーと値関数を併用することなく、最適報酬最大化ポリシーを解く。
我々のアルゴリズムは、いくつかの報酬を作曲し、展開期間中に各報酬の幅を制御できる新しい能力を解き放ちます。
論文 参考訳（メタデータ） (2024-05-10T17:59:04Z) - Hyperparameter Optimization for Large Language Model Instruction-Tuning [6.743825167463901]
トレーニング済みLLMをブラックボックスとして微調整と検証を行うパイプライン全体について検討する。
本研究では,提案アルゴリズムを用いて高次パラメータの空間を効率的に探索し,チューニングモデルの性能向上と人為的アライメントを実現する。
論文 参考訳（メタデータ） (2023-12-01T22:03:12Z) - PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language
Models [52.09865918265002]
ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。
PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。
BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
論文 参考訳（メタデータ） (2023-05-30T08:41:33Z) - Multi-level Training and Bayesian Optimization for Economical
Hyperparameter Optimization [12.92634461859467]
本稿では,ハイパーパラメータ最適化に必要なトレーニング時間の総量を削減するための効果的な手法を開発する。
光のトレーニングによって生じる近似的な性能測定をキャリブレーションするために, トランキャット付加法ガウス過程モデルを提案する。
このモデルに基づいて、逐次モデルに基づくアルゴリズムが開発され、構成空間のパフォーマンスプロファイルを生成し、最適なモデルを見つける。
論文 参考訳（メタデータ） (2020-07-20T09:03:02Z) - Semi-Autoregressive Training Improves Mask-Predict Decoding [119.8412758943192]
本研究では,マスク予測の半自己回帰動作を模倣した条件付きマスキング言語モデルSMARTを提案する。
SMARTでトレーニングされたモデルは、マスク予測デコードを使用すると高品質な変換を生成し、完全な自己回帰モデルで残りの性能ギャップを効果的に閉じる。
論文 参考訳（メタデータ） (2020-01-23T19:56:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。