論文の概要: Pruning Pre-trained Language Models with Principled Importance and Self-regularization

• arxiv url: http://arxiv.org/abs/2305.12394v1
• Date: Sun, 21 May 2023 08:15:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 20:53:03.480026
• Title: Pruning Pre-trained Language Models with Principled Importance and Self-regularization
• Title（参考訳）: 原理的重要度と自己正規化による事前学習型言語モデルの開発
• Authors: Siyu Ren, Kenny Q. Zhu
• Abstract要約: 反復プルーニングは、事前訓練された言語モデルにおいて最も効果的な圧縮手法の1つである。 モデル予測を最新のチェックポイントで正規化する自己正規化手法を提案する。 自然言語理解,質問応答,名前付きエンティティ認識,および様々なトランスフォーマーベースのPLMを用いたデータ・テキスト生成に関する実験により,様々な空間レベルにおけるアプローチの有効性が示された。
• 参考スコア（独自算出の注目度）: 18.088550230146247
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Iterative pruning is one of the most effective compression methods for pre-trained language models. We discovered that finding the optimal pruning decision is an equality-constrained 0-1 Integer Linear Programming problem. The solution to this optimization problem leads to a principled importance criterion which we use to rank parameters during iterative model pruning. To mitigate the poor generalization at high sparsity levels, we propose a self-regularization scheme where model prediction is regularized by the latest checkpoint with increasing sparsity throughout pruning. Our experiments on natural language understanding, question-answering, named entity recognition, and data-to-text generation with various Transformer-based PLMs show the effectiveness of the approach at various sparsity levels.
• Abstract（参考訳）: 反復プルーニングは、事前訓練された言語モデルにおいて最も効果的な圧縮手法の1つである。 最適プルーニング決定の発見は等式制約付き 0-1 整数線形計画問題であることがわかった。 この最適化問題の解決策は、反復的モデルプルーニング中にパラメータのランク付けに使用する原則的な重要性基準をもたらす。 高いスパーニングレベルにおける一般化の貧弱さを緩和するために,最新のチェックポイントによってモデル予測を定式化し,プルーニング中スパーニングを増加させる自己正規化方式を提案する。 自然言語理解,質問応答,名前付きエンティティ認識,各種トランスフォーマーPLMを用いたデータ・テキスト生成に関する実験は,様々な空間レベルにおけるアプローチの有効性を示す。

関連論文リスト

• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Boosting Fair Classifier Generalization through Adaptive Priority Reweighing [59.801444556074394]
  より優れた一般化性を持つ性能向上フェアアルゴリズムが必要である。 本稿では,トレーニングデータとテストデータ間の分散シフトがモデル一般化性に与える影響を解消する適応的リライジング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T13:04:55Z)
• Deep-learning-based Early Fixing for Gas-lifted Oil Production Optimization: Supervised and Weakly-supervised Approaches [7.676408770854476]
  混合整数線形計画(MILP)は、ガス回収油井からの石油生産を最大化するために用いられる。 本稿では,全ての整数変数に値を提供するために訓練されたディープラーニングモデルに基づくテーラーメイドのソリューションを提案する。
  論文  参考訳（メタデータ） (2023-09-01T01:23:28Z)
• Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
  マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。 本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。 いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-14T18:18:02Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• A Sparsity-promoting Dictionary Model for Variational Autoencoders [16.61511959679188]
  深層生成モデルにおける潜伏空間の構造化は、より表現力のあるモデルと解釈可能な表現を得るために重要である。 本稿では,空間の空間構造をスパーシティ・プロモーティング・辞書・モデルを用いて簡易かつ効果的に構築する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-29T17:13:11Z)
• Adapting by Pruning: A Case Study on BERT [9.963251767416967]
  対象タスクの性能を最適化するために,事前学習したモデルの神経接続をpruneするプラニングにより適応する新しいモデル適応パラダイムを提案する。 本稿では, 最適化問題として適応分割法を定式化し, モデル作成のための効率的なアルゴリズムを提案する。 以上の結果から,提案手法は細調整フルモデルと同等の性能を示しながら,BERTの最大50%の重み付けが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-07T15:51:08Z)
• Integrated Optimization of Predictive and Prescriptive Tasks [0.0]
  予測タスクを記述タスクとして直接統合する新しいフレームワークを提案する。 予測アルゴリズムのパラメータを2レベル最適化技術により、処方問題内でトレーニングします。
  論文  参考訳（メタデータ） (2021-01-02T02:43:10Z)
• Logistic Q-Learning [87.00813469969167]
  MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。 提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
  論文  参考訳（メタデータ） (2020-10-21T17:14:31Z)
• Density Fixing: Simple yet Effective Regularization Method based on the Class Prior [2.3859169601259347]
  本稿では,教師付き・半教師付き学習によく用いられる密度固定法という正規化手法の枠組みを提案する。 提案手法は,モデルの事前分布や発生頻度を近似させることで,一般化性能を向上させる。
  論文  参考訳（メタデータ） (2020-07-08T04:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。