論文の概要: WAVE: Weight Template for Adaptive Initialization of Variable-sized Models

• arxiv url: http://arxiv.org/abs/2406.17503v2
• Date: Mon, 15 Jul 2024 06:41:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 00:06:54.749483
• Title: WAVE: Weight Template for Adaptive Initialization of Variable-sized Models
• Title（参考訳）: WAVE:可変サイズのモデルの適応初期化のためのウェイトテンプレート
• Authors: Fu Feng, Yucheng Xie, Jing Wang, Xin Geng,
• Abstract要約: WAVEは、様々な深さと幅のモデルを初期化する際に、最先端の性能を達成する。 WAVEは、一連のデータセット間で最も効率的な知識伝達を同時に達成する。
• 参考スコア（独自算出の注目度）: 37.97945436202779
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The expansion of model parameters underscores the significance of pre-trained models; however, the constraints encountered during model deployment necessitate models of variable sizes. Consequently, the traditional pre-training and fine-tuning paradigm fails to address the initialization problem when target models are incompatible with pre-trained models. We tackle this issue from a multitasking perspective and introduce \textbf{WAVE}, which incorporates a set of shared \textbf{W}eight templates for \textbf{A}daptive initialization of \textbf{V}ariable-siz\textbf{E}d Models. During initialization, target models will initialize the corresponding weight scalers tailored to their model size, which are sufficient to learn the connection rules of weight templates based on the Kronecker product from a limited amount of data. For the construction of the weight templates, WAVE utilizes the \textit{Learngene} framework, which structurally condenses common knowledge from ancestry models into weight templates as the learngenes through knowledge distillation. This process allows the integration of pre-trained models' knowledge into structured knowledge according to the rules of weight templates. We provide a comprehensive benchmark for the learngenes, and extensive experiments demonstrate the efficacy of WAVE. The results show that WAVE achieves state-of-the-art performance when initializing models with various depth and width, and even outperforms the direct pre-training of $n$ entire models, particularly for smaller models, saving approximately $n\times$ and $5\times$ in computational and storage resources, respectively. WAVE simultaneously achieves the most efficient knowledge transfer across a series of datasets, specifically achieving an average improvement of 1.8\% and 1.2\% on 7 downstream datasets.
• Abstract（参考訳）: モデルパラメータの拡張は、事前訓練されたモデルの重要性を浮き彫りにするが、モデル展開時に発生する制約は、変数サイズのモデルを必要とする。 その結果、従来の事前学習および微調整のパラダイムは、目標モデルが事前訓練モデルと互換性がない場合に初期化の問題に対処できない。 マルチタスクの観点からこの問題に取り組み,共有された \textbf{W}eight テンプレートを組み込んだ \textbf{V}ariable-siz\textbf{E}d モデルを導入する。 初期化の間、ターゲットモデルはモデルサイズに合わせて対応するウェイトスケーラを初期化するが、これは限られたデータ量からクロネッカー積に基づくウェイトテンプレートの接続ルールを学ぶのに十分である。 重みテンプレートの構築には、祖先モデルからの共通知識を知識蒸留による学習遺伝子として重みテンプレートに構造的に凝縮する「textit{Learngene} framework」を用いる。 このプロセスは、トレーニング済みモデルの知識を重みテンプレートの規則に従って構造化された知識に統合することを可能にする。 本稿では,学習遺伝子に対する総合的なベンチマークを行い,WAVEの有効性を実証した。 その結果、WAVEは、様々な深さと幅のモデルの初期化時に最先端の性能を達成し、特に小型モデルでは、それぞれ$n\times$および$5\times$の計算資源において、$n$モデルの直接事前学習よりも優れていた。 WAVEは、一連のデータセットをまたいだ最も効率的な知識伝達を同時に達成し、特に7つの下流データセットで1.8\%と1.2\%の平均的な改善を達成する。

関連論文リスト

• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Model Stock: All we need is just a few fine-tuned models [34.449901046895185]
  本稿では,大規模な事前学習モデルに対する効率的な微調整手法を提案し,強力な分布内分散(ID)と分布外分散(OOD)性能を提供する。 最終的な重量を達成するために、はるかに少ないモデルを採用するが、精度は優れている。 事前学習型CLIPアーキテクチャに基づく微調整モデルを用いたモデルストックの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-28T15:57:20Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Revealing Secrets From Pre-trained Models [2.0249686991196123]
  トランスファーラーニングは多くの新しいディープラーニングアルゴリズムで広く採用されている。 本研究では,事前学習モデルと微調整モデルが重み値に非常によく似ていることを示す。 ブラックボックスの被害者モデルで使用されるモデルアーキテクチャと事前訓練モデルを明らかにするモデル抽出攻撃を提案する。
  論文  参考訳（メタデータ） (2022-07-19T20:19:03Z)
• Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
  本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。 実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。 Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-05-30T16:55:59Z)
• bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
  本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
  論文  参考訳（メタデータ） (2021-10-14T04:05:25Z)
• Reinforcement Learning based dynamic weighing of Ensemble Models for Time Series Forecasting [0.8399688944263843]
  データモデリングのために選択されたモデルが(線形/非線形、静的/動的)異なるモデルと独立(最小相関)モデルである場合、予測の精度が向上することが知られている。 アンサンブルモデルを重み付けするために文献で提案された様々なアプローチは、静的な重みセットを使用する。 この問題に対処するため、Reinforcement Learning (RL)アプローチでは、各モデルの重み付けを異なるタイミングで動的に割り当て、更新する。
  論文  参考訳（メタデータ） (2020-08-20T10:40:42Z)
• Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
  現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。 アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。 デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
  論文  参考訳（メタデータ） (2020-01-20T15:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。