論文の概要: Understanding Parameter Sharing in Transformers
- arxiv url: http://arxiv.org/abs/2306.09380v1
- Date: Thu, 15 Jun 2023 10:48:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-19 16:35:44.968971
- Title: Understanding Parameter Sharing in Transformers
- Title(参考訳): 変圧器におけるパラメータ共有の理解
- Authors: Ye Lin, Mingxuan Wang, Zhexi Zhang, Xiaohui Wang, Tong Xiao, Jingbo
Zhu
- Abstract要約: トランスフォーマーに関するこれまでの研究は、異なるレイヤでパラメータを共有することに集中しており、モデルの深さを増大させることで、限られたパラメータを持つモデルの性能を向上させることができる。
このアプローチの成功は, モデル複雑性の増加により, ごく一部に過ぎず, 収束性の向上に大きく寄与することを示す。
8つの機械翻訳タスクの実験結果から,パラメータ共有モデルのモデル複雑性を半分に抑えて,我々のモデルが競合性能を達成することが示された。
- 参考スコア(独自算出の注目度): 53.75988363281843
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parameter sharing has proven to be a parameter-efficient approach. Previous
work on Transformers has focused on sharing parameters in different layers,
which can improve the performance of models with limited parameters by
increasing model depth. In this paper, we study why this approach works from
two perspectives. First, increasing model depth makes the model more complex,
and we hypothesize that the reason is related to model complexity (referring to
FLOPs). Secondly, since each shared parameter will participate in the network
computation several times in forward propagation, its corresponding gradient
will have a different range of values from the original model, which will
affect the model convergence. Based on this, we hypothesize that training
convergence may also be one of the reasons. Through further analysis, we show
that the success of this approach can be largely attributed to better
convergence, with only a small part due to the increased model complexity.
Inspired by this, we tune the training hyperparameters related to model
convergence in a targeted manner. Experiments on 8 machine translation tasks
show that our model achieves competitive performance with only half the model
complexity of parameter sharing models.
- Abstract(参考訳): パラメータ共有はパラメータ効率のよいアプローチであることが証明されている。
トランスフォーマーに関するこれまでの研究は、異なるレイヤでパラメータを共有することに集中しており、モデル深さを増やすことで、限られたパラメータを持つモデルの性能を向上させることができる。
本稿では,このアプローチがなぜ2つの視点から機能するのかを考察する。
まず、モデル深度の増加によりモデルがより複雑になり、その理由はモデルの複雑さに関連する(FLOPを参照)と仮定する。
第二に、各共有パラメータは前方伝播においてネットワーク計算に数回参加するので、対応する勾配は元のモデルとは異なる範囲の値を持ち、モデル収束に影響を与える。
これに基づいて、トレーニングの収束も理由の1つだと仮定する。
さらなる分析を通して、このアプローチの成功は、モデル複雑性の増加による小さな部分のみによる、より収束性の向上に起因することが示される。
これに触発されて,モデル収束に関連するトレーニングハイパーパラメータをターゲットとしたチューニングを行う。
8つの機械翻訳タスクにおける実験により、パラメータ共有モデルのモデル複雑性の半分しか持たない競合性能が得られた。
関連論文リスト
- DPPA: Pruning Method for Large Language Model to Model Merging [39.13317231533299]
本稿では、複雑な微調整モデルを統合するという課題に対処するため、DPPA(Dynamic Pruning Partition Amplification)と呼ばれる2段階の手法を提案する。
提案手法は,ドメイン固有のパラメータの20%しか保持せず,他の手法に匹敵する性能を提供する。
提案手法では, プレニング後の性能が優れており, モデルマージにおける性能が20%近く向上した。
論文 参考訳(メタデータ) (2024-03-05T09:12:49Z) - Simulated Overparameterization [35.12611686956487]
SOP(Simulated Overparametrization)と呼ばれる新しいパラダイムを導入する。
SOPは、モデルトレーニングと推論に対するユニークなアプローチを提案し、パラメータのより小さく効率的なサブセットが推論中の実際の計算に使用されるように、非常に多くのパラメータを持つモデルを訓練する。
本稿では,トランスフォーマーモデルを含む主要なアーキテクチャとシームレスに統合する,新しいアーキテクチャ非依存のアルゴリズム"Majority kernels"を提案する。
論文 参考訳(メタデータ) (2024-02-07T17:07:41Z) - Aggregation Model Hyperparameters Matter in Digital Pathology [1.8124328823188354]
デジタル病理学は、ギガピクセル全スライディング画像(WSI)の解析を通じて、疾患検出と病理学の効率を著しく向上させた
表現学習の急速な進化に伴い、多くの新しい特徴抽出モデルが登場した。
従来の評価手法は、結果にバイアスを与える可能性のあるフレームワークである、固定集約モデルハイパーパラメータに依存しています。
論文 参考訳(メタデータ) (2023-11-29T16:54:25Z) - TIES-Merging: Resolving Interference When Merging Models [95.59265307318752]
転送学習は、ダウンストリーム性能の改善、収束の高速化、サンプル効率の向上など、大きな利点をもたらす可能性がある。
モデルマージは、追加のトレーニングを行うことなく、複数のタスク固有のモデルを単一のモデルに組み合わせるソリューションとして登場した。
既存のマージ手法は、しばしば異なるモデルのパラメータ間の干渉を無視し、複数のモデルのマージ時に大きなパフォーマンス低下を引き起こす。
本稿では,モデル統合における新たな3つのステップとして,微調整時に少量だけ変化したパラメータをリセットし,符号衝突を解消し,最終的な一致した符号に一致したパラメータのみをマージするTIES-Mergingを提案する。
論文 参考訳(メタデータ) (2023-06-02T17:31:32Z) - Scaling Pre-trained Language Models to Deeper via Parameter-efficient
Architecture [68.13678918660872]
行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。
MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。
私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
論文 参考訳(メタデータ) (2023-03-27T02:34:09Z) - Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。
本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
論文 参考訳(メタデータ) (2022-03-23T12:52:49Z) - Merging Models with Fisher-Weighted Averaging [24.698591753644077]
我々は、複数のモデルを1つに“マージ”するモデル間で知識を伝達する、根本的に異なる方法を紹介します。
提案手法は,モデルのパラメータの重み付け平均を効果的に計算する。
マージ手順により、これまで探索されていなかった方法でモデルを組み合わせることが可能であることを示す。
論文 参考訳(メタデータ) (2021-11-18T17:59:35Z) - MoEfication: Conditional Computation of Transformer Models for Efficient
Inference [66.56994436947441]
トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。
スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。
そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
論文 参考訳(メタデータ) (2021-10-05T02:14:38Z) - STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。
実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
論文 参考訳(メタデータ) (2021-07-15T02:53:11Z) - Reconstruction of Pairwise Interactions using Energy-Based Models [3.553493344868414]
ペアワイズモデルとニューラルネットワークを組み合わせたハイブリッドモデルは,ペアワイズインタラクションの再構築において有意な改善をもたらす可能性があることを示す。
これは、単純な解釈可能なモデルと複雑なブラックボックスモデルが必ずしも二分法ではないという一般的な考え方と一致している。
論文 参考訳(メタデータ) (2020-12-11T20:15:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。