論文の概要: On the Sparsity of Neural Machine Translation Models
- arxiv url: http://arxiv.org/abs/2010.02646v1
- Date: Tue, 6 Oct 2020 11:47:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 06:56:21.278766
- Title: On the Sparsity of Neural Machine Translation Models
- Title(参考訳): ニューラルマシン翻訳モデルのスパース性について
- Authors: Yong Wang, Longyue Wang, Victor O.K. Li, Zhaopeng Tu
- Abstract要約: 性能向上のために冗長パラメータを再利用できるかどうかを検討する。
実験と分析は異なるデータセットとNTTアーキテクチャで体系的に行われる。
- 参考スコア(独自算出の注目度): 65.49762428553345
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern neural machine translation (NMT) models employ a large number of
parameters, which leads to serious over-parameterization and typically causes
the underutilization of computational resources. In response to this problem,
we empirically investigate whether the redundant parameters can be reused to
achieve better performance. Experiments and analyses are systematically
conducted on different datasets and NMT architectures. We show that: 1) the
pruned parameters can be rejuvenated to improve the baseline model by up to
+0.8 BLEU points; 2) the rejuvenated parameters are reallocated to enhance the
ability of modeling low-level lexical information.
- Abstract(参考訳): 現代のニューラルマシン翻訳(NMT)モデルは多数のパラメータを使用し、深刻な過パラメータ化を引き起こし、典型的には計算資源の未利用を引き起こす。
この問題への対応として,冗長パラメータを再利用できるかどうかを実証的に検討した。
実験と分析は異なるデータセットとNTTアーキテクチャで体系的に行われる。
ご覧の通りです
1) 刈り取ったパラメータは、最大+0.8 bleu点でベースラインモデルを改善するために再帰することができる。
2)低レベル語彙情報のモデリング能力を高めるため,再帰パラメータが再配置される。
関連論文リスト
- Deep Learning for Fast Inference of Mechanistic Models' Parameters [0.28675177318965045]
本稿では,観測対象の力学モデルのパラメータを直接予測するために,ディープニューラルネットワーク(NN)を提案する。
本稿では,ニューラルネットワークとメカニスティックモデルを組み合わせたトレーニング手法を検討する。
ニューラルネットワークの推定値は、さらなる適合によってわずかに改善されているのに対して、これらの推定は、適合手順単独よりも測定精度が良いことがわかった。
論文 参考訳(メタデータ) (2023-12-05T22:16:54Z) - Simulation-based Inference for Model Parameterization on Analog
Neuromorphic Hardware [1.843681725117436]
本研究では、BrainScaleS-2システム上でエミュレートされた多成分ニューロンモデルのパラメータ化のための逐次的神経後部推定アルゴリズムの適合性について検討した。
SNPEアルゴリズムはシミュレーションに基づく推論手法のクラスに属し、モデルパラメータの後方分布を推定する。
論文 参考訳(メタデータ) (2023-03-28T15:37:30Z) - Scaling Pre-trained Language Models to Deeper via Parameter-efficient
Architecture [68.13678918660872]
行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。
MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。
私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
論文 参考訳(メタデータ) (2023-03-27T02:34:09Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - On the Influence of Enforcing Model Identifiability on Learning dynamics
of Gaussian Mixture Models [14.759688428864159]
特異モデルからサブモデルを抽出する手法を提案する。
本手法はトレーニング中のモデルの識別性を強制する。
この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
論文 参考訳(メタデータ) (2022-06-17T07:50:22Z) - MoEfication: Conditional Computation of Transformer Models for Efficient
Inference [66.56994436947441]
トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。
スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。
そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
論文 参考訳(メタデータ) (2021-10-05T02:14:38Z) - Post-mortem on a deep learning contest: a Simpson's paradox and the
complementary roles of scale metrics versus shape metrics [61.49826776409194]
我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。
メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。
本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
論文 参考訳(メタデータ) (2021-06-01T19:19:49Z) - Real-time Forecast Models for TBM Load Parameters Based on Machine
Learning Methods [6.247628933072029]
本論文では, TBM運用データに基づいて機械学習(ML)手法を用いて, TBM負荷パラメータのリアルタイム予測モデルを構築する。
モデル複雑性を低減し、一般化を改善するため、予測タスクの本質的特徴を抽出するために、最小絶対縮小および選択法(Lasso)を適用した。
論文 参考訳(メタデータ) (2021-04-12T07:31:39Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。