Fugu-MT 論文翻訳(概要): Efficient transformer with reinforced position embedding for language models

論文の概要: Efficient transformer with reinforced position embedding for language models

arxiv url: http://arxiv.org/abs/2410.04731v1
Date: Mon, 7 Oct 2024 03:47:34 GMT
ステータス: 処理完了
システム内更新日: 2024-11-02 02:17:53.684298
Title: Efficient transformer with reinforced position embedding for language models
Title（参考訳）: 言語モデルのための強化位置埋め込みを用いた効率的な変圧器
Authors: Yen-Che Hsiao, Abhishek Dutta,
Abstract要約: 本稿では, エンコーダデコーダの層数の半分で高い性能を実現するために, 強化された位置埋め込みを用いた効率的なトランスフォーマアーキテクチャを提案する。トレーニング可能なトークン埋め込みとの結合,トークン埋め込みマトリックス内のカラムの正規化,注目層の値として正規化トークン埋め込みマトリックスを用いることで,トレーニングと検証の損失とトレーニング時間を改善できることを実証する。
参考スコア（独自算出の注目度）: 3.8936716676293917
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we propose an efficient transformer architecture that uses reinforced positional embedding to obtain superior performance with half the number of encoder decoder layers. We demonstrate that concatenating positional encoding with trainable token embeddings, normalizing columns in the token embedding matrix, and using the normalized token embedding matrix as the value of the attention layer improve the training and validation loss and the training time in an encoder-decoder Transformer model for a Portuguese-English translation task with 10 epochs or 12 hours of training across 10 trials. Our method, with roughly a threefold parameter reduction compared to the baseline model, yields a mean training loss of 1.21, a mean validation loss of 1.51, and an average training time of 1352.27 seconds per epoch, surpassing the baseline model with the same embedding dimension that employs addition of positional encoding and token embeddings, which achieves a mean training loss of 1.96, a validation loss of 2.18, and an average training time of 4297.79 seconds per epoch. Additionally, we evaluated our proposed architecture and the baseline across 14 diverse translation datasets from TensorFlow. The results indicate that our method consistently achieves lower or comparable training and validation losses, suggesting enhanced learning efficiency.
Abstract（参考訳）: 本稿では, エンコーダデコーダの層数の半分の高性能化を実現するために, 強化位置埋め込みを用いた効率的なトランスフォーマアーキテクチャを提案する。学習可能なトークン埋め込みとの結合,トークン埋め込みマトリックス内のカラムの正規化,および注目層の値として正規化トークン埋め込みマトリックスを用いることで,ポルトガル語翻訳タスク用エンコーダ・デコーダ・トランスフォーマモデルにおいて,10時間ないし12時間の訓練を施したトレーニングとトレーニング時間の短縮が図られた。本手法は, 平均トレーニング損失1.21, 平均バリデーション損失1.51, 平均トレーニング時間1352.27秒であり, 平均トレーニング損失1.96, 平均トレーニング時間2.18, 平均トレーニング時間4297.79秒である。さらに、提案したアーキテクチャと、TensorFlowから14の多様な翻訳データセットにまたがるベースラインを評価した。その結果,本手法は,学習効率の向上を示唆し,より低あるいは同等のトレーニングと検証の損失を連続的に達成できることが示唆された。

関連論文リスト

Token Compensator: Altering Inference Cost of Vision Transformer without Re-Tuning [63.43972993473501]
視覚変換器(ViT)の訓練と推論を高速化するトークン圧縮しかし、下流タスクに適用した場合、圧縮度はトレーニングと推論の段階で不一致となる。本稿では,2段階間の圧縮度を分離するモデル演算フレームワークを提案する。
論文参考訳（メタデータ） (2024-08-13T10:36:43Z)
No Train No Gain: Revisiting Efficient Training Algorithms For Transformer-based Language Models [31.080446886440757]
本稿では、動的アーキテクチャ(レイヤの積み重ね、ドロップ)、バッチ選択(選択的バックプロップ、ROH損失)、効率的なレイヤ(Lion, Sophia)の3つのカテゴリを再検討する。トレーニング,検証,ダウンストリームのゲインが,完全に遅延した学習率のベースラインに比べて消失していることが分かりました。我々は、全ての計算時間を参照システム時間と呼ぶ参照マシンにマッピングすることで、任意の計算でマシンを実行できる評価プロトコルを定義した。
論文参考訳（メタデータ） (2023-07-12T20:10:14Z)
Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
メトリクス学習はコンピュータビジョンの基本的な問題である。蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
論文参考訳（メタデータ） (2023-03-30T03:22:52Z)
Efficient Self-supervised Learning with Contextualized Target Representations for Vision, Speech and Language [60.12197397018094]
data2vecは学習目標であり、いくつかのモダリティにまたがって一般化します。マスクされたトークンをエンコードしたり、高速な畳み込みデコーダを使ったり、教師表現の構築に力を注いだりはしません。 ImageNet-1K画像分類の実験では、Data2vec 2.0は16.4倍低いトレーニング時間でMasked Autoencodersの精度と一致している。
論文参考訳（メタデータ） (2022-12-14T22:13:11Z)
Peeling the Onion: Hierarchical Reduction of Data Redundancy for Efficient Vision Transformer Training [110.79400526706081]
ビジョントランス (ViT) は近年多くのアプリケーションで成功を収めているが、その計算量とメモリ使用量によって一般化が制限されている。従来の圧縮アルゴリズムは通常、事前訓練された高密度モデルから始まり、効率的な推論のみに焦点を当てる。本稿では,3つのスパースの観点から,Tri-Level E-ViTと呼ばれるエンドツーエンドの効率的なトレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-11-19T21:15:47Z)
LegoNet: A Fast and Exact Unlearning Architecture [59.49058450583149]
機械学習は、トレーニングされたモデルから削除された要求に対する特定のトレーニングサンプルの影響を削除することを目的としている。固定エンコーダ+複数アダプタのフレームワークを採用した新しいネットワークである textitLegoNet を提案する。我々は、LegoNetが許容できる性能を維持しつつ、高速かつ正確な未学習を実現し、未学習のベースラインを総合的に上回っていることを示す。
論文参考訳（メタデータ） (2022-10-28T09:53:05Z)
Latency Adjustable Transformer Encoder for Language Understanding [0.8287206589886879]
本稿では,提案する推論遅延の高速化により,推論コストを適応的に調整する効率的なトランスフォーマーアーキテクチャを提案する。提案手法は,重要でないシークエンス要素(ワードベクター)を検出し,Actent Context Contribution (ACC) メトリックを用いて,各エンコーダ層でそれらを除去する。提案手法は,BERT_base と GPT-2 の推論遅延を最大4.8倍,3.72倍に改善し,0.75% の精度低下と平均パープレキシティが可能である。
論文参考訳（メタデータ） (2022-01-10T13:04:39Z)
Improving Transformer-Kernel Ranking Model Using Conformer and Query Term Independence [29.442579683405913]
Transformer-Kernel(TK)モデルは、TREC Deep Learningベンチマークで強力なリランクパフォーマンスを示しています。 TKLと呼ばれるTKモデルの変種が開発され、より長い入力シーケンスを効率的に処理するためにローカルの自己意識が組み込まれている。本稿では,より長い入力列にtkをスケールするための代替手法として,新しい適合層を提案する。
論文参考訳（メタデータ） (2021-04-19T15:32:34Z)
Low-Latency Sequence-to-Sequence Speech Recognition and Translation by Partial Hypothesis Selection [15.525314212209562]
チャンクベースインクリメンタル推論のための3つの遅延低減手法を提案する。提案手法は低遅延音声翻訳にも適用可能であることを示す。
論文参考訳（メタデータ） (2020-05-22T13:42:54Z)
Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
論文参考訳（メタデータ） (2020-03-25T17:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。