Fugu-MT 論文翻訳(概要): Supplementary Material: Implementation and Experiments for GAU-based Model

論文の概要: Supplementary Material: Implementation and Experiments for GAU-based Model

arxiv url: http://arxiv.org/abs/2205.05842v1
Date: Thu, 12 May 2022 02:18:29 GMT
ステータス: 処理完了
システム内更新日: 2022-05-13 13:01:05.604753
Title: Supplementary Material: Implementation and Experiments for GAU-based Model
Title（参考訳）: 補助材料:GAUモデルの実装と実験
Authors: Zhenjie Liu
Abstract要約: 今年2月にGoogleは、高速でVRAMフットプリントが低く、パフォーマンスが向上した新しいTransformer variantであるFLASHを提案した。これはGAU(Gated Attention Unit)と呼ばれるパフォーマンス層を設計することで実現される。次に,新しいGAUモデルを提案し,そのモデルを中国語コーパス上で事前学習する。 CLUEベンチマークの結果、我々のモデルは、RoFormerV1よりも平均75.02、1%高く、45%速く、RoFormerV2と競合する結果となった。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In February this year Google proposed a new Transformer variant called FLASH, which has a faster speed, lower VRAM footprint and better performance. This is achieved by designing a performant layer named GAU (Gated Attention Unit), which combines the Attention layer and FFN. In this paper, some implementation details are re-analyzed both theoretically and practically. We then propose a novel GAU-based model and pre-train it model on a Chinese corpus. Results of the CLUE benchmark show that our model achieves a dev average score of 75.02, 1% higher than RoFormerV1 and being 45% faster, which is also competitive with RoFormerV2.
Abstract（参考訳）: 今年2月にGoogleは、高速でVRAMフットプリントが低く、パフォーマンスが向上した新しいTransformer variantであるFLASHを提案した。これは、アテンション層とffnを組み合わせたgau(gated attention unit)と呼ばれるパフォーマンス層を設計することによって達成される。本稿では,実装の詳細を理論的および実際的に再分析する。次に,新しいGAUモデルを提案し,そのモデルを中国語コーパス上で事前学習する。ベンチマークの結果、このモデルは開発平均スコア75.02、roformerv1より1%高く、45%高速であり、roformerv2とも競合していることがわかった。

関連論文リスト

The Mamba in the Llama: Distilling and Accelerating Hybrid Models [76.64055251296548]
注目層からの線形射影重みを学術的なGPU資源で再利用することにより,大規模な変換器を線形RNNに蒸留することが可能であることを示す。その結果、注意層を4分の1含むハイブリッドモデルは、チャットベンチマークのオリジナルのTransformerに匹敵するパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-08-27T17:56:11Z)
ReNO: Enhancing One-step Text-to-Image Models through Reward-based Noise Optimization [59.72782742378666]
本稿では,Reward-based Noise Optimization (ReNO) を提案する。 20-50秒の計算予算の中で、ReNOによって強化されたワンステップモデルは、現在のすべてのオープンソーステキスト・トゥ・イメージ・モデルの性能を一貫して上回った。
論文参考訳（メタデータ） (2024-06-06T17:56:40Z)
A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
本研究ではまず,ネットワークの計算冗長性について検討する。次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
論文参考訳（メタデータ） (2023-12-24T15:37:47Z)
Task-Agnostic Structured Pruning of Speech Representation Models [18.555223754089905]
性能劣化を補うための微粒なアテンションヘッドプルーニング法を提案する。 SUPERBベンチマーク実験により,複数のタスクで高密度モデルに匹敵する性能が得られた。
論文参考訳（メタデータ） (2023-06-02T09:11:06Z)
When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。精度を向上させるために,2つの軽量モジュールを提案する。 DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。 QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
論文参考訳（メタデータ） (2021-05-27T13:51:42Z)
Improving Transformer-Kernel Ranking Model Using Conformer and Query Term Independence [29.442579683405913]
Transformer-Kernel(TK)モデルは、TREC Deep Learningベンチマークで強力なリランクパフォーマンスを示しています。 TKLと呼ばれるTKモデルの変種が開発され、より長い入力シーケンスを効率的に処理するためにローカルの自己意識が組み込まれている。本稿では,より長い入力列にtkをスケールするための代替手法として,新しい適合層を提案する。
論文参考訳（メタデータ） (2021-04-19T15:32:34Z)
EfficientNetV2: Smaller Models and Faster Training [91.77432224225221]
本稿では,従来のモデルよりも高速な学習速度とパラメータ効率を有する畳み込みネットワークであるEfficientNetV2を紹介する。トレーニング対応のニューラルネットワークアーキテクチャ検索とスケーリングを組み合わせて、トレーニング速度とパラメータ効率を共同で最適化します。実験の結果,EfficientNetV2モデルは最先端モデルよりも最大6.8倍の速度でトレーニングできることがわかった。
論文参考訳（メタデータ） (2021-04-01T07:08:36Z)
BCN2BRNO: ASR System Fusion for Albayzin 2020 Speech to Text Challenge [2.675158177232256]
本稿では,BUTとTelef'onicaによる音声認識システムの開発における共同研究について述べる。ハイブリッドモデルとエンドツーエンドモデルの両方に基づいたアプローチを比較する。最高のシステムの融合は、アルバイジン2020の公式評価で23.33%のWERを達成した。
論文参考訳（メタデータ） (2021-01-29T18:40:54Z)
Real-Time Execution of Large-scale Language Models on Mobile [49.32610509282623]
BERTの最良のモデル構造は,特定のデバイスに適合する計算サイズである。我々のフレームワークは、モバイルデバイスのリソース仕様とリアルタイム仕様の両方を満たすための特定モデルを保証することができる。具体的には、当社のモデルはCPUでは5.2倍、GPUでは4.1倍、BERTベースでは0.5-2%の精度損失がある。
論文参考訳（メタデータ） (2020-09-15T01:59:17Z)
Finding Fast Transformers: One-Shot Neural Architecture Search by Component Composition [11.6409723227448]
トランスフォーマーベースのモデルは、自然言語処理における多くのタスクにおいて最先端の結果を得た。モデル品質を維持しつつ,高速なモデル探索を行うアルゴリズムを開発した。
論文参考訳（メタデータ） (2020-08-15T23:12:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。