Fugu-MT 論文翻訳(概要): RealFormer: Transformer Likes Residual Attention

論文の概要: RealFormer: Transformer Likes Residual Attention

arxiv url: http://arxiv.org/abs/2012.11747v2
Date: Wed, 23 Dec 2020 20:44:30 GMT
ステータス: 処理完了
システム内更新日: 2021-04-27 06:25:15.604265
Title: RealFormer: Transformer Likes Residual Attention
Title（参考訳）: RealFormer: Transformerは残留注意を好む
Authors: Ruining He and Anirudh Ravula and Bhargav Kanagal and Joshua Ainslie
Abstract要約: RealFormerはシンプルなResidual Attention Layer Transformerアーキテクチャである。これは、Masked Language Modeling、GLUE、SQuADなどのタスクのスペクトルで正規トランスフォーマーを大幅に上回っています。
参考スコア（独自算出の注目度）: 5.841046725396454
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transformer is the backbone of modern NLP models. In this paper, we propose RealFormer, a simple Residual Attention Layer Transformer architecture that significantly outperforms canonical Transformers on a spectrum of tasks including Masked Language Modeling, GLUE, and SQuAD. Qualitatively, RealFormer is easy to implement and requires minimal hyper-parameter tuning. It also stabilizes training and leads to models with sparser attentions. Code will be open-sourced upon paper acceptance.
Abstract（参考訳）: Transformerは現代のNLPモデルのバックボーンである。本稿では,Masked Language Modeling, GLUE, SQuADなどのタスクにおいて, カノニカルトランスフォーマを大幅に上回るシンプルなResidual Attention Layer TransformerアーキテクチャであるRealFormerを提案する。定性的には、realformerは実装が容易で、最小限のハイパーパラメータチューニングを必要とする。また、トレーニングを安定させ、スパーザーの注意を引くモデルに繋がる。コードは、紙が受け入れられるとオープンソースになる。

関連論文リスト

ConvMixFormer- A Resource-efficient Convolution Mixer for Transformer-based Dynamic Hand Gesture Recognition [5.311735227179715]
動的ハンドジェスチャのための新しいConvMixFormerアーキテクチャを探索し,考案する。提案手法は,NVidia Dynamic Hand Gesture と Briareo のデータセットを用いて評価する。我々のモデルは、単一およびマルチモーダル入力に対して最先端の結果を得た。
論文参考訳（メタデータ） (2024-11-11T16:45:18Z)
Transformers Get Stable: An End-to-End Signal Propagation Theory for Language Models [6.809572275782338]
我々は,変換器モデルによる前方及び後方信号のモーメントを管理する統一信号伝搬理論を開発し,公式を提供する。我々のフレームワークは、ハイアテンションスコアに関連する、消失/爆発の勾配、ランク崩壊、不安定性を理解し、緩和するために使用することができる。
論文参考訳（メタデータ） (2024-03-14T17:59:14Z)
Self-Supervised Pre-Training for Table Structure Recognition Transformer [25.04573593082671]
テーブル構造認識変換器のための自己教師付き事前学習(SSP)手法を提案する。線形射影変換器とハイブリッドCNN変換器のパフォーマンスギャップは、TSRモデルにおける視覚エンコーダのSSPにより緩和できる。
論文参考訳（メタデータ） (2024-02-23T19:34:06Z)
Repeat After Me: Transformers are Better than State Space Models at Copying [53.47717661441142]
一般化された状態空間モデルは、推論時間効率の観点からは有望であるが、入力コンテキストからのコピーを必要とするタスクのトランスフォーマーモデルと比較して限定的であることを示す。
論文参考訳（メタデータ） (2024-02-01T21:44:11Z)
A Closer Look at In-Context Learning under Distribution Shifts [24.59271215602147]
線形回帰の単純かつ基本的なタスクのレンズから、文脈内学習の一般性と限界をよりよく理解することを目的としている。変圧器とセットベース分布の両方が, 正規最小二乗(OLS)の性能をより密にエミュレートし, 文脈内学習による分布評価を行うことがわかった。トランスフォーマーはまた、セットベースの分散がフェーターとなる、軽微な分散シフトに対するレジリエンスも向上している。
論文参考訳（メタデータ） (2023-05-26T07:47:21Z)
Vision Transformer with Quadrangle Attention [76.35955924137986]
窓面に基づく注意を一般的な四角形定式化に拡張する新しい四角形注意法(QA)を提案する。提案手法では,既定のウィンドウを対象の四角形に変換するために,変換行列を予測し,エンドツーエンドで学習可能な四角形回帰モジュールを用いる。 QAをプレーンかつ階層的な視覚変換器に統合し、QFormerという名の新しいアーキテクチャを作成します。
論文参考訳（メタデータ） (2023-03-27T11:13:50Z)
Decision Transformer: Reinforcement Learning via Sequence Modeling [102.86873656751489]
本稿では,シーケンスモデリング問題として強化学習(RL)を抽象化するフレームワークを提案する。本稿では,RLを条件付きシーケンスモデルとして扱うアーキテクチャであるDecision Transformerを提案する。その単純さにもかかわらず、Decision Transformerは、Atari、OpenAI Gym、Key-to-Doorタスク上での最先端のオフラインRLベースラインのパフォーマンスと一致または超過する。
論文参考訳（メタデータ） (2021-06-02T17:53:39Z)
Less is More: Pay Less Attention in Vision Transformers [61.05787583247392]
注意の少ないvIsion Transformerは、畳み込み、完全接続層、自己アテンションが、画像パッチシーケンスを処理するためにほぼ同等な数学的表現を持つという事実に基づいている。提案したLITは、画像分類、オブジェクト検出、インスタンス分割を含む画像認識タスクにおいて有望な性能を達成する。
論文参考訳（メタデータ） (2021-05-29T05:26:07Z)
Visformer: The Vision-friendly Transformer [105.52122194322592]
我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
論文参考訳（メタデータ） (2021-04-26T13:13:03Z)
Applying the Transformer to Character-level Transduction [68.91664610425114]
この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
論文参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。