論文の概要: Highway Transformer: Self-Gating Enhanced Self-Attentive Networks
- arxiv url: http://arxiv.org/abs/2004.08178v5
- Date: Tue, 24 Nov 2020 16:19:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-12 10:14:54.168683
- Title: Highway Transformer: Self-Gating Enhanced Self-Attentive Networks
- Title(参考訳): 高速道路変圧器:自励型自己保護型ネットワーク
- Authors: Yekun Chai, Shuo Jin, Xinwen Hou
- Abstract要約: 我々はLSTMスタイルのゲーティングユニットを組み込んだゲートコンポーネントの自己依存ユニット(SDU)を導入し、内部意味の重要性を補う。
我々は,SDUゲート,特に浅い層において,SDUゲートがより早く最適点へ進むことができると仮定して,コンテキストベースのTransformerモジュールを補助するゲーティング機構を披露するかもしれない。
- 参考スコア(独自算出の注目度): 3.8308379795695613
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-attention mechanisms have made striking state-of-the-art (SOTA) progress
in various sequence learning tasks, standing on the multi-headed dot product
attention by attending to all the global contexts at different locations.
Through a pseudo information highway, we introduce a gated component
self-dependency units (SDU) that incorporates LSTM-styled gating units to
replenish internal semantic importance within the multi-dimensional latent
space of individual representations. The subsidiary content-based SDU gates
allow for the information flow of modulated latent embeddings through skipped
connections, leading to a clear margin of convergence speed with gradient
descent algorithms. We may unveil the role of gating mechanism to aid in the
context-based Transformer modules, with hypothesizing that SDU gates,
especially on shallow layers, could push it faster to step towards suboptimal
points during the optimization process.
- Abstract(参考訳): セルフアテンション機構は、様々なシーケンス学習タスクにおいて最先端(sota)の進歩をもたらし、異なる場所でのすべてのグローバルコンテキストに対応することによって、マルチヘッドのドット製品に注目されている。
擬似情報ハイウェイを通じて、LSTMスタイルのゲーティングユニットを組み込んだゲート成分自己依存ユニット(SDU)を導入し、各表現の多次元潜在空間における内部意味の重要性を補う。
補助コンテンツベースのSDUゲートは、スキップ接続を介して変調された潜伏埋め込みの情報フローを可能にし、勾配降下アルゴリズムによる収束速度の明確なマージンとなる。
我々は,sduゲート,特に浅層層において,最適化プロセス中の最適点への進路を早めることを想定して,コンテキストベースのトランスフォーマーモジュールを支援するゲーティング機構の役割を明らかにしたい。
関連論文リスト
- Multimodal Informative ViT: Information Aggregation and Distribution for
Hyperspectral and LiDAR Classification [25.254816993934746]
Multimodal Informative Vit (MIVit) は革新的な情報集約配信機構を備えたシステムである。
MIVitは、各モードの分離されたおよび融合された特徴の実験的分布における冗長性を減少させる。
以上の結果から,MIVitの双方向凝集分配機構は極めて有効であることが示唆された。
論文 参考訳(メタデータ) (2024-01-06T09:53:33Z) - Accelerating Vision Transformers Based on Heterogeneous Attention
Patterns [89.86293867174324]
ビジョントランスフォーマー(ViT)はコンピュータビジョンの分野で多くの注目を集めている。
層間における異種注意パターンの観測に基づく統合圧縮パイプラインを提案する。
実験的に、DGSSAとGLADの統合圧縮パイプラインは、最大121%のランタイムスループットを加速することができる。
論文 参考訳(メタデータ) (2023-10-11T17:09:19Z) - Salient Object Detection in Optical Remote Sensing Images Driven by
Transformer [69.22039680783124]
光リモートセンシング画像(ORSI-SOD)のためのGlobal extract Local Exploration Network(GeleNet)を提案する。
具体的には、GeleNetはまずトランスフォーマーバックボーンを採用し、グローバルな長距離依存関係を持つ4レベルの機能埋め込みを生成する。
3つの公開データセットに関する大規模な実験は、提案されたGeleNetが関連する最先端メソッドより優れていることを示している。
論文 参考訳(メタデータ) (2023-09-15T07:14:43Z) - Dual Aggregation Transformer for Image Super-Resolution [92.41781921611646]
画像SRのための新しいトランスモデルDual Aggregation Transformerを提案する。
DATは、ブロック間およびブロック内二重方式で、空間次元とチャネル次元にまたがる特徴を集約する。
我々のDATは現在の手法を超越している。
論文 参考訳(メタデータ) (2023-08-07T07:39:39Z) - GA-HQS: MRI reconstruction via a generically accelerated unfolding
approach [14.988694941405575]
画素レベルでの入力の微妙な融合のための2階勾配情報とピラミッドアテンションモジュールを組み込んだGA-HQSアルゴリズムを提案する。
本手法は, 単コイルMRI加速度タスクにおいて, 従来よりも優れている。
論文 参考訳(メタデータ) (2023-04-06T06:21:18Z) - Hierarchical Cross-modal Transformer for RGB-D Salient Object Detection [6.385624548310884]
本稿では,新しいマルチモーダルトランスである階層型クロスモーダルトランス (HCT) を提案する。
2つのモードから全てのパッチを直接接続する以前のマルチモーダル変圧器とは異なり、クロスモーダル相補性は階層的に検討する。
本稿では,Transformer (FPT) 用のFeature Pyramidモジュールを提案する。
論文 参考訳(メタデータ) (2023-02-16T03:23:23Z) - Video Frame Interpolation Transformer [86.20646863821908]
本稿では,トランスフォーマーをベースとした動画フレームワークを提案し,コンテンツ認識集約の重み付けと,自己注意操作による長距離依存を考慮した。
グローバルな自己注意の計算コストが高くなるのを避けるため、ビデオに局所的注意の概念を導入する。
さらに,トランスフォーマーの可能性を完全に実現するためのマルチスケール・フレーム・スキームを開発した。
論文 参考訳(メタデータ) (2021-11-27T05:35:10Z) - Accelerated Multi-Modal MR Imaging with Transformers [92.18406564785329]
MR画像の高速化のためのマルチモーダルトランス(MTrans)を提案する。
トランスアーキテクチャを再構築することで、MTransは深いマルチモーダル情報をキャプチャする強力な能力を得ることができる。
i)MTransはマルチモーダルMRイメージングに改良されたトランスフォーマーを使用する最初の試みであり、CNNベースの手法と比較してよりグローバルな情報を提供する。
論文 参考訳(メタデータ) (2021-06-27T15:01:30Z) - Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。
TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
論文 参考訳(メタデータ) (2021-02-27T21:48:46Z) - Joint Self-Attention and Scale-Aggregation for Self-Calibrated Deraining
Network [13.628218953897946]
本稿では,JDNetとよばれる有効アルゴリズムを提案する。
自己校正畳み込みを用いたスケール・アグリゲーション・セルフアグリゲーション・モジュールを巧みに設計することにより,提案モデルはより優れたデコレーション結果が得られる。
論文 参考訳(メタデータ) (2020-08-06T17:04:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。