論文の概要: Revisiting Linformer with a modified self-attention with linear complexity

• arxiv url: http://arxiv.org/abs/2101.10277v1
• Date: Wed, 16 Dec 2020 13:23:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-03 02:52:08.698538
• Title: Revisiting Linformer with a modified self-attention with linear complexity
• Title（参考訳）: 線形複雑性を伴う自己注意修正Linformerの再検討
• Authors: Madhusudan Verma
• Abstract要約: 時間・空間の線形複雑性を考慮した自己保持の代替法を提案する。 この方法は長いシーケンスで機能するので、音声だけでなく画像にも使用できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although Transformer models such as Google's BERT and OpenAI's GPT-3 are successful in many natural language processing tasks, training and deploying these models are costly and inefficient.Even if pre-trained models are used, deploying these models still remained a challenge due to their large size. Apart from deployment, these models take higher time during inference restricting user-friendliness. The main bottleneck is self-attention which uses quadratic time and space with respect to the sequence length. In order to reduce the quadratic time complexity of the self-attention mechanism, Linformer by Facebook's AI research team was introduced where they showed that the self-attention mechanism can be approximated by a low-rank matrix and exploiting this finding, a new method for self-attention with linear time and space complexity was proposed by them. In the Linformer, the time complexity depends on the projection mapping dimension which acts as a hyperparameter and affects the performance of the model, tuning this hyperparameter can be time-consuming. In this paper, I proposed an alternative method for self-attention with linear complexity in time and space and is independent of the projection mapping dimension. Since this method works for long sequences this can be used for images as well as audios.
• Abstract（参考訳）: GoogleのBERTやOpenAIのGPT-3といったTransformerモデルは、多くの自然言語処理タスクで成功しているが、これらのモデルのトレーニングとデプロイはコストがかかり、非効率である。 デプロイとは別に、これらのモデルは推論中にユーザーフレンドリを制限するためにより時間がかかる。 主なボトルネックは、シーケンス長に関して二次時間と空間を使用する自己着脱である。 FacebookのAI研究チームのLinformer氏は、自己認識機構の二次的時間的複雑さを低減するために、低ランク行列で自己認識機構を近似できることを示し、この発見を活用して、線形時間と空間の複雑さを備えた新たな自己認識方法を提案した。 リンフォーマーでは、時間複雑性はハイパーパラメータとして機能し、モデルの性能に影響を与えるプロジェクションマッピング次元に依存し、このハイパーパラメータのチューニングには時間がかかる。 本稿では,時間と空間における線形複雑性を持つ自己着脱の代替手法を提案し,射影写像次元とは独立な方法を提案する。 この方法は長いシーケンスで機能するので、音声だけでなく画像にも使用できる。

関連論文リスト

• Diffusion Auto-regressive Transformer for Effective Self-supervised Time Series Forecasting [47.58016750718323]
  我々はTimeDARTと呼ばれる新しい自己管理手法を提案する。 TimeDARTは、時系列データ内のグローバルシーケンス依存とローカル詳細特徴の両方をキャプチャする。 私たちのコードはhttps://github.com/Melmaphother/TimeDART.comで公開されています。
  論文  参考訳（メタデータ） (2024-10-08T06:08:33Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs [50.25683648762602]
  モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。 クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。 KoVAEは、いくつかの挑戦的な合成および実世界の時系列生成ベンチマークにおいて、最先端のGANおよびVAEメソッドより優れている。
  論文  参考訳（メタデータ） (2023-10-04T07:14:43Z)
• DAE-Former: Dual Attention-guided Efficient Transformer for Medical Image Segmentation [3.9548535445908928]
  DAE-Formerは,自己認識機構を効率的に設計することで,新たな視点の提供を目指す新しい手法である。 本手法は, プレトレーニング重量を必要とせずに, 多臓器心病変と皮膚病変のセグメンテーションデータセットにおける最先端の手法より優れている。
  論文  参考訳（メタデータ） (2022-12-27T14:39:39Z)
• Triformer: Triangular, Variable-Specific Attentions for Long Sequence Multivariate Time Series Forecasting--Full Version [50.43914511877446]
  本稿では,高い効率と精度を確保するために,三角形,可変特性に着目した注意点を提案する。 我々はTriformerが精度と効率の両方で最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-28T20:41:49Z)
• Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences [52.6022911513076]
  トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。 我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。 理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
  論文  参考訳（メタデータ） (2021-12-10T06:58:05Z)
• Linformer: Self-Attention with Linear Complexity [36.5703957318311]
  大規模なトランスモデルは、多くの自然言語処理アプリケーションにおいて最先端の結果を達成するのに極めて成功している。 Transformerの標準的な自己保持機構は、シーケンス長に対して$O(n2)$時間と空間を使用する。 そこで本研究では,時間と空間の両方において,全体の自己認識の複雑さを$O(n2)$から$O(n)$に削減する,新たな自己認識機構を提案する。
  論文  参考訳（メタデータ） (2020-06-08T17:37:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。