論文の概要: Breaking the Attention Bottleneck

• arxiv url: http://arxiv.org/abs/2406.10906v1
• Date: Sun, 16 Jun 2024 12:06:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 20:02:29.399410
• Title: Breaking the Attention Bottleneck
• Title（参考訳）: Atention Bottleneckを破る
• Authors: Kalle Hilsenbek,
• Abstract要約: 本稿では,注意やアクティベーションの代替として生成機能を開発する。 それぞれのトークンと前のトークンを比較することで、自動回帰文字を持つ。 注意の置き換えという概念は、https://gitlab.com/Bachstelzecausal_generationでAGPL v3ライセンスの下で配布されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Attention-based transformers have become the standard architecture in many deep learning fields, primarily due to their ability to model long-range dependencies and handle variable-length input sequences. However, the attention mechanism with its quadratic complexity is a significant bottleneck in the transformer architecture. This algorithm is only uni-directional in the decoder and converges to a static pattern in over-parametrized decoder-only models. I address this issue by developing a generative function as attention or activation replacement. It still has the auto-regressive character by comparing each token with the previous one. In my test setting with nanoGPT this yields a smaller loss while having a smaller model. The loss further drops by incorporating an average context vector. This concept of attention replacement is distributed under the GNU AGPL v3 license at https://gitlab.com/Bachstelze/causal_generation.
• Abstract（参考訳）: 注意に基づくトランスフォーマーは、主に長距離依存をモデル化し、可変長の入力シーケンスを処理できるため、多くのディープラーニング分野において標準アーキテクチャとなっている。 しかし、その二次的な複雑さを伴う注意機構は、トランスフォーマーアーキテクチャにおいて重要なボトルネックとなっている。 このアルゴリズムはデコーダにおいて一方向のみであり、過度にパラメータ化されたデコーダのみのモデルで静的パターンに収束する。 私は、注意やアクティベーションの代替として、生成機能を開発することでこの問題に対処します。 それぞれのトークンと前のトークンを比較することで、自動回帰文字を持つ。 NanoGPTを使ったテスト環境では、より小さなモデルを持ちながら、損失は小さくなります。 平均コンテキストベクトルを組み込むことで損失はさらに減少する。 この注意の置き換えという概念は、https://gitlab.com/Bachstelze/causal_generationでGNU AGPL v3ライセンスの下で配布されている。

関連論文リスト

• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• Attention as an RNN [66.5420926480473]
  我々は,そのテキストマンディ・ツー・ワンのRNN出力を効率的に計算できる特別なリカレントニューラルネットワーク(RNN)として注目されることを示す。 本稿では,並列プレフィックススキャンアルゴリズムを用いて,注目のテキストマンディ・ツー・マニーRNN出力を効率よく計算する手法を提案する。 Aarensは、一般的な4つのシーケンシャルな問題設定に散らばる38ドルのデータセットで、Transformersに匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-22T19:45:01Z)
• Harnessing Attention Mechanisms: Efficient Sequence Reduction using Attention-based Autoencoders [14.25761027376296]
  本稿では,シーケンス長を直接操作できる新しいアテンションベース手法を提案する。 オートエンコーダは、元のシーケンスを元のサイズの半分に減らす際に、重要な情報を全て保持していることを示す。
  論文  参考訳（メタデータ） (2023-10-23T11:57:44Z)
• Are We Using Autoencoders in a Wrong Way? [3.110260251019273]
  オートエンコーダは次元減少、異常検出、特徴抽出に使用される。 潜在空間の形状を変更する不完全なオートエンコーダの標準トレーニングを再考した。 また,データセット全体からランダムサンプルを再構成する場合の潜伏空間の挙動についても検討した。
  論文  参考訳（メタデータ） (2023-09-04T11:22:43Z)
• DAE-Former: Dual Attention-guided Efficient Transformer for Medical Image Segmentation [3.9548535445908928]
  DAE-Formerは,自己認識機構を効率的に設計することで,新たな視点の提供を目指す新しい手法である。 本手法は, プレトレーニング重量を必要とせずに, 多臓器心病変と皮膚病変のセグメンテーションデータセットにおける最先端の手法より優れている。
  論文  参考訳（メタデータ） (2022-12-27T14:39:39Z)
• ClusTR: Exploring Efficient Self-attention via Clustering for Vision Transformers [70.76313507550684]
  本稿では,密集自己注意の代替として,コンテンツに基づくスパースアテンション手法を提案する。 具体的には、合計トークン数を減少させるコンテンツベースの方法として、キーとバリュートークンをクラスタ化し、集約する。 結果として得られたクラスタ化されたTokenシーケンスは、元の信号のセマンティックな多様性を保持するが、より少ない計算コストで処理できる。
  論文  参考訳（メタデータ） (2022-08-28T04:18:27Z)
• Predicting Attention Sparsity in Transformers [0.9786690381850356]
  本稿では, 遠心注意の空間パターンを計算前に同定するモデルであるスペーサーファインダーを提案する。 我々の研究は、予測された注目グラフの間隔とリコールの間のトレードオフを広範囲に分析することで、モデル効率を研究するための新しい角度を提供する。
  論文  参考訳（メタデータ） (2021-09-24T20:51:21Z)
• Combiner: Full Attention Transformer with Sparse Computation Cost [142.10203598824964]
  計算の複雑さを低く保ちつつ、各注目ヘッドにフルアテンション機能を提供するコンバインダを提案する。 既存のスパース変圧器で使用されるスパースアテンションパターンのほとんどは、そのような分解設計をフルアテンションに刺激することができることを示す。 自己回帰的タスクと双方向シーケンスタスクの両方に関する実験的評価は、このアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2021-07-12T22:43:11Z)
• Vector Embeddings with Subvector Permutation Invariance using a Triplet Enhanced Autoencoder [0.0]
  本稿では,三重項損失に強化されたオートエンコーダを用いて,構成部分ベクトルの置換によって関連付けられたベクトルのクラスタリングを促進する。 次に、これらの不変な埋め込みを、分類やクラスタリングなどの他の問題への入力として使用し、それらの問題における検出精度を向上させる。
  論文  参考訳（メタデータ） (2020-11-18T21:24:07Z)
• Learning to Encode Position for Transformer with Continuous Dynamical Model [88.69870971415591]
  本研究では,トランスフォーマーモデルなどの非リカレントモデルの位置情報をエンコードする新しい学習方法を提案する。 このような力学系による位置指数に沿った符号化結果の進化をモデル化する。
  論文  参考訳（メタデータ） (2020-03-13T00:41:41Z)
• Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation [73.11214377092121]
  我々は,各エンコーダ層の注意頭数のみを,単純な固定型(非学習型)の注意パターンに置き換えることを提案する。 異なるデータサイズと複数の言語ペアを用いた実験により、トレーニング時にトランスフォーマーのエンコーダ側でアテンションヘッドを固定することは翻訳品質に影響を与えないことが示された。
  論文  参考訳（メタデータ） (2020-02-24T13:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。