Fugu-MT 論文翻訳(概要): Softmax Attention with Constant Cost per Token

論文の概要: Softmax Attention with Constant Cost per Token

arxiv url: http://arxiv.org/abs/2404.05843v2
Date: Sat, 27 Apr 2024 19:03:14 GMT
ステータス: 処理完了
システム内更新日: 2024-04-30 22:46:19.365791
Title: Softmax Attention with Constant Cost per Token
Title（参考訳）: トークンあたりのコストを一定に設定したSoftmaxアテンション
Authors: Franz A. Heinsen,
Abstract要約: スケールされたドット積とペアワイズクエリキーの類似性を定量化する代わりに、指数関数のスケールされたドット積の対数で定量化する。我々の修正は、対応する特徴関数が無限次元である指数カーネル特徴写像に注意を向ける。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a simple modification to the conventional attention mechanism applied by Transformers: Instead of quantifying pairwise query-key similarity with scaled dot-products, we quantify it with the logarithms of scaled dot-products of exponentials. Our modification linearizes attention with exponential kernel feature maps, whose corresponding feature function is infinite dimensional. We show that our modification is expressible as a composition of log-sums of exponentials, with a latent space of constant size, enabling application with constant time and space complexity per token. We implement our modification, verify that it works in practice, and conclude that it is a promising alternative to conventional attention.
Abstract（参考訳）: そこで我々は,Transformers が適用した従来の注意機構の簡単な修正を提案し,拡張ドット積とペアワイズクエリキーの類似性を定量化するのではなく,指数関数のスケールドット積の対数で定量化する。我々の修正は、対応する特徴関数が無限次元である指数カーネル特徴写像に注意を向ける。我々の修正は指数関数の対数和の合成として表現可能であり、一定の大きさの潜在空間を持ち、トークンあたりの時間と空間の複雑さが一定であることを示す。われわれは修正を実施し、実際に動作していることを確認し、従来の注意の代替として有望なものであると結論づける。

関連論文リスト

EulerFormer: Sequential User Behavior Modeling with Complex Vector Attention [88.45459681677369]
複素ベクトル注意を持つ新しい変圧器変圧器(EulerFormer)を提案する。意味的差と位置的差の両方を定式化するための統一的な理論的枠組みを提供する。意味的変動に対してより堅牢であり、原理上はより上述の理論的性質を持つ。
論文参考訳（メタデータ） (2024-03-26T14:18:43Z)
Latent Attention for Linear Time Transformers [8.640180203900583]
双方向タスクと一方向タスクの両方に"ラッテトランスフォーマー"モデルを実装できる。双方向タスクと一方向タスクの両方に"ラッテトランスフォーマー"モデルを実装できる。
論文参考訳（メタデータ） (2024-02-27T13:54:48Z)
FAST: Factorizable Attention for Speeding up Transformers [1.3637227185793512]
本稿では,スペーシフィケーションを伴わずに,注目行列の完全な表現を維持する線形スケールアテンション機構を提案する。その結果、我々の注意機構は堅牢な性能を示し、自己注意が使用される多様なアプリケーションに対して大きな可能性を秘めていることが示唆された。
論文参考訳（メタデータ） (2024-02-12T18:59:39Z)
Ring Attention with Blockwise Transformers for Near-Infinite Context [88.61687950039662]
本稿では,複数のデバイスにまたがって長いシーケンスを分散するために,ブロックワイドな自己注意とフィードフォワードの計算を利用する,ブロックワイドトランスフォーマーを用いたリングアテンション(リングアテンション)を提案する。提案手法では,先行メモリ効率の変換器で達成可能なものよりも,デバイス数倍のシーケンスのトレーニングと推論が可能となる。
論文参考訳（メタデータ） (2023-10-03T08:44:50Z)
Linear Self-Attention Approximation via Trainable Feedforward Kernel [77.34726150561087]
高速な計算を追求する中で、効率的なトランスフォーマーは印象的な様々なアプローチを実証している。我々は,トランスフォーマーアーキテクチャの自己保持機構を近似するために,トレーニング可能なカーネルメソッドのアイデアを拡張することを目指している。
論文参考訳（メタデータ） (2022-11-08T08:14:11Z)
Diffuser: Efficient Transformers with Multi-hop Attention Diffusion for Long Sequences [16.066338004414092]
textitDiffuserはシーケンシャル・ツー・シーケンス・モデリングのための新しい効率的なトランスフォーマーである。低い計算とメモリコストを維持しながら、すべてのトークンインタラクションを1つの注意層に組み込む。スペクトルの観点からグラフ展開特性を解析することにより、全アテンションを近似する能力を示す。
論文参考訳（メタデータ） (2022-10-21T08:13:34Z)
Adaptive Fourier Neural Operators: Efficient Token Mixers for Transformers [55.90468016961356]
本稿では,Fourierドメインのミキシングを学習する効率的なトークンミキサーを提案する。 AFNOは、演算子学習の原則的基礎に基づいている。 65kのシーケンスサイズを処理でき、他の効率的な自己認識機構より優れている。
論文参考訳（メタデータ） (2021-11-24T05:44:31Z)
Understanding and Overcoming the Challenges of Efficient Transformer Quantization [17.05322956052278]
トランスフォーマーベースのアーキテクチャは、幅広い自然言語処理タスクのデファクト標準モデルとなっている。しかしながら、メモリフットプリントと高いレイテンシは、リソース制限されたデバイスへの効率的なデプロイメントと推論を禁止している。変換器にはユニークな量子化の課題があり、すなわち、低ビットの固定点フォーマットで表すのが難しいハイダイナミックなアクティベーション範囲があることが示される。
論文参考訳（メタデータ） (2021-09-27T10:57:18Z)
Combiner: Full Attention Transformer with Sparse Computation Cost [142.10203598824964]
計算の複雑さを低く保ちつつ、各注目ヘッドにフルアテンション機能を提供するコンバインダを提案する。既存のスパース変圧器で使用されるスパースアテンションパターンのほとんどは、そのような分解設計をフルアテンションに刺激することができることを示す。自己回帰的タスクと双方向シーケンスタスクの両方に関する実験的評価は、このアプローチの有効性を示す。
論文参考訳（メタデータ） (2021-07-12T22:43:11Z)
Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
論文参考訳（メタデータ） (2021-06-23T17:51:26Z)
Exponential enhancement of quantum metrology using continuous variables [15.102680713021368]
本稿では,測定感度を指数関数的に向上させる信号プローブハミルトニアンの設計を提案する。時間と結合項数の両方の線形スケーリングは指数関数的拡張を得るのに十分であることを示す。
論文参考訳（メタデータ） (2020-04-02T18:20:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。