論文の概要: Flowformer: Linearizing Transformers with Conservation Flows
- arxiv url: http://arxiv.org/abs/2202.06258v1
- Date: Sun, 13 Feb 2022 08:44:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-15 14:29:37.374925
- Title: Flowformer: Linearizing Transformers with Conservation Flows
- Title（参考訳）: flowformer:保存フローを持つ線形変圧器
- Authors: Haixu Wu, Jialong Wu, Jiehui Xu, Jianmin Wang, Mingsheng Long
- Abstract要約: 本研究では,フローネットワーク理論に基づくインダクティブバイアスのないトランスフォーマーを線形化する。
ソースコンペティション用シンクの流入流と、シンクアロケーション用ソースの流出流をそれぞれ保存することにより、フローアテンションは本質的に情報的注意を発生させる。
- 参考スコア（独自算出の注目度）: 77.25101425464773
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Transformers based on the attention mechanism have achieved impressive
success in various areas. However, the attention mechanism has a quadratic
complexity, significantly impeding Transformers from dealing with numerous
tokens and scaling up to bigger models. Previous methods mainly utilize the
similarity decomposition and the associativity of matrix multiplication to
devise linear-time attention mechanisms. They avoid degeneration of attention
to a trivial distribution by reintroducing inductive biases such as the
locality, thereby at the expense of model generality and expressiveness. In
this paper, we linearize Transformers free from specific inductive biases based
on the flow network theory. We cast attention as the information flow
aggregated from the sources (values) to the sinks (results) through the learned
flow capacities (attentions). Within this framework, we apply the property of
flow conservation with attention and propose the Flow-Attention mechanism of
linear complexity. By respectively conserving the incoming flow of sinks for
source competition and the outgoing flow of sources for sink allocation,
Flow-Attention inherently generates informative attentions without using
specific inductive biases. Empowered by the Flow-Attention, Flowformer yields
strong performance in linear time for wide areas, including long sequence, time
series, vision, natural language, and reinforcement learning.
- Abstract（参考訳）: 注目機構に基づくトランスフォーマーは,様々な分野で大きな成功を収めている。
しかし、注意機構は二次的な複雑さを持ち、トランスフォーマーが多数のトークンを処理し、より大きなモデルにスケールアップすることを妨げる。
従来の手法は主に行列乗算の類似性分解と結合性を利用して線形時間注意機構を考案した。
局所性などの帰納バイアスを再導入することで、モデル一般性や表現性を犠牲にして、自明な分布への注意の退化を避ける。
本稿では、フローネットワーク理論に基づいて、特定の帰納的バイアスのない変圧器を線形化する。
我々は,学習フロー能力(注意)を通じて,ソース(値)からシンク(反感)に集約された情報フローに注目した。
この枠組みでは, フロー保存の特性を注意して適用し, 線形複雑性のフローアテンション機構を提案する。
ソースコンペティション用シンクの流入流と、シンクアロケーション用ソースの流出流をそれぞれ保存することにより、フローアテンションは特定の誘導バイアスを使わずに本質的に情報的注意を発生させる。
フローアテンションによって強化されたflowformerは、長いシーケンス、時系列、ビジョン、自然言語、強化学習など、幅広い領域の線形時間において強力なパフォーマンスをもたらす。
関連論文リスト
- Learning Monotonic Attention in Transducer for Streaming Generation [26.24357071901915]
本研究では,Transducerベースのストリーミング生成モデルにおいて,非単調アライメントを扱うための学習可能なモノトニックアテンション機構を提案する。
提案手法により,Transducerモデルでは,指数関数的に大きなアライメント空間を列挙する必要がなく,その予測に基づいてアライメント範囲を適応的に調整することができる。
論文 参考訳（メタデータ） (2024-11-26T07:19:26Z) - Verlet Flows: Exact-Likelihood Integrators for Flow-Based Generative Models [4.9425328004453375]
ハミルトン力学のシンプレクティックに着想を得た拡張状態空間上のCNFのクラスであるVerlet Flowを提案する。
バーレットフローは、最小の表現性制約を課しながら、非連続的な設定から結合フローアーキテクチャを一般化する、正確な類似した生成モデルを提供する。
おもちゃの密度に関する実験では、一般的なハッチンソントレース推定器のばらつきは重要サンプリングには適さないが、一方、Verletフローは完全オートグレートトレース計算に比較可能であり、かなり高速である。
論文 参考訳（メタデータ） (2024-05-05T03:47:56Z) - Linear Log-Normal Attention with Unbiased Concentration [3.034257650900382]
本研究では,注意行列の分布と集中度を解析し,自己注意機構について検討した。
本稿では,これらの量を計測し,新たな自己注意機構である線形ログNormal Attentionを提案する。
ポピュラーな自然言語ベンチマークの実験結果から,提案した線形ログNormal Attentionは,他の線形化アテンションよりも優れていたことが判明した。
論文 参考訳（メタデータ） (2023-11-22T17:30:41Z) - Generative Flows with Invertible Attentions [135.23766216657745]
生成フローモデルに対する2種類の非可逆的注意機構を導入する。
フロー特徴写像の2分割毎に注意重みと入力表現を学習するために,分割に基づく注意機構を利用する。
提案手法は, トラクタブルジャコビアン行列を用いた非可逆アテンションモジュールをフローベースモデルの任意の位置にシームレスに統合する。
論文 参考訳（メタデータ） (2021-06-07T20:43:04Z) - Attention that does not Explain Away [54.42960937271612]
Transformerアーキテクチャに基づくモデルは、大規模なタスクに対して競合するアーキテクチャに基づくモデルよりも精度が高い。
Transformerのユニークな特徴は、任意の距離で自由な情報の流れを可能にする自己認識機構の普遍的な応用である。
本稿では,実装が簡単で,"説明的回避"効果を避けるための理論的保証を提供する,二重正規化アテンション方式を提案する。
論文 参考訳（メタデータ） (2020-09-29T21:05:39Z) - SurVAE Flows: Surjections to Bridge the Gap between VAEs and Flows [78.77808270452974]
SurVAE Flowsは、VAEと正規化フローを含む構成可能な変換のためのモジュラーフレームワークである。
提案手法は,SurVAE フローとして表現できることが示唆された。
論文 参考訳（メタデータ） (2020-07-06T13:13:22Z) - Focus of Attention Improves Information Transfer in Visual Features [80.22965663534556]
本稿では,真のオンライン環境下での視覚情報伝達のための教師なし学習に焦点を当てた。
エントロピー項の計算は、エントロピー項のオンライン推定を行う時間的プロセスによって行われる。
入力確率分布をよりよく構成するために,人間のような注目モデルを用いる。
論文 参考訳（メタデータ） (2020-06-16T15:07:25Z) - The Convolution Exponential and Generalized Sylvester Flows [82.18442368078804]
本稿では,線形変換の指数関数を取り入れ,線形フローを構築する新しい手法を提案する。
重要な洞察として、指数関数は暗黙的に計算できるため、畳み込み層を使用することができる。
畳み込み指数はCIFAR10上の生成フローにおいて他の線形変換よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-06-02T19:43:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。