論文の概要: Tree Attention: Topology-aware Decoding for Long-Context Attention on GPU clusters

• arxiv url: http://arxiv.org/abs/2408.04093v3
• Date: Wed, 14 Aug 2024 12:47:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-15 15:18:29.484225
• Title: Tree Attention: Topology-aware Decoding for Long-Context Attention on GPU clusters
• Title（参考訳）: トリーアテンション:GPUクラスタ上での長期アテンションのためのトポロジ対応デコーディング
• Authors: Vasudev Shyam, Jonathan Pilault, Emily Shepperd, Quentin Anthony, Beren Millidge,
• Abstract要約: 自己アテンションは、シーケンス長の複雑さのため、重要な計算ボトルネックである。 本研究では、勾配が自己アテンションブロックを計算するスカラーエネルギー関数を導出する。 我々の定式化により,木伐採により,配列軸を横断する還元を効率的に並列に計算できることが判明した。
• 参考スコア（独自算出の注目度）: 10.403248386029407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-attention is the core mathematical operation of modern transformer architectures and is also a significant computational bottleneck due to its quadratic complexity in the sequence length. In this work, we derive the scalar energy function whose gradient computes the self-attention block, thus elucidating the theoretical underpinnings of self-attention, providing a Bayesian interpretation of the operation and linking it closely with energy-based models such as Hopfield Networks. Our formulation reveals that the reduction across the sequence axis can be efficiently computed in parallel through a tree reduction. Our algorithm, for parallelizing attention computation across multiple GPUs enables cross-device decoding to be performed asymptotically faster (up to 8x faster in our experiments) than alternative approaches such as Ring Attention, while also requiring significantly less communication volume and incurring 2x less peak memory. Our code is publicly available here: \url{https://github.com/Zyphra/tree_attention}.
• Abstract（参考訳）: 自己注意(Self-attention)は、現代のトランスフォーマーアーキテクチャの中核的な数学的操作であり、シーケンス長の2次複雑さのため、重要な計算ボトルネックでもある。 本研究では、勾配が自己アテンションブロックを計算するスカラーエネルギー関数を導出し、したがって自己アテンションの理論的基盤を解明し、その操作のベイズ的解釈を提供し、ホップフィールドネットワークのようなエネルギーベースモデルと密接に関連付ける。 我々の定式化により,木伐採により,配列軸を横断する還元を効率的に並列に計算できることが判明した。 複数のGPU間でのアテンション計算を並列化するアルゴリズムにより、Ring Attentionのような代替手法よりもデバイス間デコーディングを漸近的に(実験では最大8倍)高速に行うことができ、通信量も大幅に少なくなり、ピークメモリも2倍少ない。 私たちのコードは、以下に公開されています。

関連論文リスト

• CAGRA: Highly Parallel Graph Construction and Approximate Nearest Neighbor Search for GPUs [4.55224304015001]
  本稿では,並列計算ハードウェアを用いた近接グラフと探索アルゴリズムを提案する。 現代のハードウェアの高性能機能を活用することで,本手法は顕著な効率向上を実現している。 90%から95%のリコール範囲での大規模クエリスループットでは,HNSWよりも3377倍高速で,GPUのSOTA実装よりも3.88.8倍高速である。
  論文  参考訳（メタデータ） (2023-08-29T09:10:53Z)
• INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
  計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。 InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。 1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
  論文  参考訳（メタデータ） (2023-08-11T04:24:39Z)
• Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
  品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。 小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。 数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-01-16T07:22:47Z)
• AxoNN: An asynchronous, message-driven parallel framework for extreme-scale deep learning [1.5301777464637454]
  AxoNNは並列ディープラーニングフレームワークで、非同期とメッセージ駆動の実行を利用して、各GPU上でのニューラルネットワーク操作をスケジュールする。 トレーニング中に定期的にデータをオフロードするスクラッチスペースとしてCPUメモリを使用することで、AxoNNはGPUメモリ使用量を4倍削減することができる。
  論文  参考訳（メタデータ） (2021-10-25T14:43:36Z)
• VersaGNN: a Versatile accelerator for Graph neural networks [81.1667080640009]
  我々は,超効率的なサイストリックアレイベースの多用途ハードウェアアクセラレータである textitVersaGNN を提案する。 textitVersaGNNは平均3712$times$ speedup with 1301.25$times$ energy reduction on CPU、35.4$times$ speedup with 17.66$times$ energy reduction on GPUを達成している。
  論文  参考訳（メタデータ） (2021-05-04T04:10:48Z)
• DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
  大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。 本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
  論文  参考訳（メタデータ） (2021-04-14T08:46:35Z)
• GPUTreeShap: Massively Parallel Exact Calculation of SHAP Scores for Tree Ensembles [0.8057006406834467]
  本稿では,グラフィック処理ユニット上での大規模並列計算に適したツリーサップアルゴリズムを提案する。 我々は,最先端のマルチコアCPU実装を用いて,SHAP値の最大19倍,SHAP値の最大340倍の高速化を実現する。
  論文  参考訳（メタデータ） (2020-10-27T00:55:07Z)
• At-Scale Sparse Deep Neural Network Inference with Efficient GPU Implementation [24.824295164938604]
  本稿では,Sparse Deep Neural Network Challenge 2020の推論モデルに対するGPU性能の最適化とスケーリング結果について述べる。 スパースディープニューラルネットワーク(SpDNN)は、大規模なニューラルネットワークのメモリフットプリントを制御することを約束している。 本研究では,ReLU関数と融合したスパース行列乗算カーネルを提案する。
  論文  参考訳（メタデータ） (2020-07-28T12:09:43Z)
• MPLP++: Fast, Parallel Dual Block-Coordinate Ascent for Dense Graphical Models [96.1052289276254]
  この研究は、人気のあるDual Block-Coordinate Ascent原則に基づく新しいMAP-solverを導入している。 驚いたことに、性能の低い解法に小さな変更を加えることで、既存の解法を大きなマージンで大幅に上回る新しい解法MPLP++を導出します。
  論文  参考訳（メタデータ） (2020-04-16T16:20:53Z)
• Efficient Video Semantic Segmentation with Labels Propagation and Refinement [138.55845680523908]
  本稿では,ハイブリッドGPU/CPUを用いた高精細ビデオのリアルタイムセマンティックセマンティックセマンティック化の問題に取り組む。 i) CPU上では、非常に高速な光フロー法であり、ビデオの時間的側面を利用して、あるフレームから次のフレームへ意味情報を伝達するために使用される。 高解像度フレーム(2048 x 1024)を持つ一般的なCityscapesデータセットでは、単一のGPUとCPU上で80から1000Hzの動作ポイントが提案されている。
  論文  参考訳（メタデータ） (2019-12-26T11:45:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。