論文の概要: Efficiently Dispatching Flash Attention For Partially Filled Attention Masks

• arxiv url: http://arxiv.org/abs/2409.15097v2
• Date: Tue, 24 Sep 2024 12:56:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 14:33:51.564019
• Title: Efficiently Dispatching Flash Attention For Partially Filled Attention Masks
• Title（参考訳）: 部分充満したアテンションマスクにおけるフラッシュアテンションの効果的分散
• Authors: Agniv Sharma, Jonas Geiping,
• Abstract要約: トランスフォーマーは様々な用途で広く使われており、その多くがスパースまたは部分的に満たされた注意行列である。 我々はBinary Block Maskingを紹介した。これは非常に効率的な修正であり、マスクを意識することでFlashの注意を高める。 実世界のシナリオから得られたアテンションマスクの実験は、9倍のランタイム改善を示す。
• 参考スコア（独自算出の注目度）: 29.36452085947087
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers are widely used across various applications, many of which yield sparse or partially filled attention matrices. Examples include attention masks designed to reduce the quadratic complexity of attention, sequence packing techniques, and recent innovations like tree masking for fast validation in MEDUSA. Despite the inherent sparsity in these matrices, the state-of-the-art algorithm Flash Attention still processes them with quadratic complexity as though they were dense. In this paper, we introduce Binary Block Masking, a highly efficient modification that enhances Flash Attention by making it mask-aware. We further propose two optimizations: one tailored for masks with contiguous non-zero patterns and another for extremely sparse masks. Our experiments on attention masks derived from real-world scenarios demonstrate up to a 9x runtime improvement. The implementation will be publicly released to foster further research and application.
• Abstract（参考訳）: トランスフォーマーは様々な用途で広く使われており、その多くがスパースまたは部分的に満たされた注意行列である。 例えば、注意の二次的な複雑さを減らすために設計されたアテンションマスク、シーケンスパッキング技術、MEDUSAの高速検証のためのツリーマスクのような最近のイノベーションなどがある。 これらの行列に固有の空間性があるにもかかわらず、最先端のアルゴリズムであるFlash Attentionは、密度が高いかのように2次的な複雑さで処理している。 本稿では,Binary Block Maskingについて紹介する。 さらに、連続した非ゼロパターンのマスク用に調整されたマスクと、非常にスパースなマスク用に調整されたマスクの2つの最適化を提案する。 実世界のシナリオから得られたアテンションマスクの実験は、9倍のランタイム改善を示す。 この実装は、さらなる研究と応用を促進するために、一般公開される予定である。

関連論文リスト

• FlashMask: Efficient and Rich Mask Extension of FlashAttention [22.810595298076866]
  FlashMaskはFlashAttentionの拡張であり、アテンションマスクのカラム単位のスパース表現を導入している。 この新しい表現を採用することで、FlashMaskは長いコンテキストシーケンスのモデリングに適した線形メモリ複雑性$O(N)$を達成する。 SFT, LoRA, DPO, RMなどのLLMの微調整およびアライメント訓練におけるFlashMaskの性能を評価する。
  論文  参考訳（メタデータ） (2024-10-02T09:17:26Z)
• ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
  Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。 データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。 ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
  論文  参考訳（メタデータ） (2024-07-17T22:04:00Z)
• Downstream Task Guided Masking Learning in Masked Autoencoders Using Multi-Level Optimization [42.82742477950748]
  Masked Autoencoder (MAE) は視覚表現学習における自己教師付き事前学習のための重要な手法である。 プリトレーニング中に最適なマスキング戦略を学習する新しいフレームワークであるMulti-level Optimized Mask Autoencoder (MLO-MAE)を紹介する。 視覚表現学習におけるMLO-MAEの進歩について検討した。
  論文  参考訳（メタデータ） (2024-02-28T07:37:26Z)
• DynaMask: Dynamic Mask Selection for Instance Segmentation [21.50329070835023]
  我々は,各インスタンスに最適なマスク解像度を選択するために,計算コストを無視できるマスクスイッチモジュール(MSM)を開発した。 提案手法,すなわちDynaMaskは,高い計算オーバーヘッドで,他の最先端技術よりも一貫した,顕著なパフォーマンス向上を実現する。
  論文  参考訳（メタデータ） (2023-03-14T13:01:25Z)
• MP-Former: Mask-Piloted Transformer for Image Segmentation [16.620469868310288]
  Mask2Formerはデコーダ層間の一貫性のないマスク予測に悩まされている。 本手法では,マスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスのマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスマスをマスマスマスマストした。
  論文  参考訳（メタデータ） (2023-03-13T17:57:59Z)
• Bi-directional Masks for Efficient N:M Sparse Training [64.9617631724811]
  両方向マスク (Bi-Mask) の2つの中心的革新を取り入れた新しい手法を提案する。 前方と後方の重量空間を乱し、非常に密度の高い勾配を乗り越える。 トランスポーザブルマスクを応用し、後方加速を可能にする既存の一方向シナリオと比較して、我々のBi-Maskは性能がより優れていることを実験的に実証した。
  論文  参考訳（メタデータ） (2023-02-13T02:32:02Z)
• Mask Transfiner for High-Quality Instance Segmentation [95.74244714914052]
  高品質で効率的なインスタンスセグメンテーションのためのMask Transfinerを提案する。 当社のアプローチでは, エラーが発生しやすい木ノードを検出し, エラーを並列に自己修正する。 私たちのコードとトレーニングされたモデルは、http://vis.xyz/pub/transfiner.comで公開されます。
  論文  参考訳（メタデータ） (2021-11-26T18:58:22Z)
• Image Inpainting by End-to-End Cascaded Refinement with Mask Awareness [66.55719330810547]
  任意の欠落領域を塗りつぶすことは、様々なマスクされた領域で有効な特徴を学ぶことは非自明だから難しい。 符号化フェーズにおける欠落領域のマルチスケール特徴を学習する新しいマスク対応インペイントソリューションを提案する。 私たちのフレームワークは、3つの公開データセットに関する広範な実験を通じて定量的および定性的に検証されます。
  論文  参考訳（メタデータ） (2021-04-28T13:17:47Z)
• DCT-Mask: Discrete Cosine Transform Mask Representation for Instance Segmentation [50.70679435176346]
  本稿では、離散コサイン変換(DCT)を用いて、高分解能二元格子マスクをコンパクトなベクトルに符号化することで、新しいマスク表現を提案する。 DCT-Maskと呼ばれるこの手法は、ほとんどのピクセルベースのインスタンスセグメンテーション手法に簡単に統合できる。
  論文  参考訳（メタデータ） (2020-11-19T15:00:21Z)
• Ternary Feature Masks: zero-forgetting for task-incremental learning [68.34518408920661]
  本稿では,タスク認識体制の継続的な学習を忘れずにアプローチを提案する。 第三のマスクを使用することで、モデルを新しいタスクにアップグレードしたり、以前のタスクからの知識を再利用したりできます。 本手法は,重みに基づく手法と比較して,メモリオーバーヘッドを低減しつつ,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-01-23T18:08:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。