論文の概要: Top-Theta Attention: Sparsifying Transformers by Compensated Thresholding

• arxiv url: http://arxiv.org/abs/2502.08363v2
• Date: Fri, 22 Aug 2025 09:24:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 14:39:45.125763
• Title: Top-Theta Attention: Sparsifying Transformers by Compensated Thresholding
• Title（参考訳）: トップテータ注意:補償閾値によるスポーリング変換器
• Authors: Konstantin Berestizshevsky, Renzo Andri, Lukas Cavigelli,
• Abstract要約: 提案するTop-theta (Top-$theta$) Attention, a training-free method for sparsification transformer attention during inference。 私たちのキーとなる洞察は、頭当たりの静的な閾値は、アテンション行当たりの重要な要素の一定数の保持のために調整できるということです。 Top-Theta$は、Vキャッシュの使用を3～10倍削減し、推論中の注目要素を最大10倍削減するが、精度は1%以下である。
• 参考スコア（独自算出の注目度）: 3.9826635165229223
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present Top-Theta (Top-$\theta$) Attention, a training-free method for sparsifying transformer attention during inference. Our key insight is that static, per-head thresholds can be calibrated to retain the desired constant number of significant elements per attention row. This approach enables content-based sparsity without retraining, and it remains robust across data domains. We further introduce compensation techniques to preserve accuracy under aggressive sparsification, establishing attention thresholding as a practical and principled alternative to top-k attention. We provide extensive evaluation on natural language processing tasks, showing that Top-$\theta$ achieves 3-10x reduction in V-cache usage and up to 10x fewer attention elements during inference while degrading no more than 1% in accuracy.
• Abstract（参考訳）: 提案するTop-Theta (Top-$\theta$) Attentionは、推論中に変圧器の注意を分散させる訓練不要な方法である。 私たちのキーとなる洞察は、頭当たりの静的な閾値は、アテンション行当たりの重要な要素の一定数の保持のために調整できるということです。 このアプローチは、再トレーニングすることなく、コンテンツベースのスパーシリティを可能にし、データドメイン間で堅牢である。 さらに,アグレッシブ・スパシフィケーションの下での精度維持のための補償手法を導入し,注目閾値設定を,トップk注意に対する実用的で原則的な代替手段として確立する。 自然言語処理タスクについて広範囲な評価を行い,Top-\theta$ が V-cache の使用量を3～10倍削減し,推論中の注目要素を最大10倍削減し,精度を 1% 以下に低下させることを示した。

関連論文リスト

• Delta Attention: Fast and Accurate Sparse Attention Inference by Delta Correction [52.14200610448542]
  変圧器は二次的な複雑さを持ち、長いシーケンスに対して高い推論コストとレイテンシをもたらす。 本稿では、この分布シフトを修正するためのシンプルで斬新で効果的な手順を提案する。 1Mトークンのプリフィル処理では,Flash Attention 2の32倍の速度で,約98.5%の間隔を維持することができる。
  論文  参考訳（メタデータ） (2025-05-16T13:48:33Z)
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)
• Online Pseudo-average Shifting Attention(PASA) for Robust Low-precision LLM Inference: Algorithms and Numerical Analysis [15.71443217369106]
  我々は、Flash Attentionに基づくPASAと呼ばれる低精度で数学的に等価なアルゴリズムを開発した。 PASAは、オンライン擬似平均シフトとグローバルリカバリの2つの新しいテクニックを紹介している。 注意入力データの大きなバイアスと振幅が,数値オーバーフローに寄与する重要な要因であることがわかった。
  論文  参考訳（メタデータ） (2025-02-26T01:00:46Z)
• Tactic: Adaptive Sparse Attention with Clustering and Distribution Fitting for Long-Context LLMs [10.52833484759311]
  本稿では,空間適応型かつキャリブレーションフリーなスパースアテンション機構であるTacticを提案する。 固定されたトークン予算ではなく、累積的な注意スコアに基づいてトークンを動的に選択する。 我々は、Tacticが既存のスパースアテンションアルゴリズムより優れており、精度が良く、7.29倍のデコードアテンションスピードアップを実現していることを示す。
  論文  参考訳（メタデータ） (2025-02-17T08:39:43Z)
• Tensor Product Attention Is All You Need [53.69820973900921]
  プロダクトアテンション(TPA)は、テンソル分解を使用してクエリ、キー、値をコンパクトに表現する新しいアテンションメカニズムである。 TPAは、メモリ効率とともに改善されたモデル品質を実現する。 TPAに基づいて、シーケンスモデリングのための新しいモデルアーキテクチャであるProduct Attention Transformer(T6)を紹介する。
  論文  参考訳（メタデータ） (2025-01-11T03:37:10Z)
• Continual Low-Rank Scaled Dot-product Attention [67.11704350478475]
  我々は,連続的推論に適したNystr"om近似に基づくスケールド・プロダクツ・アテンションの新しい定式化を導入する。 オンライン音声分類およびオンライン行動検出タスクの実験において、提案した連続的スケールド・プロダクト・アテンションは、最大3桁の操作数を削減できる。
  論文  参考訳（メタデータ） (2024-12-04T11:05:01Z)
• ReduceFormer: Attention with Tensor Reduction by Summation [4.985969607297595]
  注意を払って効率よく最適化されたモデルのファミリーであるReduceeFormerを紹介します。 ReduceFormerは、reduceやement-wise multiplicationといった単純な操作のみを活用するため、アーキテクチャが大幅に単純化され、推論性能が向上した。 提案するモデルファミリは,計算資源とメモリ帯域幅が限られているエッジデバイスや,高いスループットを求めるクラウドコンピューティングに適している。
  論文  参考訳（メタデータ） (2024-06-11T17:28:09Z)
• Simple linear attention language models balance the recall-throughput tradeoff [60.06020449520365]
  線形およびすべり窓の注意を結合したシンプルなアーキテクチャであるBASEDを提案する。 我々は、最大1.3bパラメータの言語モデルをトレーニングし、BASEDがパープレキシティにおいて最強のサブクワッドラティックモデルと一致し、実世界のリコール集約タスクにおいて6.22の精度ポイントでそれらのモデルを上回っていることを示す。
  論文  参考訳（メタデータ） (2024-02-28T19:28:27Z)
• FAST: Factorizable Attention for Speeding up Transformers [1.3637227185793512]
  本稿では,スペーシフィケーションを伴わずに,注目行列の完全な表現を維持する線形スケールアテンション機構を提案する。 その結果、我々の注意機構は堅牢な性能を示し、自己注意が使用される多様なアプリケーションに対して大きな可能性を秘めていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T18:59:39Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• How Much Does Attention Actually Attend? Questioning the Importance of Attention in Pretrained Transformers [59.57128476584361]
  本稿では,入力依存型アテンション行列を一定値に置き換える新しい探索手法PAPAを紹介する。 入力依存の注意を払わずに、全てのモデルが競争性能を達成できることがわかった。 より弱いモデルよりも、我々の手法を適用することでより良い性能のモデルが失われることが示され、入力依存の注意機構の利用がその成功の要因である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-11-07T12:37:54Z)
• Sparse Attention Acceleration with Synergistic In-Memory Pruning and On-Chip Recomputation [6.303594714446706]
  自己認識機構は、入力シーケンス全体にわたってペアワイズ相関を計測する。 良好な性能にもかかわらず、ペアワイズ相関を計算するのは非常にコストがかかる。 この研究は、注意点を近似的に計算するSPRINTと呼ばれるアクセラレーターを設計することで、これらの制約に対処する。
  論文  参考訳（メタデータ） (2022-09-01T17:18:19Z)
• CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point Cloud Learning [81.85951026033787]
  この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。 また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。 提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
  論文  参考訳（メタデータ） (2022-07-31T21:39:15Z)
• SimpleTron: Eliminating Softmax from Attention Computation [68.8204255655161]
  そこで本研究では,ドット積のペアワイズアテンション層がモデル性能に冗長であることを示す。 我々の知る限りでは、Long-Range Arenaベンチマークのいくつかのタスクにおける既存の注意評価よりも優れる、シンプルで高速な代替案を提案する。
  論文  参考訳（メタデータ） (2021-11-23T17:06:01Z)
• Memory-efficient Transformers via Top-$k$ Attention [23.672065688109395]
  本研究では,バニラ注意のための簡易かつ高精度な近似法を提案する。 クェリをチャンクで処理し、各クェリに対してキーに関するトップ$kのスコアを計算します。 我々のアプローチは、スクラッチからのトレーニング、微調整、ゼロショット推論を含む複数のセットアップにおいて、バニラの注意にほぼ同一の精度をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-06-13T02:30:23Z)
• On the Distribution, Sparsity, and Inference-time Quantization of Attention Values in Transformers [13.401707395755746]
  NLPタスクに必要な典型的な注意値の全範囲について検討する。 注意値の80%近くは、最小限(1.0%$)の精度でゼロにプルーニングできる。 我々は,このプルーニング手法と組み合わせて,注意値を3ビット形式に定量化することで,微調整されたRoBERTaによる質問応答の精度を0.8%低下させることができた。
  論文  参考訳（メタデータ） (2021-06-02T17:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。