論文の概要: ReduceFormer: Attention with Tensor Reduction by Summation

• arxiv url: http://arxiv.org/abs/2406.07488v1
• Date: Tue, 11 Jun 2024 17:28:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 14:45:44.650486
• Title: ReduceFormer: Attention with Tensor Reduction by Summation
• Title（参考訳）: ReduceFormer:サミネーションによるテンソル低減による注意
• Authors: John Yang, Le An, Su Inn Park,
• Abstract要約: 注意を払って効率よく最適化されたモデルのファミリーであるReduceeFormerを紹介します。 ReduceFormerは、reduceやement-wise multiplicationといった単純な操作のみを活用するため、アーキテクチャが大幅に単純化され、推論性能が向上した。 提案するモデルファミリは,計算資源とメモリ帯域幅が限られているエッジデバイスや,高いスループットを求めるクラウドコンピューティングに適している。
• 参考スコア（独自算出の注目度）: 4.985969607297595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have excelled in many tasks including vision. However, efficient deployment of transformer models in low-latency or high-throughput applications is hindered by the computation in the attention mechanism which involves expensive operations such as matrix multiplication and Softmax. To address this, we introduce ReduceFormer, a family of models optimized for efficiency with the spirit of attention. ReduceFormer leverages only simple operations such as reduction and element-wise multiplication, leading to greatly simplified architecture and improved inference performance, with up to 37% reduction in latency and 44% improvement in throughput, while maintaining competitive accuracy comparable to other recent methods. The proposed model family is suitable for edge devices where compute resource and memory bandwidth are limited, as well as for cloud computing where high throughput is sought after.
• Abstract（参考訳）: トランスフォーマーは視覚を含む多くのタスクで優れています。 しかし, 行列乗算やソフトマックスといった高価な演算を伴う注意機構の計算によって, 低レイテンシや高スループットアプリケーションにおけるトランスフォーマーモデルの効率的な展開が妨げられる。 これを解決するために、注意を払って効率よく最適化されたモデルのファミリーであるReduceeFormerを紹介します。 ReduceFormerは、リダクションや要素の乗算といった単純な操作のみを活用するため、アーキテクチャが大幅に単純化され、推論性能が向上し、レイテンシが最大で37%削減され、スループットが44%向上した。 提案するモデルファミリは,計算資源とメモリ帯域幅が限られているエッジデバイスや,高いスループットを求めるクラウドコンピューティングに適している。

関連論文リスト

• Scalable Machine Learning Training Infrastructure for Online Ads Recommendation and Auction Scoring Modeling at Google [4.0088714133342895]
  Googleスケールの広告レコメンデーションとオークションスコアリングモデルでは、膨大な計算リソースが要求される。 本稿では,効率的なエンドツーエンド実行に対処しなければならない3つの重要な課題に対する解決策を提案する。
  論文  参考訳（メタデータ） (2025-01-17T20:40:56Z)
• Transforming Indoor Localization: Advanced Transformer Architecture for NLOS Dominated Wireless Environments with Distributed Sensors [7.630782404476683]
  本稿では,電力遅延プロファイル (PDP) の可変固有表現を保存する新しいトークン化手法であるSensor Snapshot Tokenization (SST) を提案する。 また,Swish-Gated Linear Unit-based Transformer (L-SwiGLU Transformer) モデルを提案する。
  論文  参考訳（メタデータ） (2025-01-14T01:16:30Z)
• Continual Low-Rank Scaled Dot-product Attention [67.11704350478475]
  我々は,連続的推論に適したNystr"om近似に基づくスケールド・プロダクツ・アテンションの新しい定式化を導入する。 オンライン音声分類およびオンライン行動検出タスクの実験において、提案した連続的スケールド・プロダクト・アテンションは、最大3桁の操作数を削減できる。
  論文  参考訳（メタデータ） (2024-12-04T11:05:01Z)
• Minimal Interaction Edge Tuning: A New Paradigm for Visual Adaptation [11.656632975033476]
  我々は、エッジチューニングと呼ばれる新しいビジュアル適応パラダイムを探求し、大規模な事前訓練されたモデルを、強力なクラウドサーバ上で動作するスタンドアロンの機能抽出器として扱う。 この微調整は、少ない計算資源を必要とする小さなネットワークを持つエッジデバイス上で実行される。 そこで本研究では,事前学習したモデルから得られた中間的特徴の総和が最小限の情報伝達と高適応性を有することを示す。
  論文  参考訳（メタデータ） (2024-06-25T13:54:39Z)
• EfficientMorph: Parameter-Efficient Transformer-Based Architecture for 3D Image Registration [1.741980945827445]
  教師なし3次元画像登録のためのトランスフォーマーベースのアーキテクチャであるnameを提示する。 nameは、平面ベースのアテンションメカニズムを通じて3Dボリュームのローカルとグローバルのアテンションをバランスさせ、Hi-Resトークン化戦略とマージ操作を使用する。
  論文  参考訳（メタデータ） (2024-03-16T22:01:55Z)
• Point Transformer V3: Simpler, Faster, Stronger [88.80496333515325]
  本稿では,ポイントクラウド処理における精度と効率のトレードオフを克服することに焦点を当てる。 本稿では,特定のメカニズムの精度よりもシンプルさと効率を優先するポイントトランスフォーマーV3(PTv3)を提案する。 PTv3は、屋内と屋外の両方のシナリオにまたがる20以上の下流タスクで最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-12-15T18:59:59Z)
• CageViT: Convolutional Activation Guided Efficient Vision Transformer [90.69578999760206]
  本稿では,CageViTと呼ばれる効率的な視覚変換器を提案する。 私たちのCageViTは、現在のTransformersとは違って、新しいエンコーダを使用して、再配置されたトークンを処理する。 実験の結果,提案したCageViTは最新の最先端のバックボーンよりも効率の面で大きな差があることがわかった。
  論文  参考訳（メタデータ） (2023-05-17T03:19:18Z)
• Towards Compute-Optimal Transfer Learning [82.88829463290041]
  我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。 その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2023-04-25T21:49:09Z)
• LUT-GEMM: Quantized Matrix Multiplication based on LUTs for Efficient Inference in Large-Scale Generative Language Models [9.727062803700264]
  量子化行列乗算のための効率的なカーネルであるLUT-GEMMを紹介する。 LUT-GEMMは資源集約化プロセスを取り除き、計算コストを削減する。 我々は,3ビット量子化を用いたOPT-175Bモデルに適用した場合,LUT-GEMMはトークン生成遅延を大幅に高速化することを示した。
  論文  参考訳（メタデータ） (2022-06-20T03:48:17Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)
• Towards Practical Lipreading with Distilled and Efficient Models [57.41253104365274]
  ニューラルネットワークの復活により、リリーディングは多くの進歩を目の当たりにした。 最近の研究は、最適なアーキテクチャを見つけるか、一般化を改善することで、パフォーマンスを改善するといった側面に重点を置いている。 現在の方法論と、実践的なシナリオにおける効果的なリップリーディングのデプロイ要件との間には、依然として大きなギャップがあります。 まず, LRW と LRW-1000 をそれぞれ 88.5% と 46.6% に比例して, 最先端の性能を高めることを提案する。
  論文  参考訳（メタデータ） (2020-07-13T16:56:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。