論文の概要: Block Transformer: Global-to-Local Language Modeling for Fast Inference

• arxiv url: http://arxiv.org/abs/2406.02657v1
• Date: Tue, 4 Jun 2024 17:45:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 23:19:06.876688
• Title: Block Transformer: Global-to-Local Language Modeling for Fast Inference
• Title（参考訳）: Block Transformer: 高速推論のためのグローバル-ローカル言語モデリング
• Authors: Namgyu Ho, Sangmin Bae, Taehyeon Kim, Hyunjik Jo, Yireun Kim, Tal Schuster, Adam Fisch, James Thorne, Se-Young Yun,
• Abstract要約: Block Transformerアーキテクチャは階層的グローバル・ローカル・モデリングを採用し、自己アテンションの推論ボトルネックを軽減する自動回帰トランスフォーマーである。 本研究では,グローバル・ローカル・モデリングの新たな応用を通じて,言語モデル推論を最適化する新たなアプローチを提案する。
• 参考スコア（独自算出の注目度）: 41.361135177431336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents the Block Transformer architecture which adopts hierarchical global-to-local modeling to autoregressive transformers to mitigate the inference bottlenecks of self-attention. To apply self-attention, the key-value (KV) cache of all previous sequences must be retrieved from memory at every decoding step. Thereby, this KV cache IO becomes a significant bottleneck in batch inference. We notice that these costs stem from applying self-attention on the global context, therefore we isolate the expensive bottlenecks of global modeling to lower layers and apply fast local modeling in upper layers. To mitigate the remaining costs in the lower layers, we aggregate input tokens into fixed size blocks and then apply self-attention at this coarse level. Context information is aggregated into a single embedding to enable upper layers to decode the next block of tokens, without global attention. Free of global attention bottlenecks, the upper layers can fully utilize the compute hardware to maximize inference throughput. By leveraging global and local modules, the Block Transformer architecture demonstrates 10-20x gains in inference throughput compared to vanilla transformers with equivalent perplexity. Our work introduces a new approach to optimize language model inference through novel application of global-to-local modeling. Code is available at https://github.com/itsnamgyu/block-transformer.
• Abstract（参考訳）: 本稿では,自己意識の推論ボトルネックを軽減するために,階層的グローバル・ローカル・モデリングを自己回帰変換器に適用したBlock Transformerアーキテクチャを提案する。 自己アテンションを適用するには、すべての前のシーケンスのキー値(KV)キャッシュをデコードステップ毎にメモリから取り出す必要がある。 これにより、このKVキャッシュIOは、バッチ推論において重大なボトルネックとなる。 これらのコストは、グローバルなコンテキストに自己注意を適用することに起因するため、グローバルなモデリングの高価なボトルネックを下位層に分離し、上位層に高速な局所的モデリングを適用する。 下層の残りのコストを軽減するために、入力トークンを固定サイズブロックに集約し、この粗いレベルで自己注意を適用する。 コンテキスト情報は単一の埋め込みに集約され、グローバルな注意を払わずに、上位層が次のトークンブロックをデコードできるようにする。 グローバルな注意ボトルネックがなければ、上位層は推論スループットを最大化するために計算ハードウェアを完全に活用できる。 グローバルモジュールとローカルモジュールを活用することで、Block Transformerアーキテクチャは、等価なパープレキシティを持つバニラトランスに比べて、推論スループットが10～20倍向上することを示した。 本研究では,グローバル・ローカル・モデリングの新たな応用を通じて,言語モデル推論を最適化する新たなアプローチを提案する。 コードはhttps://github.com/itsnamgyu/block-transformer.comから入手できる。

関連論文リスト

• Attamba: Attending To Multi-Token States [6.5676809841642125]
  Attambaは、状態空間モデルを用いてトークンの塊を圧縮する新しいアーキテクチャである。 変換器のキーと値のプロジェクションをSSMに置き換えることで、モデルの品質が向上し、フレキシブルなトークンチャンキングが可能になる。 アタンバは可変長のチャンク列に注意を向けることができ、二次スケーリングと線形スケーリングのスムーズな遷移を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T18:52:06Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Progressive Token Length Scaling in Transformer Encoders for Efficient Universal Segmentation [67.85309547416155]
  ユニバーサルセグメンテーションのための強力なアーキテクチャは、マルチスケールの画像特徴を符号化し、オブジェクトクエリをマスク予測にデコードするトランスフォーマーに依存している。 Mask2Formerはその計算の50%をトランスフォーマーエンコーダでのみ使用する。 これは、エンコーダ層ごとにすべてのバックボーン機能スケールのトークンレベルの完全な表現が保持されているためである。 本稿では,パフォーマンスの犠牲を最小限に抑えながら,計算量を大幅に削減するPro-SCALEを提案する。
  論文  参考訳（メタデータ） (2024-04-23T01:34:20Z)
• Keyformer: KV Cache Reduction through Key Tokens Selection for Efficient Generative Inference [2.8241099113277666]
  キーフォーマー」は、KVキャッシュサイズとメモリ帯域幅利用に関する課題を軽減する革新的な推論時アプローチである。 我々はKeyformerの性能を,GPT-J,Cerebras-GPT,MPTの3つの基礎モデルで評価した。
  論文  参考訳（メタデータ） (2024-03-14T02:42:42Z)
• Context Compression for Auto-regressive Transformers with Sentinel Tokens [37.07722536907739]
  本稿では,特定のトークンの中間活性化をコンパクトに段階的に圧縮できるプラグイン・アンド・プレイ方式を提案する。 ドメイン内言語モデリングとゼロショットオープンエンド文書生成の両方の実験は、我々のアプローチの利点を実証している。
  論文  参考訳（メタデータ） (2023-10-12T09:18:19Z)
• Recurrent Memory Transformer [0.3529736140137003]
  メモリ拡張セグメントレベルリカレント変圧器(リカレントメモリ変圧器)について検討する。 入力や出力シーケンスに特別なメモリトークンを追加することで、Transformerモデルに変更を加えることなくメモリ機構を実装します。 我々のモデルは、より小さなメモリサイズのための言語モデリングにおけるTransformer-XLと同等に動作し、より長いシーケンス処理を必要とするタスクに対して性能を向上する。
  論文  参考訳（メタデータ） (2022-07-14T13:00:22Z)
• Block-Skim: Efficient Question Answering for Transformer [25.429122678247452]
  本稿では,トランスフォーマーの性能向上と高速化を目的として,高層層で不要なコンテキストをスキップするBlock-Skimを提案する。 さらに,下層の早期に不要な位置に対応する隠蔽状態の訓練を行い,推定時間の大幅な高速化を実現した。 Block-Skimは異なるデータセットでのQAモデルの精度を改善し、BERTベースモデルの3倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2021-12-16T01:45:33Z)
• Combiner: Full Attention Transformer with Sparse Computation Cost [142.10203598824964]
  計算の複雑さを低く保ちつつ、各注目ヘッドにフルアテンション機能を提供するコンバインダを提案する。 既存のスパース変圧器で使用されるスパースアテンションパターンのほとんどは、そのような分解設計をフルアテンションに刺激することができることを示す。 自己回帰的タスクと双方向シーケンスタスクの両方に関する実験的評価は、このアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2021-07-12T22:43:11Z)
• Video Super-Resolution Transformer [85.11270760456826]
  ビデオ超解像(VSR)は、高解像度映像を対応する低解像度バージョンから復元することを目的としており、時空間シーケンス予測問題である。 近年,シークエンス・ツー・シーケンス・モデリングの並列計算能力により,Transformerが人気を集めている。 本稿では,空間的・時間的畳み込み型自己認識層を理論的に理解し,局所性情報を活用する。
  論文  参考訳（メタデータ） (2021-06-12T20:00:32Z)
• Cluster-Former: Clustering-based Sparse Transformer for Long-Range Dependency Encoding [90.77031668988661]
  Cluster-Formerはクラスタリングベースの新しいスパーストランスであり、チャンクされたシーケンスにまたがって注意を向ける。 提案されたフレームワークは、Sliding-Window LayerとCluster-Former Layerの2つのユニークなタイプのTransformer Layerにピボットされている。 実験によると、Cluster-Formerはいくつかの主要なQAベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-09-13T22:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。