論文の概要: You Only Cache Once: Decoder-Decoder Architectures for Language Models

• arxiv url: http://arxiv.org/abs/2405.05254v1
• Date: Wed, 8 May 2024 17:57:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 13:45:01.154582
• Title: You Only Cache Once: Decoder-Decoder Architectures for Language Models
• Title（参考訳）: 一度だけキャッシュする: 言語モデルのためのデコーダ-デコーダアーキテクチャ
• Authors: Yutao Sun, Li Dong, Yi Zhu, Shaohan Huang, Wenhui Wang, Shuming Ma, Quanlu Zhang, Jianyong Wang, Furu Wei,
• Abstract要約: 大規模言語モデルのためのデコーダ・デコーダアーキテクチャであるYOCOを導入する。 YOCOはキーと値のペアを一度だけキャッシュする。 全体的なモデルはデコーダのみのTransformerのように振る舞うが、YOCOは一度だけキャッシュする。
• 参考スコア（独自算出の注目度）: 132.4064488592704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a decoder-decoder architecture, YOCO, for large language models, which only caches key-value pairs once. It consists of two components, i.e., a cross-decoder stacked upon a self-decoder. The self-decoder efficiently encodes global key-value (KV) caches that are reused by the cross-decoder via cross-attention. The overall model behaves like a decoder-only Transformer, although YOCO only caches once. The design substantially reduces GPU memory demands, yet retains global attention capability. Additionally, the computation flow enables prefilling to early exit without changing the final output, thereby significantly speeding up the prefill stage. Experimental results demonstrate that YOCO achieves favorable performance compared to Transformer in various settings of scaling up model size and number of training tokens. We also extend YOCO to 1M context length with near-perfect needle retrieval accuracy. The profiling results show that YOCO improves inference memory, prefill latency, and throughput by orders of magnitude across context lengths and model sizes. Code is available at https://aka.ms/YOCO.
• Abstract（参考訳）: キーと値のペアを一度だけキャッシュする大規模言語モデルのためのデコーダ/デコーダアーキテクチャであるYOCOを導入する。 これは2つのコンポーネント、すなわち自己デコーダに積み重ねられたクロスデコーダで構成されている。 自己復号器は、クロスアテンションを介してクロスデコーダによって再利用されるグローバルキー値(KV)キャッシュを効率よく符号化する。 全体的なモデルはデコーダのみのTransformerのように振る舞うが、YOCOは一度だけキャッシュする。 この設計はGPUメモリの需要を大幅に削減するが、グローバルな注意力を維持する。 さらに、計算フローにより、最終出力を変更することなく早期出口へのプリフィルが可能となり、プリフィルステージが大幅に高速化される。 実験により, YOCOはモデルサイズとトレーニングトークン数をスケールアップする様々な設定において, Transformerと比較して, 良好な性能を示した。 また, ヨーコの文脈長を100Mに拡張し, ほぼ完全針検定精度を向上した。 プロファイリングの結果から, YOCOは推論メモリ, プリフィルレイテンシ, スループットを, コンテキスト長とモデルサイズで桁違いに改善することがわかった。 コードはhttps://aka.ms/YOCO.comで入手できる。

関連論文リスト

• Are Decoder-Only Large Language Models the Silver Bullet for Code Search? [32.338318300589776]
  本研究では,コード検索のためのデコーダのみの大規模言語モデルについて,初めて体系的な検討を行った。 2つの微調整法、2つのデータセット、3つのモデルサイズを用いて、最先端デコーダのみの9つのモデルを評価する。 この結果,微調整のCodeGemmaはUniXcoderのようなエンコーダのみのモデルよりも大幅に優れていることがわかった。
  論文  参考訳（メタデータ） (2024-10-29T17:05:25Z)
• Progressive Token Length Scaling in Transformer Encoders for Efficient Universal Segmentation [67.85309547416155]
  ユニバーサルセグメンテーションのための強力なアーキテクチャは、マルチスケールの画像特徴を符号化し、オブジェクトクエリをマスク予測にデコードするトランスフォーマーに依存している。 Mask2Formerはその計算の50%をトランスフォーマーエンコーダでのみ使用する。 これは、エンコーダ層ごとにすべてのバックボーン機能スケールのトークンレベルの完全な表現が保持されているためである。 本稿では,パフォーマンスの犠牲を最小限に抑えながら,計算量を大幅に削減するPro-SCALEを提案する。
  論文  参考訳（メタデータ） (2024-04-23T01:34:20Z)
• ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference [70.36083572306839]
  本稿では,再ランク付けのための新しいトレーニングおよび推論パラダイムを提案する。 文書形式を用いて事前訓練したエンコーダ・デコーダモデルを精査し,クエリ生成を行う。 このエンコーダ-デコーダアーキテクチャは,推論中にデコーダのみの言語モデルに分解可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T06:26:29Z)
• UniXcoder: Unified Cross-Modal Pre-training for Code Representation [65.6846553962117]
  プログラミング言語のためのクロスモーダル事前学習モデルUniXcoderを提案する。 木の構造情報を全て保持するシーケンス構造でASTを変換する1対1のマッピング手法を提案する。 我々は,UniXcoderを9つのデータセット上で5つのコード関連タスクで評価する。
  論文  参考訳（メタデータ） (2022-03-08T04:48:07Z)
• Instantaneous Grammatical Error Correction with Shallow Aggressive Decoding [57.08875260900373]
  即時文法的誤り訂正(GEC)のためのトランスフォーマーのオンライン推論効率を改善するために,Shallow Aggressive Decoding (SAD)を提案する。 SADは、計算並列性を改善するために、各ステップで1つのトークンだけを復号するのではなく、可能な限り多くのトークンを並列に復号する。 英語と中国語のGECベンチマークでの実験では、アグレッシブな復号化がオンライン推論の大幅なスピードアップをもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-06-09T10:30:59Z)
• Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers [149.78470371525754]
  セマンティックセグメンテーションをシーケンスからシーケンスへの予測タスクとして扱う。 具体的には、イメージをパッチのシーケンスとしてエンコードするために純粋なトランスをデプロイします。 トランスのすべての層でモデル化されたグローバルコンテキストにより、このエンコーダは、SETR(SEgmentation TRansformer)と呼ばれる強力なセグメンテーションモデルを提供するための単純なデコーダと組み合わせることができる。 SETRはADE20K(50.28% mIoU)、Pascal Context(55.83% mIoU)、およびCityscapesの競争力のある結果に関する最新技術を達成している。
  論文  参考訳（メタデータ） (2020-12-31T18:55:57Z)
• Efficient Wait-k Models for Simultaneous Machine Translation [46.01342928010307]
  同時機械翻訳は、入力シーケンス全体が利用可能になる前に出力生成を開始することで構成される。 Wait-kデコーダは、この問題に対してシンプルだが効率的なアプローチを提供する。 IWSLTデータセットを用いた音声コーパスの低リソース設定におけるwait-k復号の動作について検討する。
  論文  参考訳（メタデータ） (2020-05-18T11:14:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。