論文の概要: ENTP: Encoder-only Next Token Prediction

• arxiv url: http://arxiv.org/abs/2410.01600v3
• Date: Tue, 04 Feb 2025 07:07:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:55:39.224826
• Title: ENTP: Encoder-only Next Token Prediction
• Title（参考訳）: ENTP:エンコーダのみの次のトークン予測
• Authors: Ethan Ewer, Daewon Chae, Thomas Zeng, Jinkyu Kim, Kangwook Lee,
• Abstract要約: 典型的には、因果的注意を伴うデコーダのみの変換器を用いて次トーケン予測を行う。 もし計算制限がなかったら、デコーダのみのトランスフォーマーを使うべきだろうか? 演算子のみのNext Token Prediction (ENTP)を紹介する。
• 参考スコア（独自算出の注目度）: 12.35591516507234
• License:
• Abstract: Next-token prediction is conventionally done using decoder-only Transformers with causal attention, as this approach allows for efficient reuse of keys and values. What if we were not compute-limited, should we still use decoder-only Transformers? In this work, we introduce Encoder-only Next Token Prediction (ENTP). We explore the differences between ENTP and decoder-only Transformers in expressive power and complexity, highlighting potential advantages of ENTP in settings with unbounded compute. We introduce the $\operatorname{Count3}$ task and show, both theoretically and experimentally, that while ENTP can perform this task easily, a decoder-only Transformer cannot. Finally, we empirically demonstrate the superior performance of ENTP across representative tasks where next-token prediction based Transformers can be evaluated, including addition, in-context learning, and language modeling.
• Abstract（参考訳）: キーと値の効率的な再利用を可能にするため,従来は因果的な注意を払ってデコーダのみの変換器を用いて次トーケン予測を行う。 もし計算制限がなかったら、デコーダのみのトランスフォーマーを使うべきだろうか? 本研究では,EncoderのみのNext Token Prediction (ENTP)を紹介する。 本稿では,ENTPとデコーダのみの変換器の違いを表現力と複雑性で検討し,非有界計算環境におけるENTPの潜在的な利点を明らかにする。 我々は$\operatorname{Count3}$ taskを導入し、理論上も実験上も、ENTPは容易にこのタスクを実行できるが、デコーダのみのTransformerではできないことを示す。 最後に,次点予測に基づくトランスフォーマーを付加,文脈内学習,言語モデリングなどにより評価可能な代表タスクに対して,ENTPの優れた性能を実証的に示す。

関連論文リスト

• Future Token Prediction -- Causal Language Modelling with Per-Token Semantic State Vector for Multi-Token Prediction [0.0]
  本研究では,Future Token Prediction(FTP)と呼ばれる事前学習手法について検討する。 FTPは、擬似シーケンスに線形かつ拡張的に投影される各トークン位置の埋め込みベクトルを生成する。 プログラミングの問題として、FTPネットワークはGPTネットワークよりもはるかに優れた結果をもたらす。
  論文  参考訳（メタデータ） (2024-10-23T14:50:15Z)
• PPT: Token Pruning and Pooling for Efficient Vision Transformers [7.792045532428676]
  我々は新しいアクセラレーションフレームワーク、すなわちトークン・プルーニング・アンド・プール変換器(PPT)を提案する。 PPTは、トレーニング可能なパラメータを追加せずに、トークンプーリングとトークンプーリングの両方をViTsに統合する。 37%以上のFLOPを削減し、ImageNetデータセットの精度低下なしに、DeiT-Sのスループットを45%以上改善する。
  論文  参考訳（メタデータ） (2023-10-03T05:55:11Z)
• LAIT: Efficient Multi-Segment Encoding in Transformers with Layer-Adjustable Interaction [31.895986544484206]
  変換器(LAIT)における層間相互作用について紹介する。 LAIT内では、セグメント化された入力は、まず独立に符号化され、次に共同で符号化される。 LAITは高い精度を保ちながら、多くのタスクにおけるFLOPの30～50%の注意を減らすことができる。
  論文  参考訳（メタデータ） (2023-05-31T06:09:59Z)
• Universality and Limitations of Prompt Tuning [65.8354898840308]
  トランスフォーマーアーキテクチャにおけるソフトプロンプトチューニングの役割を理解するための最初のステップの1つを取り上げる。 連続値関数に対する有限深度事前学習型変圧器を用いて、普遍性と制限のレンズからの即時チューニングを解析する。 この結果は、リプシッツ関数の集合における任意の列列列関数を近似するプロンプトを持つ強変換器の存在を保証する。
  論文  参考訳（メタデータ） (2023-05-30T06:47:07Z)
• DeMT: Deformable Mixer Transformer for Multi-Task Learning of Dense Prediction [40.447092963041236]
  変形可能なCNNとクエリベースのTransformerの利点を組み合わせた新しいMTLモデルを提案する。 提案手法は, 単純かつ効率的なエンコーダ・デコーダアーキテクチャに基づいている。 我々のモデルはGFLOPを少なくし、現在のTransformerやCNNベースの競合モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-01-09T16:00:15Z)
• Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
  本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。 勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。 我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-12-16T11:15:39Z)
• Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
  連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。 RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。 我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
  論文  参考訳（メタデータ） (2022-05-26T14:51:30Z)
• Multi-Tailed Vision Transformer for Efficient Inference [44.43126137573205]
  Vision Transformer (ViT) は画像認識において有望な性能を達成した。 本稿では,MT-ViT(Multi-Tailed Vision Transformer)を提案する。 MT-ViTは、以下のTransformerエンコーダのために異なる長さの視覚シーケンスを生成するために複数のテールを採用する。
  論文  参考訳（メタデータ） (2022-03-03T09:30:55Z)
• Vision Transformer with Progressive Sampling [73.60630716500154]
  本稿では,識別領域を特定するための反復的・漸進的なサンプリング手法を提案する。 ImageNetでスクラッチからトレーニングされた場合、PS-ViTはトップ1の精度でバニラViTよりも3.8%高いパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-08-03T18:04:31Z)
• On the Power of Saturated Transformers: A View from Circuit Complexity [87.20342701232869]
  飽和変圧器はハードアテンション変圧器の限界を超越していることを示す。 硬度から飽和度へのジャンプは、変換器の有効回路深さを$O(log n)$の係数で増加させると解釈できる。
  論文  参考訳（メタデータ） (2021-06-30T17:09:47Z)
• Transformer-Based Deep Image Matching for Generalizable Person Re-identification [114.56752624945142]
  画像マッチングと距離学習にトランスフォーマーを適用する可能性について検討する。 視覚変換器 (ViT) とデコーダ付きバニラ変換器 (Vanilla Transformer) はイメージ・ツー・イメージ・アテンションの欠如により画像マッチングに適していないことがわかった。 そこで本研究では,クエリキーの類似性のみを保ちながら,ソフトマックス重み付けによる注意の完全な実装を省略する,単純化されたデコーダを提案する。
  論文  参考訳（メタデータ） (2021-05-30T05:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。