論文の概要: FutureFill: Fast Generation from Convolutional Sequence Models

• arxiv url: http://arxiv.org/abs/2410.03766v1
• Date: Fri, 25 Oct 2024 19:45:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 16:30:33.281243
• Title: FutureFill: Fast Generation from Convolutional Sequence Models
• Title（参考訳）: FutureFill: 畳み込みシーケンスモデルから高速な生成
• Authors: Naman Agarwal, Xinyi Chen, Evan Dogariu, Vlad Feinberg, Daniel Suo, Peter Bartlett, Elad Hazan,
• Abstract要約: 本稿では,畳み込み演算子に基づく任意のシーケンス予測アルゴリズムに適用可能な高速生成法であるFutureFillを紹介する。 提案手法では, 生成時間要件を文脈長に対して線形から正方形に短縮する。 本研究は, 合成生成タスクにおける正当性と効率向上を示す実験的証拠を用いて, 理論的知見を検証した。
• 参考スコア（独自算出の注目度）: 22.410028211490424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the challenge of efficient auto-regressive generation in sequence prediction models by introducing FutureFill: a method for fast generation that applies to any sequence prediction algorithm based on convolutional operators. Our approach reduces the generation time requirement from linear to square root relative to the context length. Additionally, FutureFill requires a prefill cache sized only by the number of tokens generated, which is smaller than the cache requirements for standard convolutional and attention-based models. We validate our theoretical findings with experimental evidence demonstrating correctness and efficiency gains in a synthetic generation task.
• Abstract（参考訳）: 本稿では、畳み込み演算子に基づく任意のシーケンス予測アルゴリズムに適用可能な高速な生成法であるFutureFillを導入することで、シーケンス予測モデルにおける効率的な自己回帰生成の課題に対処する。 提案手法では, 生成時間要件を文脈長に対して線形から正方形に短縮する。 さらにFutureFillでは、標準の畳み込みとアテンションベースのモデルのキャッシュ要件よりも小さく、生成されるトークンの数だけの大きさのプリフィルキャッシュを必要とする。 本研究は, 合成生成タスクにおける正当性と効率性向上を示す実験的証拠を用いて, 理論的知見を検証した。

関連論文リスト

• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• Loop Neural Networks for Parameter Sharing [1.1049608786515839]
  本稿では,モデルサイズを増大させることなく,より長い計算時間を活用することにより,より優れた性能を実現するループニューラルネットワークを提案する。 提案手法では,残差接続を持つモデルのサブセットを反復的にループすることで,入力を複数回再検討する。 本手法の有効性を,GPT-2とループモデルの比較実験により実証し,類似したパラメータ数を維持しつつ,言語モデリングタスクの性能向上を示す。
  論文  参考訳（メタデータ） (2024-09-21T17:07:42Z)
• TX-Gen: Multi-Objective Optimization for Sparse Counterfactual Explanations for Time-Series Classification [0.42105583610914427]
  非支配的ソーティング遺伝的アルゴリズム(NSGA-II)に基づく反実的説明を生成する新しいアルゴリズムであるTX-Genを導入する。 フレキシブルな参照誘導機構を組み込むことにより,事前定義された仮定に頼ることなく,その妥当性と解釈性を向上させる。
  論文  参考訳（メタデータ） (2024-09-14T15:13:28Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Non-autoregressive Sequence-to-Sequence Vision-Language Models [63.77614880533488]
  本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。 このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
  論文  参考訳（メタデータ） (2024-03-04T17:34:59Z)
• Explainable Parallel RCNN with Novel Feature Representation for Time Series Forecasting [0.0]
  時系列予測はデータサイエンスにおける根本的な課題である。 RNNとCNNを組み合わせた並列ディープラーニングフレームワークを開発した。 3つのデータセットに対する大規模な実験により,本手法の有効性が明らかとなった。
  論文  参考訳（メタデータ） (2023-05-08T17:20:13Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Deep Latent State Space Models for Time-Series Generation [68.45746489575032]
  状態空間ODEに従って進化する潜伏変数を持つ列の生成モデルLS4を提案する。 近年の深層状態空間モデル(S4)に着想を得て,LS4の畳み込み表現を利用して高速化を実現する。 LS4は, 実世界のデータセット上での限界分布, 分類, 予測スコアにおいて, 従来の連続時間生成モデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-12-24T15:17:42Z)
• An EM Approach to Non-autoregressive Conditional Sequence Generation [49.11858479436565]
  自己回帰(AR)モデルは条件付きシーケンス生成において支配的なアプローチである。 非自己回帰(NAR)モデルは、最近、すべての出力トークンを並列に生成することでレイテンシを低減するために提案されている。 本稿では,ARモデルとNARモデルの両方を統合期待最大化フレームワークで協調的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-29T20:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。