論文の概要: FutureFill: Fast Generation from Convolutional Sequence Models

• arxiv url: http://arxiv.org/abs/2410.03766v2
• Date: Fri, 25 Oct 2024 19:45:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 16:30:33.278243
• Title: FutureFill: Fast Generation from Convolutional Sequence Models
• Title（参考訳）: FutureFill: 畳み込みシーケンスモデルから高速な生成
• Authors: Naman Agarwal, Xinyi Chen, Evan Dogariu, Vlad Feinberg, Daniel Suo, Peter Bartlett, Elad Hazan,
• Abstract要約: FutureFillは畳み込み演算子に基づく任意のシーケンス予測アルゴリズムに適用可能な高速生成法である。 提案手法は, 文脈長に対して, 生成時間を2次から4次へと短縮する。 本研究は, 合成生成タスクにおける正当性と効率向上を示す実験的証拠を用いて, 理論的知見を検証した。
• 参考スコア（独自算出の注目度）: 22.410028211490424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the challenge of efficient auto-regressive generation in sequence prediction models by introducing FutureFill - a method for fast generation that applies to any sequence prediction algorithm based on convolutional operators. Our approach reduces the generation time requirement from quadratic to quasilinear relative to the context length. Additionally, FutureFill requires a prefill cache sized only by the number of tokens generated, which is smaller than the cache requirements for standard convolutional and attention-based models. We validate our theoretical findings with experimental evidence demonstrating correctness and efficiency gains in a synthetic generation task.
• Abstract（参考訳）: 本稿では、畳み込み演算子に基づく任意のシーケンス予測アルゴリズムに適用可能な高速な生成法であるFutureFillを導入することにより、シーケンス予測モデルにおける効率的な自己回帰生成の課題に対処する。 提案手法は, 文脈長に対して, 生成時間を2次から4次へと短縮する。 さらにFutureFillでは、標準の畳み込みとアテンションベースのモデルのキャッシュ要件よりも小さく、生成されるトークンの数だけの大きさのプリフィルキャッシュを必要とする。 本研究は, 合成生成タスクにおける正当性と効率性向上を示す実験的証拠を用いて, 理論的知見を検証した。

関連論文リスト

• Sundial: A Family of Highly Capable Time Series Foundation Models [64.6322079384575]
  Sundialはネイティブでフレキシブルでスケーラブルな時系列基盤モデルのファミリーです。 本モデルでは,事前分布を指定せずに事前学習を行い,複数の予測予測を生成できる。 TimeFlow Loss を通じてモード崩壊を緩和することにより、TimeBench 上で Sundial モデルのファミリーを事前訓練し、前例のないモデルキャパシティと一般化性能を示す。
  論文  参考訳（メタデータ） (2025-02-02T14:52:50Z)
• Efficient Generative Modeling with Residual Vector Quantization-Based Tokens [5.949779668853557]
  ResGenは、サンプリング速度を損なうことなく高忠実度サンプルを生成する効率的なRVQベースの離散拡散モデルである。 我々は,ImageNet 256x256における条件付き画像生成とゼロショット音声合成の2つの課題に対して,提案手法の有効性と一般化性を検証する。 RVQの深さを拡大するにつれて、我々の生成モデルは、同様の大きさのベースラインモデルと比較して、より優れた生成忠実度またはより高速なサンプリング速度を示す。
  論文  参考訳（メタデータ） (2024-12-13T15:31:17Z)
• Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization [74.3339999119713]
  我々はウェーブレットベースのトークンーザを開発し、時間局所化周波数の空間でモデルが複雑な表現を直接学習できるようにする。 提案手法は,まず入力時系列をスケール・分解し,次に閾値を設定し,ウェーブレット係数を定量化し,最後に予測水平方向の係数を予測する自己回帰モデルを事前学習する。
  論文  参考訳（メタデータ） (2024-12-06T18:22:59Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• Loop Neural Networks for Parameter Sharing [1.1049608786515839]
  本稿では,モデルサイズを増大させることなく,より長い計算時間を活用することにより,より優れた性能を実現するループニューラルネットワークを提案する。 提案手法では,残差接続を持つモデルのサブセットを反復的にループすることで,入力を複数回再検討する。 本手法の有効性を,GPT-2とループモデルの比較実験により実証し,類似したパラメータ数を維持しつつ,言語モデリングタスクの性能向上を示す。
  論文  参考訳（メタデータ） (2024-09-21T17:07:42Z)
• TX-Gen: Multi-Objective Optimization for Sparse Counterfactual Explanations for Time-Series Classification [0.42105583610914427]
  非支配的ソーティング遺伝的アルゴリズム(NSGA-II)に基づく反実的説明を生成する新しいアルゴリズムであるTX-Genを導入する。 フレキシブルな参照誘導機構を組み込むことにより,事前定義された仮定に頼ることなく,その妥当性と解釈性を向上させる。
  論文  参考訳（メタデータ） (2024-09-14T15:13:28Z)
• Non-autoregressive Sequence-to-Sequence Vision-Language Models [63.77614880533488]
  本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。 このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
  論文  参考訳（メタデータ） (2024-03-04T17:34:59Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• An EM Approach to Non-autoregressive Conditional Sequence Generation [49.11858479436565]
  自己回帰(AR)モデルは条件付きシーケンス生成において支配的なアプローチである。 非自己回帰(NAR)モデルは、最近、すべての出力トークンを並列に生成することでレイテンシを低減するために提案されている。 本稿では,ARモデルとNARモデルの両方を統合期待最大化フレームワークで協調的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-29T20:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。