論文の概要: Dual-Flow Transformers: Decoupling the Primary Prefill Path from Additional Decode Computation

• arxiv url: http://arxiv.org/abs/2608.12385v1
• Date: Fri, 31 Jul 2026 17:18:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 01:32:04.601162
• Title: Dual-Flow Transformers: Decoupling the Primary Prefill Path from Additional Decode Computation
• Title（参考訳）: Dual-Flow Transformer: プリミティブプリフィルパスをデコード計算から切り離す
• Abstract要約: 本稿では,プロンプトを処理し,KVキャッシュを記述する言語モデルであるDual-Flow Transformerを紹介する。 その主な流れは、プロンプトを処理し、KVキャッシュを書く完全な因果言語モデルである。 固定されたプリフィル・エキスパート計算におけるデコード計算の増加と、2つのフロー間の固定されたデコード・エキスパート予算の再配置という2つの条件について検討する。
• 参考スコア（独自算出の注目度）: 40.63754545623815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models serve more requests, cumulative inference cost is becoming increasingly important relative to one-time training cost. The two inference phases stress hardware differently: prompt prefill is parallel and typically compute-bound, whereas autoregressive decode is sequential and often memory-bandwidth-bound. Conventional width or depth scaling increases both costs together because every added layer is evaluated in both phases. We ask whether additional learned computation can instead be allocated to continuation prediction while preserving the prompt-wide primary computation and a single persistent key-value (KV) cache. We introduce the Dual-Flow Transformer. Its primary flow is a complete causal language model that processes the prompt and writes the KV cache. The auxiliary flow is omitted during prompt processing and activated only from the final prompt position onward, adding continuation-prediction computation without writing persistent state or influencing the primary flow. The two flows share major attention, MLP, and output matrices, while using separate token embeddings and lightweight coupling. Sharing weights and the primary cache also creates opportunities to reuse loaded weights and cached keys and values during grouped execution. Across matched-token comparisons, Dual-Flow achieves lower validation loss across architectures and data configurations. In MoE models, the separation makes primary and auxiliary expert fan-outs independent controls over prompt cost, continuation cost, and predictive quality. We study two regimes: increasing decode computation at fixed prefill expert computation, and reallocating a fixed decode expert budget between the two flows. These experiments expose a prefill-decode-quality trade-off and demonstrate the potential of phase-specific expert allocation.
• Abstract（参考訳）: 大規模言語モデルはより多くのリクエストを処理してくれるため、累積推論コストは1回のトレーニングコストと比較してますます重要になっている。 プロンプトプリフィルは並列であり、典型的には計算バウンドであるが、自己回帰復号法はシーケンシャルであり、しばしばメモリ帯域バウンドである。 従来の幅や深さのスケーリングは、各付加層が両方のフェーズで評価されるため、コストを同時に増大させる。 そこで我々は,逐次的一次計算と1つの永続鍵値(KV)キャッシュを保存しながら,継続予測に付加的な学習計算を割り当てるかどうかを問う。 本稿ではDual-Flow Transformerを紹介する。 その主な流れは、プロンプトを処理し、KVキャッシュを書く完全な因果言語モデルである。 補助フローは、プロンプト処理中に省略され、最終プロンプト位置からのみ起動され、持続状態を書き込まずに継続予測計算を追加し、一次フローに影響を与える。 2つのフローは、異なるトークン埋め込みと軽量結合を使用しながら、主要な注意、MLP、出力行列を共有している。 重みの共有とプライマリキャッシュは、グループ化された実行中にロードされた重みとキャッシュされたキーと値を再利用する機会も生み出す。 Dual-Flowはマッチしたtokenの比較によって、アーキテクチャとデータ構成間のバリデーション損失を低くする。 MoEモデルでは、分離は、初期および補助的な専門家による、迅速なコスト、継続コスト、予測品質に対する独立した制御をファンアウトする。 固定されたプリフィル・エキスパート計算におけるデコード計算の増加と、2つのフロー間の固定されたデコード・エキスパート予算の再配置という2つの条件について検討する。 これらの実験は、プリフィル・デコード品質のトレードオフを明らかにし、フェーズ固有の専門家アロケーションの可能性を示す。

関連論文リスト

• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
  トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。 継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
  論文  参考訳（メタデータ） (2026-07-09T07:37:59Z)
• Planning-aligned Token Compression for Long-Context Autonomous Driving [95.59023657139208]
  条件付きVQ-VA上に構築した計画整合型ワーキングメモリフレームワークを提案する。 圧縮は歴史的軌跡と学習した計画意図の両方で条件付けられている。 歴史的文脈が行動の正確性に最も重要となる高信号動的シナリオについて評価する。
  論文  参考訳（メタデータ） (2026-06-05T17:16:21Z)
• Structured Recurrent Mixers for Massively Parallelized Sequence Generation [0.0]
  本稿では,列車時のシーケンス並列表現と推論時のリカレント表現との変換を可能にするアーキテクチャであるStructured Recurrent Mixerを紹介する。 この二重表現は、他の線形複雑性モデルと比較して、トレーニング効率が向上し、入力情報のキャパシティが向上し、推論スループットと長さが向上することを示す。
  論文  参考訳（メタデータ） (2026-05-09T05:07:55Z)
• Scaling LLM Speculative Decoding: Non-Autoregressive Forecasting in Large-Batch Scenarios [76.85739138203014]
  本稿では,一方向および注目メカニズムを加速する新しいアーキテクチャであるSpecFormerを紹介する。 また,SpecFormerはトレーニング要求の低減と計算コストの削減を実現している。
  論文  参考訳（メタデータ） (2025-11-25T14:20:08Z)
• Frame-Stacked Local Transformers For Efficient Multi-Codebook Speech Generation [13.289870835946347]
  大規模言語モデル(LLM)に基づく音声生成モデルは、テキストトークンと基本的に異なる離散音響符号で動作する。 各段階において、モデルはNのコードブックエントリを共同で予測し、単純な並列予測アプローチに挑戦する依存関係を導入する必要がある。 これを解決するために階層戦略では、ローカルトランスフォーマー(LT)を使用して予測を洗練し、タイムステップ内依存関係をキャプチャする。 本稿では,計算効率や合成忠実度などのデプロイメントの優先順位に基づいて,デコード戦略を選択するための実践的ガイドラインを提案する。
  論文  参考訳（メタデータ） (2025-09-23T21:31:00Z)
• On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention [53.22963042513293]
  大規模言語モデル(LLM)は、自己アテンションを通じてグローバルトークンの依存関係をキャプチャするが、長い入力に対する計算とメモリコストに直面する。 まず,二状態線形注意(Dual-state linear attention, A)を提案する。これは2つの隠れ状態を保持する設計であり,その1つは,リニアアテンションアーキテクチャの典型的な短距離バイアスを緩和し,リニアアテンションを追尾するものである。 本稿では,DSLA層を段階的に置き換えるオンライン適応蒸留フレームワークであるDSLA-Serveを紹介する。
  論文  参考訳（メタデータ） (2025-06-11T01:25:06Z)
• AdaDecode: Accelerating LLM Decoding with Adaptive Layer Parallelism [17.858104076062897]
  大規模言語モデル (LLM) は、長いコンテンツ生成にますます使われている。 補助モデルや元のモデルパラメータの変更を必要とせずにデコーディングを高速化するAdaDecodeを提案する。 AdaDecodeは最大1.73倍のスピードアップで優れた復号処理を実現している。
  論文  参考訳（メタデータ） (2025-06-04T08:32:30Z)
• DeepInsert: Early Layer Bypass for Efficient and Performant Multimodal Understanding [26.39397960987363]
  本稿では,事前学習したトランスモデルに対する簡単な修正を提案する。 まず最初に言語プロンプトと結合するのではなく、マルチモーダルトークンを直接中央に挿入します。 その結果,本手法は,学習と推論の双方において計算コストを削減できることが示唆された。
  論文  参考訳（メタデータ） (2025-04-27T18:56:26Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Keyformer: KV Cache Reduction through Key Tokens Selection for Efficient Generative Inference [2.8241099113277666]
  キーフォーマー」は、KVキャッシュサイズとメモリ帯域幅利用に関する課題を軽減する革新的な推論時アプローチである。 我々はKeyformerの性能を,GPT-J,Cerebras-GPT,MPTの3つの基礎モデルで評価した。
  論文  参考訳（メタデータ） (2024-03-14T02:42:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。