論文の概要: OneLA: Scaling Linear-Attention Decoding to Large Beams in Generative Recommendation

• arxiv url: http://arxiv.org/abs/2609.12399v1
• Date: Fri, 11 Sep 2026 03:41:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.599706
• Title: OneLA: Scaling Linear-Attention Decoding to Large Beams in Generative Recommendation
• Title（参考訳）: OneLA: 生成レコメンデーションにおける大規模ビームへの線形アテンションデコーディングのスケーリング
• Abstract要約: 我々は、GRワークロードの共有プロンプトと短い分岐サフィックスを利用するリニアアテンションデコーディングフレームワークOneLAを提案する。 OneLAは、単一の共有プロンプト由来の状態と、分岐遷移のコンパクトで追加のみのレコードを使用して、すべてのビーム状態を表す。 解析の結果、OneLAは1.54-2.46倍のエンド・ツー・エンド・エンド・デコード・スピードアップを実現し、リカレント・ステートメモリの使用とデータ移動を大幅に削減した。
• 参考スコア（独自算出の注目度）: 13.430496709980282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative recommendation (GR) relies on large-beam decoding to generate hundreds of candidate items, creating a new scaling challenge for recurrent linear attention. Existing linear attention serving systems either materialize a full recurrent state for every beam or repeatedly replay shared history, incurring substantial memory and traffic overhead. To address this, we present OneLA, a linear-attention decoding framework that exploits the shared prompt and short divergent suffixes of GR workloads. Specifically, OneLA represents all beam states using a single shared prompt-derived state and compact, append-only records of their divergent transitions. Using this representation, OneLA computes only the state information required at each decoding step, without reconstructing a full recurrent state for every beam. Furthermore, OneLA uses a lightweight ancestry index to track the transition records that make up each beam's history, allowing beams to be updated without moving or copying existing records. A fused GPU kernel further reuses the shared state across beams. Our analysis shows that OneLA achieves 1.54-2.46x end-to-end decode speedups while substantially reducing recurrent-state memory use and data movement.
• Abstract（参考訳）: ジェネレーティブレコメンデーション(GR)は、数百の候補アイテムを生成するために大文字のデコードに依存しており、リカレントなリニアアテンションのための新しいスケーリングチャレンジを生み出している。 既存のリニアアテンションサービスシステムは、すべてのビームに対して完全なリカレント状態を実現するか、共有履歴を繰り返し再生し、かなりのメモリとトラフィックのオーバーヘッドを発生させる。 そこで我々は,GRワークロードの共有プロンプトと短距離分岐を利用したリニアアテンションデコーディングフレームワークOneLAを提案する。 具体的には、OneLAは、単一の共有プロンプト由来の状態と、分岐遷移のコンパクトで追加のみのレコードを使用して、すべてのビーム状態を表す。 この表現を用いて、OneLAは各復号ステップで必要とされる状態情報のみを計算し、各ビームの完全な再帰状態を再構築する。 さらにOneLAは、ライトウェイトな祖先インデックスを使用して、各ビームの履歴を構成する遷移レコードを追跡し、既存のレコードを移動したりコピーしたりすることなくビームを更新することができる。 融合GPUカーネルは、ビーム間で共有状態を再利用する。 解析の結果、OneLAは1.54-2.46倍のエンド・ツー・エンド・エンド・デコード・スピードアップを実現し、リカレント・ステートメモリの使用とデータ移動を大幅に削減した。

関連論文リスト

• FlashTrie: A GPU-Accelerated Constrained Beam Search for Generative Retrieval [16.54104032203289]
  FlashTrieは、メモリフットプリントを減らすためにビット圧縮を使用する整数対応の簡潔なトリエレイアウトである。 ビーム幅が最大1000までの800Mキーワードのライブラリでは、FlashTrieはトリエサーチのレイテンシを3ミリ秒未満に削減し、高度に最適化されたマルチスレッドベースライン上で最大24倍のスピードアップを実現している。 これらの改善により、FlashTrieは、スポンサー付き検索のような遅延クリティカルなアプリケーションにおいて、ビームサイズを最大5倍にスケールできる。
  論文  参考訳（メタデータ） (2026-07-10T23:52:35Z)
• VidLaDA: Bidirectional Diffusion Large Language Models for Efficient Video Understanding [52.69880888587866]
  現在のビデオ大言語モデル(ビデオLLM)は、典型的にはエンコーダビジョンを介してフレームを符号化し、自己回帰(AR)LLMを使用して理解と生成を行う。 本稿では,言語モデル(DLM)に基づく拡散ビデオLLMであるVidLaDAを提案する。 実験によると、VidLaDAは最先端のARベースラインと競合し、DLMベースラインを上回り、MARS-Cacheは精度を損なうことなく12倍のスピードアップを提供する。
  論文  参考訳（メタデータ） (2026-01-25T15:02:01Z)
• PAT: Accelerating LLM Decoding via Prefix-Aware Attention with Resource Efficient Multi-Tile Kernel [19.009329924868002]
  LLMは、グローバルメモリから大量のKVキャッシュをロードするため、メモリバウンドな操作であるデコードアテンションによって、ますます支配的になっている。 本稿では,LCM復号化のためのプレフィックス対応アテンションカーネル実装であるPATを紹介し,パックフォワード・マージのパラダイムによる実行を整理する。 PATは注目のレイテンシを平均67.4%削減し、TPOTは13.6-83.4%削減した。
  論文  参考訳（メタデータ） (2025-11-27T11:10:30Z)
• Higher-order Linear Attention [59.92962330635185]
  スケールされたドット積の注意の二次コストは、自己回帰言語モデルを長いコンテキストにスケールするための中心的な障害である。 本稿では,高次線形注意(Higher-order Linear Attention, HLA)を提案する。
  論文  参考訳（メタデータ） (2025-10-31T07:54:37Z)
• LightMem: Lightweight and Efficient Memory-Augmented Generation [72.21680105265824]
  我々は、メモリシステムの性能と効率のバランスをとるLightMemという新しいメモリシステムを紹介した。 人間の記憶のアトキンソン・シフリンモデルにインスパイアされたLightMemは、メモリを3つの相補的なステージにまとめる。 GPTとQwenのバックボーンを用いたLongMemEvalの実験では、LightMemは高いベースライン(最大10.9%のゲイン)を上回り、トークンの使用量を最大117倍に削減している。
  論文  参考訳（メタデータ） (2025-10-21T17:58:17Z)
• On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention [53.22963042513293]
  大規模言語モデル(LLM)は、自己アテンションを通じてグローバルトークンの依存関係をキャプチャするが、長い入力に対する計算とメモリコストに直面する。 まず,二状態線形注意(Dual-state linear attention, A)を提案する。これは2つの隠れ状態を保持する設計であり,その1つは,リニアアテンションアーキテクチャの典型的な短距離バイアスを緩和し,リニアアテンションを追尾するものである。 本稿では,DSLA層を段階的に置き換えるオンライン適応蒸留フレームワークであるDSLA-Serveを紹介する。
  論文  参考訳（メタデータ） (2025-06-11T01:25:06Z)
• RelayAttention for Efficient Large Language Model Serving with Long System Prompts [59.50256661158862]
  本稿では,長いシステムプロンプトを含むLCMサービスの効率を向上させることを目的とする。 これらのシステムプロンプトの処理には、既存の因果注意アルゴリズムにおいて、大量のメモリアクセスが必要である。 本稿では,DRAMから入力トークンのバッチに対して,DRAMから隠れた状態を正確に1回読み取ることのできるアテンションアルゴリズムであるRelayAttentionを提案する。
  論文  参考訳（メタデータ） (2024-02-22T18:58:28Z)
• Break the Sequential Dependency of LLM Inference Using Lookahead Decoding [27.87483106859749]
  Lookahead decodingは、大規模言語モデル(LLM)のための正確な並列デコーディングアルゴリズムである。 実装により,MT-benchでは1.8倍,コード補完タスクでは4倍まで高速に自動回帰復号を行うことができる。
  論文  参考訳（メタデータ） (2024-02-03T06:37:50Z)
• RLIPv2: Fast Scaling of Relational Language-Image Pre-training [53.21796397618875]
  本稿では,大規模な擬似ラベル付きシーングラフデータに対する事前学習のリレーショナルスケーリングを可能にする高速収束モデルRLIPv2を提案する。 非対称言語画像融合 (ALIF) は、より早く、より深く分岐したクロスモーダル融合と、スパシファイド言語による符号化を容易にする。 RLIPv2は、3つのベンチマークで、完全な微調整、少数ショット、ゼロショット設定で、最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-08-18T07:17:09Z)
• Inference with Reference: Lossless Acceleration of Large Language Models [97.04200102556551]
  LLMAは、参照によるLarge Language Model (LLM)推論を高速化するアクセラレータである。 LLMによる復号結果と実世界の多くのシナリオで利用できる参照との間には、多くの同一のテキストが存在していることが観察の動機となっている。
  論文  参考訳（メタデータ） (2023-04-10T09:55:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。