論文の概要: PFA: Attention Can Be Progressively Focused in Long-Sequence Generative Recommendation

• arxiv url: http://arxiv.org/abs/2610.39273v1
• Date: Thu, 29 Oct 2026 03:25:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-03 00:25:33.785045
• Title: PFA: Attention Can Be Progressively Focused in Long-Sequence Generative Recommendation
• Title（参考訳）: PFA:長期的ジェネレーティブレコメンデーションに注意を向ける
• Abstract要約: 長期のユーザ行動系列は、生成レコメンデーション(GR)の性能を改善する 既存のアプローチは通常、静的履歴圧縮や動的トップkスパースアテンションに依存している。 本稿では,長周期GRのための効率的なスパースデコーディングフレームワークであるプログレッシブ・フォーカスド・アテンション(PFA)を提案する。
• 参考スコア（独自算出の注目度）: 4.3545115470225495
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Long user behavioral sequences improve the performance of generative recommendation (GR), but computing full attention over long histories during autoregressive beam search decoding incurs substantial online inference latency. To accelerate long-sequence decoding, existing approaches typically rely on static history compression or dynamic top-k sparse attention; however, the former risks losing critical semantics, whereas the latter incurs significant overhead from repeated token selection and non-contiguous memory access. In this work, we thoroughly analyze attention patterns during GR decoding and reveal two key properties: (i) progressive attention focusing, where attention progressively focuses on a small subset of critical historical tokens; and (ii) cross-step ranking consistency, where their importance rankings remain relatively stable across subsequent decoding steps. Motivated by these observations, we propose Progressively Focused Attention (PFA), an efficient sparse decoding framework for long-sequence GR. PFA retains full attention at the initial decoding step to explore global historical preferences. It then establishes a shared importance ranking through cross-beam weighted aggregation and reorders the key-value cache of the selected tokens into a contiguous memory layout. Subsequent decoding steps reuse this ranking and geometrically reduce the token budget, preserving critical semantics while lowering computational and memory access overhead. Extensive experiments on two public benchmarks and a large-scale industrial dataset demonstrate that PFA outperforms state-of-the-art baselines. A 7-day online A/B test on a large-scale e-commerce advertising platform further confirms that PFA delivers substantial business gains while maintaining low inference latency. Our code is publicly available at https://anonymous.4open.science/r/PFA-review-088D.
• Abstract（参考訳）: 長いユーザの行動シーケンスは生成レコメンデーション(GR)の性能を向上させるが、自己回帰ビーム探索デコード中の長い履歴をフルに注意する計算は、相当なオンライン推論遅延を引き起こす。 長いシーケンスの復号化を加速するため、既存のアプローチは静的履歴圧縮や動的トップkスパースアテンションに依存しているが、前者は重要なセマンティクスを失うリスクがあり、後者は繰り返しトークンの選択や連続しないメモリアクセスからかなりのオーバーヘッドが生じる。 本研究では,GRデコーディング中の注意パターンを徹底的に解析し,2つの重要な特性を明らかにする。 一 段階的注目、重要歴史的トークンの小さなサブセットに徐々に注目すること (二)後続の復号工程において、その重要度が比較的安定しているクロスステップランキングの整合性。 これらの観測により,長周期GRのための効率的なスパースデコーディングフレームワークであるプログレッシブ・フォーカスド・アテンション(PFA)を提案する。 PFAは、世界的歴史的嗜好を探求する最初の解読段階に全力を注いでいる。 その後、クロスビーム重み付けアグリゲーションを通じて共有重要ランキングを確立し、選択されたトークンのキー値キャッシュを連続したメモリレイアウトに並べ替える。 その後のデコードステップでは、このランキングを再利用し、トークンの予算を幾何学的に削減し、重要なセマンティクスを保持しながら、計算とメモリアクセスのオーバーヘッドを下げる。 2つの公開ベンチマークと大規模産業データセットに関する大規模な実験は、PFAが最先端のベースラインを上回っていることを示している。 大規模なeコマース広告プラットフォーム上での7日間のオンラインA/Bテストでは、PFAが低い推論レイテンシを維持しながら、実質的なビジネスゲインを提供することを確認した。 私たちのコードはhttps://anonymous.4open.science/r/PFA-review-088Dで公開されています。

関連論文リスト

• STAR: Structured Tokenization and Target-Aware Interest Representation for PCVR Prediction [7.574291100593417]
  我々は,KDDカップ2026 Tencent UniRec Challengeの枠組みであるSTAR(Structured Tokenization and Target-Aware Interest Representation)を紹介する。 STARはHyFormerスタイルのマルチシーケンスバックボーン上に、構造化された特徴トークン化とターゲット認識された関心表現を組み合わせる。 課題データセットの実験では、ランキングAUCを最も確実に改善するコンポーネントを特定し、LogLossは校正診断として報告されている。
  論文  参考訳（メタデータ） (2026-08-13T09:09:54Z)
• AttentionPredictor: Temporal Patterns Matter for KV Cache Compression [64.75459635661562]
  我々は,KVキャッシュ圧縮とクリティカルトークン識別のための注意パターンを直接予測する,学習に基づく最初の手法であるAttentionPredictorを提案する。 AttentionPredictorは、注意スコアを正確に予測し、無視可能なメモリを消費する統一予測モデルを共有する。 注意情報の大半を保持することで、AttentionPredictorは、キャッシュオフロードシナリオで13$times$KVキャッシュ圧縮と5.6$times$スピードアップを達成する。
  論文  参考訳（メタデータ） (2025-02-06T13:41:46Z)
• RefreshKV: Updating Small KV Cache During Long-form Generation [54.00118604124301]
  生成中の入力トークンのサブセットに対して、完全なコンテキストアテンションとアテンションを柔軟に交互に交互に切り替える新しい推論手法RefreshKVを提案する。 本手法をオフザシェルフ LLM に適用することにより,様々な長文生成タスクの性能を向上しつつ,エビクションベースの手法に匹敵する高速化を実現する。
  論文  参考訳（メタデータ） (2024-11-08T18:57:07Z)
• Long-Sequence Recommendation Models Need Decoupled Embeddings [49.410906935283585]
  我々は、既存の長期推薦モデルにおいて無視された欠陥を識別し、特徴付ける。 埋め込みの単一のセットは、注意と表現の両方を学ぶのに苦労し、これら2つのプロセス間の干渉につながります。 本稿では,2つの異なる埋め込みテーブルを別々に学習し,注意と表現を完全に分離する,DARE(Decoupled Attention and Representation Embeddings)モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-03T15:45:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。