論文の概要: HyFormer: Revisiting the Roles of Sequence Modeling and Feature Interaction in CTR Prediction

• arxiv url: http://arxiv.org/abs/2601.12681v1
• Date: Mon, 19 Jan 2026 02:55:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.738287
• Title: HyFormer: Revisiting the Roles of Sequence Modeling and Feature Interaction in CTR Prediction
• Title（参考訳）: HyFormer: CTR予測におけるシーケンスモデリングと機能相互作用の役割を再考する
• Authors: Yunwen Huang, Shiyong Hong, Xijun Xiao, Jinqiu Jin, Xuanyuan Luo, Zhe Wang, Zheng Chai, Shikang Wu, Yuchao Zheng, Jingjian Lin,
• Abstract要約: 本稿では,HyFormerについて述べる。HyFormerは1つのバックボーンに長周期モデリングと特徴相互作用を密に統合するハイブリッドトランスフォーマーアーキテクチャである。 数十億の産業データセットに関する実験は、HyFormerが強いLONGERとRanMixerのベースラインを一貫して上回っていることを示している。
• 参考スコア（独自算出の注目度）: 8.97787361529607
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Industrial large-scale recommendation models (LRMs) face the challenge of jointly modeling long-range user behavior sequences and heterogeneous non-sequential features under strict efficiency constraints. However, most existing architectures employ a decoupled pipeline: long sequences are first compressed with a query-token based sequence compressor like LONGER, followed by fusion with dense features through token-mixing modules like RankMixer, which thereby limits both the representation capacity and the interaction flexibility. This paper presents HyFormer, a unified hybrid transformer architecture that tightly integrates long-sequence modeling and feature interaction into a single backbone. From the perspective of sequence modeling, we revisit and redesign query tokens in LRMs, and frame the LRM modeling task as an alternating optimization process that integrates two core components: Query Decoding which expands non-sequential features into Global Tokens and performs long sequence decoding over layer-wise key-value representations of long behavioral sequences; and Query Boosting which enhances cross-query and cross-sequence heterogeneous interactions via efficient token mixing. The two complementary mechanisms are performed iteratively to refine semantic representations across layers. Extensive experiments on billion-scale industrial datasets demonstrate that HyFormer consistently outperforms strong LONGER and RankMixer baselines under comparable parameter and FLOPs budgets, while exhibiting superior scaling behavior with increasing parameters and FLOPs. Large-scale online A/B tests in high-traffic production systems further validate its effectiveness, showing significant gains over deployed state-of-the-art models. These results highlight the practicality and scalability of HyFormer as a unified modeling framework for industrial LRMs.
• Abstract（参考訳）: 産業用大規模レコメンデーションモデル(LRM)は、厳密な効率制約の下で、長距離ユーザ行動シーケンスと不均一な非順序特徴を共同でモデル化する課題に直面している。 長いシーケンスは、LONGERのようなクエリトーケンベースのシーケンス圧縮機で最初に圧縮され、続いてRangeMixerのようなトークン混合モジュールを通じて密集した特徴と融合することで、表現能力と相互作用の柔軟性の両方を制限する。 本稿では,HyFormerについて述べる。HyFormerは1つのバックボーンに長周期モデリングと特徴相互作用を密に統合するハイブリッドトランスフォーマーアーキテクチャである。 シーケンスモデリングの観点から、LRMにおけるクエリトークンの再検討と再設計を行い、LRMモデリングタスクを2つのコアコンポーネントを統合した交互最適化プロセスとしてフレーム化する。 2つの相補的なメカニズムは、レイヤ間のセマンティック表現を洗練するために反復的に実行される。 数十億の産業データセットに関する大規模な実験により、HyFormerはパラメータとFLOPの予算で強いLONGERとRanMixerのベースラインを一貫して上回り、パラメータとFLOPの増加とともに優れたスケーリング挙動を示す。 高速生産システムにおける大規模オンラインA/Bテストは、その効果をさらに検証し、デプロイされた最先端モデルよりも大幅に向上した。 これらの結果から,HyFormer の産業用 LRM の統一モデリングフレームワークとしての実用性と拡張性を強調した。

関連論文リスト

• HoMer: Addressing Heterogeneities by Modeling Sequential and Set-wise Contexts for CTR Prediction [10.779868699316829]
  逐次的および集合的コンテキストをモデル化するためのホモジニアス指向トランスフォーマーであるHoMerを提案する。 HoMerは、AUCメトリックで工業ベースラインを0.0099向上させ、CTR/RPMのようなオンラインビジネスメトリクスを1.99%/2.46%向上させています。
  論文  参考訳（メタデータ） (2025-10-13T07:47:03Z)
• Merge and Guide: Unifying Model Merging and Guided Decoding for Controllable Multi-Objective Generation [49.98025799046136]
  Merge-And-GuidEは、ガイド付きデコーディングにモデルマージを利用する2段階のフレームワークである。 ステージ1では、MAGEはガイダンスとベースモデルの互換性の問題を解決する。 ステージ2では、明示的で暗黙的な値モデルを統一的なガイダンスプロキシにマージします。
  論文  参考訳（メタデータ） (2025-10-04T11:10:07Z)
• Gated Associative Memory: A Parallel O(N) Architecture for Efficient Sequence Modeling [0.0]
  Gated Associative Memory (GAM) ネットワークは、シーケンスモデリングのための新しい完全に並列なアーキテクチャである。 我々はGAMをゼロから実装し、標準的なトランスフォーマーモデルと現代的な線形時間ベースラインに対して厳密な比較分析を行う。 我々の実験は、GAMは一貫して高速で、トレーニング速度のベースラインの両方を上回り、全てのデータセットで優れた、または競争力のある最終バリデーションの難しさを達成できることを示した。
  論文  参考訳（メタデータ） (2025-08-30T20:59:46Z)
• Structural Similarity-Inspired Unfolding for Lightweight Image Super-Resolution [88.20464308588889]
  効率的な画像SRのための構造類似インスパイアド・アンフォールディング(SSIU)法を提案する。 この方法は、構造的類似性に制約されたSR最適化関数の展開によって設計される。 我々のモデルは現在の最先端モデルより優れており、パラメータ数が低く、メモリ消費が減少している。
  論文  参考訳（メタデータ） (2025-06-13T14:29:40Z)
• Sequential-Parallel Duality in Prefix Scannable Models [68.39855814099997]
  近年では Gated Linear Attention (GLA) や Mamba など様々なモデルが開発されている。 ニアコンスタント時間並列評価と線形時間、定数空間シーケンシャル推論をサポートするニューラルネットワークモデルの全クラスを特徴付けることができるだろうか?
  論文  参考訳（メタデータ） (2025-06-12T17:32:02Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• HeterRec: Heterogeneous Information Transformer for Scalable Sequential Recommendation [21.435064492654494]
  HeterRecは、アイテム側の異種機能を統合するシーケンシャルレコメンデーションモデルである。 HeterRecはHTFLと階層型因果変圧器層(HCT)を組み込んでいる オフラインとオンライン両方のデータセットに対する大規模な実験は、HeterRecモデルが優れたパフォーマンスを実現していることを示している。
  論文  参考訳（メタデータ） (2025-03-03T12:23:54Z)
• SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• Multi-Behavior Hypergraph-Enhanced Transformer for Sequential Recommendation [33.97708796846252]
  短期および長期のクロスタイプの振る舞い依存を捉えるために,新しいMBHT(Multi-Behavior Hypergraph-enhanced Transformer framework)を導入する。 具体的には、多スケールトランスフォーマーは、細粒度および粗粒度から振舞い対応のシーケンシャルパターンを共同符号化するために、低ランクの自己アテンションを備える。
  論文  参考訳（メタデータ） (2022-07-12T15:07:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。