論文の概要: From Scaling to Structured Expressivity: Rethinking Transformers for CTR Prediction

• arxiv url: http://arxiv.org/abs/2511.12081v1
• Date: Sat, 15 Nov 2025 07:55:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:23.593017
• Title: From Scaling to Structured Expressivity: Rethinking Transformers for CTR Prediction
• Title（参考訳）: スケーリングから構造的表現性へ:CTR予測のための変圧器を再考する
• Authors: Bencheng Yan, Yuejie Lei, Zhiyuan Zeng, Di Wang, Kaiyi Lin, Pengjie Wang, Jian Xu, Bo Zheng,
• Abstract要約: クリックスルーレート(CTR)予測のためのディープモデルは、しばしば急速に減少するリターンを示す。 我々は根本原因を構造上のミスアライメントとみなしている。 本研究ではフィールド・アウェア・トランスフォーマー(FAT)について述べる。
• 参考スコア（独自算出の注目度）: 14.997545091069894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite massive investments in scale, deep models for click-through rate (CTR) prediction often exhibit rapidly diminishing returns - a stark contrast to the smooth, predictable gains seen in large language models. We identify the root cause as a structural misalignment: Transformers assume sequential compositionality, while CTR data demand combinatorial reasoning over high-cardinality semantic fields. Unstructured attention spreads capacity indiscriminately, amplifying noise under extreme sparsity and breaking scalable learning. To restore alignment, we introduce the Field-Aware Transformer (FAT), which embeds field-based interaction priors into attention through decomposed content alignment and cross-field modulation. This design ensures model complexity scales with the number of fields F, not the total vocabulary size n >> F, leading to tighter generalization and, critically, observed power-law scaling in AUC as model width increases. We present the first formal scaling law for CTR models, grounded in Rademacher complexity, that explains and predicts this behavior. On large-scale benchmarks, FAT improves AUC by up to +0.51% over state-of-the-art methods. Deployed online, it delivers +2.33% CTR and +0.66% RPM. Our work establishes that effective scaling in recommendation arises not from size, but from structured expressivity-architectural coherence with data semantics.
• Abstract（参考訳）: 大規模な投資にもかかわらず、クリックスルーレート(CTR)予測のためのディープモデルは、しばしば急速に減少するリターンを示す。 我々は根本原因を構造的ミスアライメントとして認識する: トランスフォーマーは連続的な構成性を仮定し、一方CTRのデータは高心性セマンティックフィールドに対して組合せ的推論を要求する。 非構造的注意がキャパシティを無差別に拡大し、極端に広い範囲でノイズを増幅し、スケーラブルな学習を破る。 本研究では,フィールド・アウェア・トランスフォーマ (FAT) を導入し,フィールド・アウェア・トランスフォーマ (FAT) を分解したコンテンツアライメントとクロスフィールド・モジュアライゼーションにより,フィールド・アウェア・トランスフォーマ (FAT) に組み込む。 この設計は、全語彙サイズ n >> F ではなく、F のフィールド数でモデル複雑性がスケールすることを保証する。 我々は、この振る舞いを説明し予測するRadecher複雑性に基づくCTRモデルに対して、最初の公式なスケーリング法則を提示する。 大規模なベンチマークでは、FATは最先端の手法よりもAUCを最大0.51%改善している。 オンラインで配布され、CTRは+2.33%、PMは+0.66%である。 我々の研究は、推奨における効果的なスケーリングは、サイズではなく、データセマンティクスとの構造化された表現性と構造的コヒーレンスから生じることを証明している。

関連論文リスト

• FaCTR: Factorized Channel-Temporal Representation Transformers for Efficient Time Series Forecasting [0.0]
  時系列データは、時間ステップごとの情報密度が低く、チャネル間の複雑な依存関係が特徴である。 構造設計を明示した軽量な変換器FaCTRを提案する。 コンパクトな設計にもかかわらず、FaCTRは11の公開予測ベンチマークで最先端のパフォーマンスを誇った。
  論文  参考訳（メタデータ） (2025-06-05T21:17:53Z)
• Scaled Supervision is an Implicit Lipschitz Regularizer [32.41225209639384]
  ソーシャルメディアでは、レコメンダシステムはクリックスルーレート(CTR)をユーザのエンゲージメントを評価するための標準指標としています。 本稿では,既存のCTRモデルを安定的に最適化し,拡張性の向上を図るため,帯域幅のスケーリングが暗黙のリプシッツ正規化器として機能することを示す。
  論文  参考訳（メタデータ） (2025-03-19T01:01:28Z)
• Tensor Product Attention Is All You Need [61.3442269053374]
  プロダクトアテンション(TPA)は、テンソル分解を使用してクエリ、キー、値をコンパクトに表現する新しいアテンションメカニズムである。 TPAは、メモリ効率とともに改善されたモデル品質を実現する。 TPAに基づいて,シーケンスモデリングのための新しいモデルアーキテクチャであるProducT ATTion Transformer (T6)を紹介する。
  論文  参考訳（メタデータ） (2025-01-11T03:37:10Z)
• Beyond KAN: Introducing KarSein for Adaptive High-Order Feature Interaction Modeling in CTR Prediction [14.65809648476631]
  This study introduces Kolmogorov-Arnold Represented Sparse Interaction Network (KarSein)。 KarSeinは、低次の基本的な特徴を高次の特徴相互作用に適応的に変換する。 非常にコンパクトなパラメータサイズと最小の計算オーバーヘッドを維持しながら、例外的な予測精度を達成する。
  論文  参考訳（メタデータ） (2024-08-16T12:51:52Z)
• Parsimony or Capability? Decomposition Delivers Both in Long-term Time Series Forecasting [46.63798583414426]
  時系列予測(LTSF)は時系列分析において重要なフロンティアである。 本研究は, 分析的および実証的な証拠から, 分解が過剰なモデルインフレーションを包含する鍵であることを実証する。 興味深いことに、時系列データの本質的なダイナミクスに分解を合わせることで、提案モデルは既存のベンチマークより優れている。
  論文  参考訳（メタデータ） (2024-01-22T13:15:40Z)
• TSRFormer: Table Structure Recognition with Transformers [15.708108572696064]
  本稿では,TSRFormerと呼ばれる新しいテーブル構造認識手法を提案する。 新たな2段階DETRに基づくセパレータ予測手法である textbfSeparator textbfREgression textbfTRansformer (SepRETR) を提案する。 我々は、SciTSR、PubTabNet、WTWなど、いくつかのベンチマークデータセットで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-08-09T17:36:13Z)
• TCCT: Tightly-Coupled Convolutional Transformer on Time Series Forecasting [6.393659160890665]
  本稿では, 密結合型畳み込み変換器(TCCT)と3つのTCCTアーキテクチャを提案する。 実世界のデータセットに対する我々の実験は、我々のTCCTアーキテクチャが既存の最先端トランスフォーマーモデルの性能を大幅に改善できることを示している。
  論文  参考訳（メタデータ） (2021-08-29T08:49:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。