論文の概要: The Pitfall of Scaling Up: Uncovering and Mitigating Popularity Bias Amplification in Scaling Transformer-based Recommenders

• arxiv url: http://arxiv.org/abs/2606.21911v1
• Date: Sat, 20 Jun 2026 07:13:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 23:57:37.306647
• Title: The Pitfall of Scaling Up: Uncovering and Mitigating Popularity Bias Amplification in Scaling Transformer-based Recommenders
• Title（参考訳）: スケーリングアップの落とし穴:スケーリングトランスフォーマーベースのレコメンダにおける人気バイアス増幅の発見と緩和
• Authors: Weiqin Yang, Yue Pan, Chongming Gao, Sheng Zhou, Xiang Wang, Can Wang, Jiawei Chen,
• Abstract要約: トランスフォーマーをベースとしたシーケンシャルレコメンデータのスケーリングにおける致命的な落とし穴を特定します。 モデルサイズの増加はレコメンデーションの精度を向上させるが、同時に人気バイアスを増幅する。 このバイアスにより、システムはニッチなアイテムを犠牲にして、人気のあるアイテムを過剰に推奨するようになる。
• 参考スコア（独自算出の注目度）: 26.25851138178879
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We identify a critical pitfall in scaling transformer-based sequential recommenders: while increasing model size improves recommendation accuracy, it simultaneously amplifies popularity bias. This bias drives systems to over-recommend popular items at the expense of niche ones, which not only undermines fairness but also degrades the broader ecosystem by reinforcing the Matthew effect and filter bubbles. Consequently, this bias amplification emerges as a fundamental obstacle to sustainable model scaling. Through comprehensive theoretical and empirical analyses, we uncover the root cause of this amplification. Our findings reveal that as model depth increases, the two core components of the transformer architecture, i.e., attention aggregation and feed-forward projections, synergistically induce severe spectral collapse in model predictions, which directly translates to the amplification of popularity bias. To address this challenge, we propose SPRINT (Scalable Popularity Regularization IN Transformers), which mitigates spectral collapse during scaling by constraining (i) the maximum column-sums of the attention score matrices and (ii) the spectral norms of the feed-forward parameters. Extensive experiments demonstrate that SPRINT significantly improves both accuracy and long-tail fairness. Crucially, it yields more favorable scaling behaviors when expanding model sizes from 0.05M to 0.34B parameters. The code is available at https://github.com/Tiny-Snow/GenRec.
• Abstract（参考訳）: モデルサイズの増加はレコメンデーションの精度を向上させるが、同時に人気バイアスを増幅する。 このバイアスによってシステムは、ニッチなアイテムを犠牲にして、人気アイテムを過剰に推奨するようになり、公正性を損なうだけでなく、マシュー効果を強化してバブルをフィルターすることで、より広いエコシステムを悪化させる。 結果として、このバイアス増幅は持続可能なモデルスケーリングの根本的な障害として現れます。 包括的理論的および経験的分析を通して、この増幅の根本原因を明らかにする。 モデル深度が増加するにつれて、アテンションアグリゲーションとフィードフォワードプロジェクションというトランスフォーマーアーキテクチャの2つの中核成分が相乗的にモデル予測のスペクトル崩壊を引き起こし、それが人気バイアスの増幅に直結することが明らかとなった。 この課題に対処するため,SPRINT(Scalable Popularity Regularization in Transformers)を提案する。 一 注目スコア行列の最大列数及び (ii)フィードフォワードパラメータのスペクトルノルム。 大規模な実験により、SPRINTは精度と長い尾の公平性の両方を著しく改善することが示された。 重要なことに、モデルのサイズを0.05Mから0.34Bに拡大する際に、より好ましいスケーリングの振る舞いをもたらす。 コードはhttps://github.com/Tiny-Snow/GenRec.comで入手できる。

関連論文リスト

• A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training [86.64715217940274]
  外接線は正規化と共に機能する。 アウトリーチは、コントリビュータではなく、再スケール要因として役立ちます。 外乱は学習可能なパラメータに吸収されるか、明示的なゲート再スケーリングによって緩和される。
  論文  参考訳（メタデータ） (2026-01-30T13:29:45Z)
• From Scaling to Structured Expressivity: Rethinking Transformers for CTR Prediction [14.997545091069894]
  クリックスルーレート(CTR)予測のためのディープモデルは、しばしば急速に減少するリターンを示す。 我々は根本原因を構造上のミスアライメントとみなしている。 本研究ではフィールド・アウェア・トランスフォーマー(FAT)について述べる。
  論文  参考訳（メタデータ） (2025-11-15T07:55:50Z)
• SynCast: Synergizing Contradictions in Precipitation Nowcasting via Diffusion Sequential Preference Optimization [62.958457694151384]
  本研究では,大規模な言語モデルにおける人的フィードバックからの強化学習の成功を動機として,降水量の最適化を初めて導入する。 第一段階では、フレームワークはFARを減らすことに焦点を当て、誤報を効果的に抑えるためにモデルを訓練する。
  論文  参考訳（メタデータ） (2025-10-22T16:11:22Z)
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)
• How Do Recommendation Models Amplify Popularity Bias? An Analysis from the Spectral Perspective [26.949692163589226]
  勧告システム(RS)は、しばしば人気バイアスに悩まされる。 本研究は,本現象の根本原因を明らかにするための包括的実験および理論的解析を行う。 本稿では、スペクトルノルム正規化器を利用して主特異値の大きさをペナルティ化する新しいデバイアスング戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-18T08:59:32Z)
• Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
  ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。 この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
  論文  参考訳（メタデータ） (2023-04-25T07:42:06Z)
• ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
  我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。 ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。 実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
  論文  参考訳（メタデータ） (2022-06-24T08:18:05Z)
• PCPL: Predicate-Correlation Perception Learning for Unbiased Scene Graph Generation [58.98802062945709]
  本稿では,適切な損失重みを適応的に求めるための新しい述語相関知覚学習手法を提案する。 我々のPCPLフレームワークは、文脈特徴をよりよく抽出するグラフエンコーダモジュールも備えています。
  論文  参考訳（メタデータ） (2020-09-02T08:30:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。