論文の概要: Dual-Stream MLP is All You Need for CTR Prediction
- arxiv url: http://arxiv.org/abs/2606.04944v1
- Date: Wed, 03 Jun 2026 14:34:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-04 20:44:18.826936
- Title: Dual-Stream MLP is All You Need for CTR Prediction
- Title(参考訳): CTR予測に必要なのはデュアルストリームMLP
- Authors: Kesha Ou, Zhen Tian, Wayne Xin Zhao, Long Zhang, Sheng Chen, Ji-Rong Wen,
- Abstract要約: クリックスルー率(CTR)の予測は、オンライン広告とレコメンデーションシステムにおいて重要な役割を担い、小さな改善でも収益を大幅に増やすことができる。
既存の研究は主に、明示的かつ暗黙的な視点から効果的な複雑な機能相互作用を捉えるために、デュアルストリームアーキテクチャの設計に焦点を当てている。
これらのアプローチは,1) 計算要求と過度に適合するリスクを増大させる機能相互作用学習の複雑さと,2) モジュールの出力が最終予測を支配できる明示的モジュールと暗黙的モジュールのバランスの2つの大きな課題に直面する。
我々は,CTR予測タスクのための新しい機能相互作用フレームワークであるDual-Stream (DSMLP)を提案する。
- 参考スコア(独自算出の注目度): 81.87859550137382
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Click-through rate (CTR) prediction holds a pivotal role in online advertising and recommendation systems, where even small improvements can significantly boost revenue. Existing research primarily focuses on designing dual-stream architectures to capture effective complex feature interactions from both explicit and implicit perspectives. However, these approaches are faced with two major challenges: 1) the high complexity of feature interaction learning, which increases computational demands and the overfitting risk, and 2) the imbalance between explicit and implicit modules, where one module's output may dominate the final prediction. To address these issues, in this paper, we propose Dual-Stream MLP (DS-MLP), a novel feature interaction framework for the CTR prediction task. Specially, it leverages knowledge distillation to consolidate the capacity of learning explicit feature interaction into a main MLP network, while a parallel MLP simultaneously captures implicit feature interactions as a complement. To effectively optimize the dual-stream MLP architecture, we further design a specific learning approach with two alignment strategies for enhancing the compatibility of the two MLP components. Experiments demonstrate that DS-MLP, though merely a vanilla MLP structure (the final model), can achieve state-of-the-art performance across three widely used benchmarks, offering a scalable and efficient solution for large-scale recommendation systems. Our code is available at https://github.com/RUCAIBox/DS-MLP.
- Abstract(参考訳): クリックスルー率(CTR)の予測は、オンライン広告とレコメンデーションシステムにおいて重要な役割を担い、小さな改善でも収益を大幅に増やすことができる。
既存の研究は主に、明示的かつ暗黙的な視点から効果的な複雑な機能相互作用を捉えるために、デュアルストリームアーキテクチャの設計に焦点を当てている。
しかし、これらのアプローチは2つの大きな課題に直面している。
1) 計算要求と過度に適合するリスクを増大させる特徴的相互作用学習の複雑さ
2) 1つのモジュールの出力が最終的な予測を支配する場合、明示的なモジュールと暗黙的なモジュールの間の不均衡。
本稿では,CTR予測タスクのための新しい特徴相互作用フレームワークであるDual-Stream MLP (DS-MLP)を提案する。
特に、知識蒸留を利用して、明示的な特徴相互作用の学習能力をメインのMLPネットワークに統合し、並列MLPは補完として暗黙的な特徴相互作用を同時にキャプチャする。
デュアルストリームMLPアーキテクチャを効果的に最適化するために、我々は2つのMLPコンポーネントの互換性を高めるための2つのアライメント戦略を用いて、特定の学習アプローチを設計する。
実験では、DS-MLPは単にバニラMLP構造(最終モデル)であるが、3つの広く使用されているベンチマークで最先端のパフォーマンスを実現し、大規模レコメンデーションシステムにスケーラブルで効率的なソリューションを提供することを示した。
私たちのコードはhttps://github.com/RUCAIBox/DS-MLP.comで利用可能です。
関連論文リスト
- Efficient Point Cloud Processing with High-Dimensional Positional Encoding and Non-Local MLPs [68.55902504866422]
ポイントクラウド処理におけるモジュラー特徴抽出のための2段階の抽象化・改善(ABSREF)ビューを開発する。
位置情報を明示的に活用するためのHPE(High-stage Positional)モジュールを提案する。
ABSREFの視点では、関係における局所的な集約を再考し、時間を要する局所的な操作を置き換えることを提案する。
論文 参考訳(メタデータ) (2026-03-04T14:12:13Z) - MLPs Learn In-Context on Regression and Classification Tasks [28.13046236900491]
In-context Learning (ICL) はしばしばトランスフォーマーモデルのユニークな特徴であると考えられている。
マルチ層パーセプトロン(MLP)もコンテキスト内で学習可能であることを示す。
その結果, 合成環境における経験者の予期せぬ能力が浮き彫りになった。
論文 参考訳(メタデータ) (2024-05-24T15:04:36Z) - Tuning Pre-trained Model via Moment Probing [62.445281364055795]
本稿では,LP の可能性を探るため,新しい Moment Probing (MP) 法を提案する。
MPは、最終特徴の平均に基づいて線形分類ヘッドを実行する。
当社のMPはLPを著しく上回り、トレーニングコストの低い相手と競争しています。
論文 参考訳(メタデータ) (2023-07-21T04:15:02Z) - MLP-AIR: An Efficient MLP-Based Method for Actor Interaction Relation
Learning in Group Activity Recognition [4.24515544235173]
グループ活動認識(GAR)は,グループ内のアクターと時間的相互作用関係を学習することにより,グループの活動カテゴリを予測することを目的としている。
これまでの研究は主に、よく設計されたGCNやトランスフォーマーによる相互作用関係を学習してきた。
本稿では,GARにおけるアクターインタラクション関係学習(MLP-AIR)の新しい手法を設計する。
論文 参考訳(メタデータ) (2023-04-18T08:07:23Z) - R2-MLP: Round-Roll MLP for Multi-View 3D Object Recognition [33.53114929452528]
多層パーセプトロン(MLP)のみに基づく視覚アーキテクチャは、コンピュータビジョンコミュニティで注目されている。
本稿では,異なるビューからのパッチ間の通信を考慮し,ビューに基づく3次元オブジェクト認識タスクを提案する。
我々のR$2$MLPは、概念的に単純な構造であるため、既存の手法と比較して競争性能が向上する。
論文 参考訳(メタデータ) (2022-11-20T21:13:02Z) - RepMLPNet: Hierarchical Vision MLP with Re-parameterized Locality [113.1414517605892]
そこで本研究では,FC層に局所前処理を組み込む手法であるLocality Injectionを提案する。
RepMLPNetはCityscapesセマンティックセグメンテーションにシームレスに移行した最初の企業である。
論文 参考訳(メタデータ) (2021-12-21T10:28:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。