論文の概要: GateNet: Gating-Enhanced Deep Network for Click-Through Rate Prediction
- arxiv url: http://arxiv.org/abs/2007.03519v1
- Date: Mon, 6 Jul 2020 12:45:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-13 02:53:33.161702
- Title: GateNet: Gating-Enhanced Deep Network for Click-Through Rate Prediction
- Title（参考訳）: GateNet:クリックスルーレート予測のためのゲーティング強化ディープネットワーク
- Authors: Tongwen Huang, Qingyun She, Zhiqiang Wang, Junlin Zhang
- Abstract要約: 近年、多くのニューラルネットワークベースのCTRモデルが提案され、成功している。
本稿では,GateNetと呼ばれる新しいモデルを提案する。このモデルでは,埋込層に特徴埋込ゲートまたは隠蔽ゲートを導入するか,あるいは隠蔽CTRモデルを導入する。
- 参考スコア（独自算出の注目度）: 3.201333208812837
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Advertising and feed ranking are essential to many Internet companies such as
Facebook. Among many real-world advertising and feed ranking systems, click
through rate (CTR) prediction plays a central role. In recent years, many
neural network based CTR models have been proposed and achieved success such as
Factorization-Machine Supported Neural Networks, DeepFM and xDeepFM. Many of
them contain two commonly used components: embedding layer and MLP hidden
layers. On the other side, gating mechanism is also widely applied in many
research fields such as computer vision(CV) and natural language
processing(NLP). Some research has proved that gating mechanism improves the
trainability of non-convex deep neural networks. Inspired by these
observations, we propose a novel model named GateNet which introduces either
the feature embedding gate or the hidden gate to the embedding layer or hidden
layers of DNN CTR models, respectively. The feature embedding gate provides a
learnable feature gating module to select salient latent information from the
feature-level. The hidden gate helps the model to implicitly capture the
high-order interaction more effectively. Extensive experiments conducted on
three real-world datasets demonstrate its effectiveness to boost the
performance of various state-of-the-art models such as FM, DeepFM and xDeepFM
on all datasets.
- Abstract（参考訳）: 広告やフィードのランキングはfacebookなど多くのインターネット企業にとって不可欠だ。
多くの現実世界の広告やフィードランキングシステムの中で、クリックスルーレート(CTR)予測が中心的な役割を果たす。
近年、多くのニューラルネットワークベースのCTRモデルが提案され、Factization-Machine Supported Neural Networks、DeepFM、xDeepFMなど成功している。
それらの多くは、埋め込み層とMLP隠蔽層という2つのよく使われるコンポーネントを含んでいる。
一方、ゲーティング機構はコンピュータビジョン(CV)や自然言語処理(NLP)といった多くの研究分野にも広く応用されている。
いくつかの研究は、ゲーティング機構が非凸深層ニューラルネットワークのトレーサビリティを向上させることを証明している。
これらの観測から着想を得たGateNetという新しいモデルを提案する。このモデルでは,DNN CTRモデルの埋め込み層に,特徴埋め込みゲートと隠れゲートをそれぞれ導入する。
機能埋め込みゲートは学習可能なフィーチャーゲーティングモジュールを提供し、機能レベルからサルエントな潜在情報を選択する。
隠れたゲートは、モデルが高次相互作用をより効果的にキャプチャするのに役立ちます。
3つの実世界のデータセットで実施された大規模な実験は、FM、DeepFM、xDeepFMといった最先端モデルのすべてのデータセットのパフォーマンスを高める効果を示す。
関連論文リスト
- Multilinear Operator Networks [60.7432588386185]
ポリノミアルネットワーク(Polynomial Networks)は、アクティベーション関数を必要としないモデルのクラスである。
マルチリニア演算子のみに依存するMONetを提案する。
論文 参考訳（メタデータ） (2024-01-31T16:52:19Z) - Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳（メタデータ） (2023-12-03T13:50:24Z) - SENetV2: Aggregated dense layer for channelwise and global
representations [0.0]
我々は,Squeeze残余モジュール内に,多分岐密度層である新しい多層パーセプトロンを導入する。
この融合により、チャネルワイドパターンを捕捉し、グローバルな知識を持つネットワークの能力が向上する。
ベンチマークデータセットの広範な実験を行い、モデルを検証し、確立したアーキテクチャと比較する。
論文 参考訳（メタデータ） (2023-11-17T14:10:57Z) - Improving the Robustness of Deep Convolutional Neural Networks Through
Feature Learning [23.5067878531607]
深層畳み込みニューラルネットワーク(DCNN: Deep Convolutional Neural Network)モデルは、小さな摂動のある例に対して脆弱である。
逆トレーニング(略してAT)は、データ拡張によるDCNNモデルの堅牢性を高めるために広く用いられている手法である。
本稿では,どのバックボーンにも組み込むことのできる浅いバイナリ機能モジュール(略してSBFM)を提案する。
論文 参考訳（メタデータ） (2023-03-11T15:22:29Z) - Interpretability of an Interaction Network for identifying $H
\rightarrow b\bar{b}$ jets [4.553120911976256]
近年、ディープニューラルネットワークに基づくAIモデルは、これらのアプリケーションの多くで人気が高まっている。
我々は、高揚した$Hto bbarb$ jetを識別するために設計されたインタラクションネットワーク(IN)モデルを調べることで、AIモデルの解釈可能性を検討する。
さらに、INモデル内の隠れレイヤの活動を、ニューラルアクティベーションパターン(NAP)ダイアグラムとして記述する。
論文 参考訳（メタデータ） (2022-11-23T08:38:52Z) - Deep Multi-Representation Model for Click-Through Rate Prediction [6.155158115218501]
CTR(Click-Through Rate Prediction)は、レコメンデーションシステムにおいて重要なタスクである。
本稿では、2つの強力な特徴表現学習コンポーネントの混合を共同で訓練するDeep Multi-Representation Model(DeepMR)を提案する。
3つの実世界のデータセットの実験により、提案モデルがクリックスルー率予測のタスクにおいて、すべての最先端モデルを著しく上回っていることが示された。
論文 参考訳（メタデータ） (2022-10-18T09:37:11Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳（メタデータ） (2022-10-14T18:00:07Z) - A Battle of Network Structures: An Empirical Study of CNN, Transformer,
and MLP [121.35904748477421]
畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンのための支配的なディープニューラルネットワーク(DNN)アーキテクチャである。
トランスフォーマーとマルチ層パーセプトロン(MLP)ベースのモデル(Vision TransformerやVision-Mixer)が新しいトレンドを導い始めた。
本稿では,これらのDNN構造について実証的研究を行い,それぞれの長所と短所を理解しようとする。
論文 参考訳（メタデータ） (2021-08-30T06:09:02Z) - Global Filter Networks for Image Classification [90.81352483076323]
本稿では,対数線形複雑度を持つ周波数領域における長期空間依存性を学習する,概念的に単純だが計算効率のよいアーキテクチャを提案する。
この結果から,GFNetはトランスフォーマー型モデルやCNNの効率,一般化能力,堅牢性において,非常に競争力のある代替手段となる可能性が示唆された。
論文 参考訳（メタデータ） (2021-07-01T17:58:16Z) - AdnFM: An Attentive DenseNet based Factorization Machine for CTR
Prediction [11.958336595818267]
Attentive DenseNet based Factorization Machines (AdnFM) と呼ばれる新しいモデルを提案する。
AdnFMはフィードフォワードニューラルネットワークから隠されたすべての層を暗黙の高次の特徴として使用することにより、より包括的な深い特徴を抽出することができる。
2つの実世界のデータセットにおける実験により、提案モデルがクリックスルーレート予測の性能を効果的に向上できることが示されている。
論文 参考訳（メタデータ） (2020-12-20T01:00:39Z) - Refined Gate: A Simple and Effective Gating Mechanism for Recurrent
Units [68.30422112784355]
本稿では,この問題に対処する一般ゲートリカレントニューラルネットワークにおける新しいゲーティング機構を提案する。
提案したゲートは、抽出された入力特徴とバニラゲートの出力を直接的にショートする。
LSTM, GRU, MGUの3種類のゲートRNNに対して, 提案したゲーティング機構を検証する。
論文 参考訳（メタデータ） (2020-02-26T07:51:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。