論文の概要: Enhanced Exploration in Neural Feature Selection for Deep Click-Through
Rate Prediction Models via Ensemble of Gating Layers
- arxiv url: http://arxiv.org/abs/2112.03487v1
- Date: Tue, 7 Dec 2021 04:37:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-08 15:00:18.543272
- Title: Enhanced Exploration in Neural Feature Selection for Deep Click-Through
Rate Prediction Models via Ensemble of Gating Layers
- Title（参考訳）: ゲーティング層のアンサンブルによるディープクリックスルー率予測モデルのための神経特徴選択の強化
- Authors: Lin Guan, Xia Xiao, Ming Chen, Youlong Cheng
- Abstract要約: 神経機能選択(NFS)の目標は、最も説明力のある比較的小さな機能のサブセットを選択することである。
ゲーティングアプローチは、情報の少ない特徴をドロップするために、識別可能なバイナリゲートのセットを挿入する。
勾配に基づく解の探索能力を向上させるために,単純だが効果的なアンサンブル学習手法を提案する。
- 参考スコア（独自算出の注目度）: 7.381829794276824
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Feature selection has been an essential step in developing industry-scale
deep Click-Through Rate (CTR) prediction systems. The goal of neural feature
selection (NFS) is to choose a relatively small subset of features with the
best explanatory power as a means to remove redundant features and reduce
computational cost. Inspired by gradient-based neural architecture search (NAS)
and network pruning methods, people have tackled the NFS problem with Gating
approach that inserts a set of differentiable binary gates to drop less
informative features. The binary gates are optimized along with the network
parameters in an efficient end-to-end manner. In this paper, we analyze the
gradient-based solution from an exploration-exploitation perspective and use
empirical results to show that Gating approach might suffer from insufficient
exploration. To improve the exploration capacity of gradient-based solutions,
we propose a simple but effective ensemble learning approach, named Ensemble
Gating. We choose two public datasets, namely Avazu and Criteo, to evaluate
this approach. Our experiments show that, without adding any computational
overhead or introducing any hyper-parameter (except the size of the ensemble),
our method is able to consistently improve Gating approach and find a better
subset of features on the two datasets with three different underlying deep CTR
prediction models.
- Abstract（参考訳）: CTR(Deep Click-Through Rate)予測システムの開発において,特徴選択は重要なステップである。
ニューラル特徴選択(NFS)の目標は、冗長な特徴を取り除き、計算コストを削減する手段として、最も説明力のよい機能の比較的小さなサブセットを選択することである。
勾配に基づくニューラルアーキテクチャサーチ(NAS)とネットワークプルーニング手法に触発されて、人々はゲーティングアプローチでNFS問題に取り組みました。
バイナリゲートは、効率的なエンドツーエンド方式でネットワークパラメータと共に最適化される。
本稿では,探索-探索の観点から勾配に基づく解を解析し,実験結果を用いてゲーティングアプローチが不十分な探査に苦しむことを示す。
勾配に基づく解の探索能力を向上させるために,アンサンブルゲーティングという,単純かつ効果的なアンサンブル学習手法を提案する。
このアプローチを評価するために、AvazuとCriteoという2つのパブリックデータセットを選択します。
実験により,計算オーバーヘッドやハイパーパラメータ(アンサンブルのサイズを除く)を導入することなく,Gatingアプローチを一貫して改善し,3つの異なる深部CTR予測モデルを持つ2つのデータセット上の機能のより優れたサブセットを見つけることができることがわかった。
関連論文リスト
- GASE: Graph Attention Sampling with Edges Fusion for Solving Vehicle Routing Problems [6.084414764415137]
車両のルーティング問題を解決するためにEdges Fusionフレームワークを用いた適応型グラフ注意サンプリングを提案する。
提案手法は,既存の手法を2.08%-6.23%上回り,より強力な一般化能力を示す。
論文 参考訳（メタデータ） (2024-05-21T03:33:07Z) - Explicit Foundation Model Optimization with Self-Attentive Feed-Forward
Neural Units [4.807347156077897]
バックプロパゲーションを用いた反復近似法はニューラルネットワークの最適化を可能にするが、大規模に使用すると計算コストがかかる。
本稿では、ニューラルネットワークのスケーリングコストを削減し、低リソースアプリケーションに高効率な最適化を提供する、ニューラルネットワークの最適化のための効率的な代替手段を提案する。
論文 参考訳（メタデータ） (2023-11-13T17:55:07Z) - Accelerating Inverse Learning via Intelligent Localization with
Exploratory Sampling [1.5976506570992293]
逆問題の解決は 物質と薬物発見の 長年の課題です
近年,逆問題の解法として深部生成モデルが提案されている。
逆学習を高速化する新しい手法(iPage)を提案する。
論文 参考訳（メタデータ） (2022-12-02T08:00:04Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - Designing the Topology of Graph Neural Networks: A Novel Feature Fusion
Perspective [12.363386808994079]
我々は,F$2$GNNと呼ばれる新しい機能融合の観点から,GNNのトポロジを設計することを学ぶ。
本研究では,選択操作と融合操作を含む統合フレームワーク上でのニューラルネットワーク探索手法を提案する。
8つの実世界のデータセットのパフォーマンス向上は、F$2$GNNの有効性を示している。
論文 参考訳（メタデータ） (2021-12-29T13:06:12Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳（メタデータ） (2021-12-04T18:07:47Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T06:39:13Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - VINNAS: Variational Inference-based Neural Network Architecture Search [2.685668802278155]
スパース畳み込みニューラルネットワークを探索するための可変変分推論に基づくNAS法を提案する。
提案手法は,非ゼロパラメータの約2倍の精度で最先端の精度を示しながら,多様なネットワークセルを探索する。
論文 参考訳（メタデータ） (2020-07-12T21:47:35Z) - DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。
最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。
微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
論文 参考訳（メタデータ） (2020-06-18T08:23:02Z) - Learning to Optimize Non-Rigid Tracking [54.94145312763044]
我々は、堅牢性を改善し、解法収束を高速化するために学習可能な最適化を採用する。
まず、CNNを通じてエンドツーエンドに学習された深い特徴にアライメントデータ項を統合することにより、追跡対象をアップグレードする。
次に,プレコンディショニング手法と学習手法のギャップを,プレコンディショナを生成するためにトレーニングされたConditionNetを導入することで埋める。
論文 参考訳（メタデータ） (2020-03-27T04:40:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。