論文の概要: AdaEnsemble: Learning Adaptively Sparse Structured Ensemble Network for
Click-Through Rate Prediction
- arxiv url: http://arxiv.org/abs/2301.08353v1
- Date: Fri, 6 Jan 2023 12:08:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-29 13:48:36.532799
- Title: AdaEnsemble: Learning Adaptively Sparse Structured Ensemble Network for
Click-Through Rate Prediction
- Title（参考訳）: AdaEnsemble: クリックスルーレート予測のための適応スパース構造型アンサンブルネットワークの学習
- Authors: YaChen Yan, Liubo Li
- Abstract要約: AdaEnsemble: 異種機能相互作用の専門家の強みを生かしたスパース・ゲート・ミックス・オブ・エキスパートアーキテクチャを提案する。
AdaEnsembleは、機能相互作用の深さを適応的に選択し、対応するSparseMoEスタック層を見つけて、予測を終了し、計算することができる。
提案したAdaEnsembleを実装し,実世界のデータセット上での性能を評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning feature interactions is crucial to success for large-scale CTR
prediction in recommender systems and Ads ranking. Researchers and
practitioners extensively proposed various neural network architectures for
searching and modeling feature interactions. However, we observe that different
datasets favor different neural network architectures and feature interaction
types, suggesting that different feature interaction learning methods may have
their own unique advantages. Inspired by this observation, we propose
AdaEnsemble: a Sparsely-Gated Mixture-of-Experts (SparseMoE) architecture that
can leverage the strengths of heterogeneous feature interaction experts and
adaptively learns the routing to a sparse combination of experts for each
example, allowing us to build a dynamic hierarchy of the feature interactions
of different types and orders. To further improve the prediction accuracy and
inference efficiency, we incorporate the dynamic early exiting mechanism for
feature interaction depth selection. The AdaEnsemble can adaptively choose the
feature interaction depth and find the corresponding SparseMoE stacking layer
to exit and compute prediction from. Therefore, our proposed architecture
inherits the advantages of the exponential combinations of sparsely gated
experts within SparseMoE layers and further dynamically selects the optimal
feature interaction depth without executing deeper layers. We implement the
proposed AdaEnsemble and evaluate its performance on real-world datasets.
Extensive experiment results demonstrate the efficiency and effectiveness of
AdaEnsemble over state-of-the-art models.
- Abstract（参考訳）: 機能相互作用の学習は、推薦システムや広告ランキングにおける大規模CTR予測の成功に不可欠である。
研究者と実践者は、機能相互作用の探索とモデリングのための様々なニューラルネットワークアーキテクチャを幅広く提案した。
しかし、異なるデータセットが異なるニューラルネットワークアーキテクチャや特徴相互作用タイプを好んでおり、異なる特徴相互作用学習手法には独自の利点があることが示唆されている。
AdaEnsemble: AdaEnsemble: Sparsely-Gated Mixture-of-Experts (SparseMoE)アーキテクチャは、異種機能相互作用の専門家の強みを生かし、各例のエキスパートの疎結合へのルーティングを適応的に学習することで、異なるタイプの機能相互作用の動的階層を構築することができる。
予測精度と推論効率をさらに向上するため,機能間相互作用深度選択のための動的早期退避機構を組み込んだ。
AdaEnsembleは、機能相互作用の深さを適応的に選択し、対応するSparseMoEスタック層を見つけて、予測を終了し、計算することができる。
そこで,提案アーキテクチャは,SparseMoE層内の疎ゲート専門家の指数的組み合わせの利点を継承し,さらにより深い層を実行することなく最適な特徴相互作用深さを動的に選択する。
提案したAdaEnsembleを実装し,実世界のデータセット上での性能を評価する。
AdaEnsembleの最先端モデルに対する有効性と有効性を示す実験結果である。
関連論文リスト
- GSSF: Generalized Structural Sparse Function for Deep Cross-modal Metric Learning [51.677086019209554]
ペアワイド類似性学習のためのモダリティ間の強力な関係を捕捉する汎用構造スパースを提案する。
距離メートル法は、対角線とブロック対角線の2つの形式を微妙にカプセル化する。
クロスモーダルと2つの余分なユニモーダル検索タスクの実験は、その優位性と柔軟性を検証した。
論文 参考訳（メタデータ） (2024-10-20T03:45:50Z) - Adaptive Ensemble Learning: Boosting Model Performance through
Intelligent Feature Fusion in Deep Neural Networks [0.0]
本稿では,ディープラーニングの性能向上を目的としたAdaptive Ensemble Learningフレームワークを提案する。
このフレームワークは、より堅牢で適応可能なモデルを作成するために、アンサンブル学習戦略とディープラーニングアーキテクチャを統合する。
インテリジェントな特徴融合手法を利用することで、フレームワークはより差別的で効果的な特徴表現を生成する。
論文 参考訳（メタデータ） (2023-04-04T21:49:49Z) - xDeepInt: a hybrid architecture for modeling the vector-wise and
bit-wise feature interactions [0.0]
ベクトルワイドとビットワイドの機能相互作用の混合をバランスさせる新しいモデル xDeepInt を提案する。
実験の結果, 最先端モデルに対するxDeepIntの有効性と有効性を示した。
論文 参考訳（メタデータ） (2023-01-03T13:33:19Z) - HINNPerf: Hierarchical Interaction Neural Network for Performance
Prediction of Configurable Systems [22.380061796355616]
HINNPerfは、性能予測のための新しい階層型相互作用ニューラルネットワークである。
HINNPerfは、構成オプション間の複雑な相互作用をモデル化するために、埋め込みメソッドと階層ネットワークブロックを使用している。
実世界の10のシステムにおける実証実験の結果,我々の手法は最先端の手法よりも統計的に優れていた。
論文 参考訳（メタデータ） (2022-04-08T08:52:23Z) - DHEN: A Deep and Hierarchical Ensemble Network for Large-Scale
Click-Through Rate Prediction [20.51885543358098]
ヘテロジニアス相互作用モジュールの強みを生かし、異なる順序で相互作用の階層構造を学習できる深層・階層型アンサンブルアーキテクチャDHENを提案する。
CTR予測タスクからの大規模データセットの実験では、予測の正規化エントロピーが0.27%向上し、最先端のベースラインよりも1.2倍優れたトレーニングスループットが得られた。
論文 参考訳（メタデータ） (2022-03-11T21:19:31Z) - Pareto-wise Ranking Classifier for Multi-objective Evolutionary Neural
Architecture Search [15.454709248397208]
本研究は,多様な設計目的の下で実現可能な深層モデルを見つける方法に焦点を当てる。
オンライン分類器を訓練し、候補と構築された参照アーキテクチャとの優位性関係を予測する。
さまざまな目的や制約の下で、2Mから6Mまでの異なるモデルサイズを持つ多数のニューラルアーキテクチャを見つけます。
論文 参考訳（メタデータ） (2021-09-14T13:28:07Z) - Redefining Neural Architecture Search of Heterogeneous Multi-Network
Models by Characterizing Variation Operators and Model Components [71.03032589756434]
複素領域における異なる変動演算子の効果について検討する。
モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
論文 参考訳（メタデータ） (2021-06-16T17:12:26Z) - FIVES: Feature Interaction Via Edge Search for Large-Scale Tabular Data [106.76845921324704]
本稿では,FIVES (Feature Interaction Via Edge Search) という新しい手法を提案する。
FIVESは、定義された特徴グラフ上のエッジを探すために、インタラクティブな特徴生成のタスクを定式化する。
本稿では,対話的特徴の探索を動機づける理論的証拠を提示する。
論文 参考訳（メタデータ） (2020-07-29T03:33:18Z) - Towards Automated Neural Interaction Discovery for Click-Through Rate
Prediction [64.03526633651218]
CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最も重要な機械学習タスクの1つである。
本稿では,AutoCTR と呼ばれる CTR 予測のための自動インタラクションアーキテクチャ探索フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-29T04:33:01Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z) - A Dependency Syntactic Knowledge Augmented Interactive Architecture for
End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。
このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。
3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
論文 参考訳（メタデータ） (2020-04-04T14:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。