Fugu-MT 論文翻訳(概要): DHEN: A Deep and Hierarchical Ensemble Network for Large-Scale Click-Through Rate Prediction

論文の概要: DHEN: A Deep and Hierarchical Ensemble Network for Large-Scale Click-Through Rate Prediction

arxiv url: http://arxiv.org/abs/2203.11014v1
Date: Fri, 11 Mar 2022 21:19:31 GMT
ステータス: 処理完了
システム内更新日: 2022-03-27 05:50:00.942945
Title: DHEN: A Deep and Hierarchical Ensemble Network for Large-Scale Click-Through Rate Prediction
Title（参考訳）: DHEN:大規模クリックスルーレート予測のための深層および階層型アンサンブルネットワーク
Authors: Buyun Zhang, Liang Luo, Xi Liu, Jay Li, Zeliang Chen, Weilin Zhang, Xiaohan Wei, Yuchen Hao, Michael Tsang, Wenjun Wang, Yang Liu, Huayu Li, Yasmine Badr, Jongsoo Park, Jiyan Yang, Dheevatsa Mudigere, Ellie Wen
Abstract要約: ヘテロジニアス相互作用モジュールの強みを生かし、異なる順序で相互作用の階層構造を学習できる深層・階層型アンサンブルアーキテクチャDHENを提案する。 CTR予測タスクからの大規模データセットの実験では、予測の正規化エントロピーが0.27%向上し、最先端のベースラインよりも1.2倍優れたトレーニングスループットが得られた。
参考スコア（独自算出の注目度）: 20.51885543358098
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Learning feature interactions is important to the model performance of online advertising services. As a result, extensive efforts have been devoted to designing effective architectures to learn feature interactions. However, we observe that the practical performance of those designs can vary from dataset to dataset, even when the order of interactions claimed to be captured is the same. That indicates different designs may have different advantages and the interactions captured by them have non-overlapping information. Motivated by this observation, we propose DHEN - a deep and hierarchical ensemble architecture that can leverage strengths of heterogeneous interaction modules and learn a hierarchy of the interactions under different orders. To overcome the challenge brought by DHEN's deeper and multi-layer structure in training, we propose a novel co-designed training system that can further improve the training efficiency of DHEN. Experiments of DHEN on large-scale dataset from CTR prediction tasks attained 0.27\% improvement on the Normalized Entropy (NE) of prediction and 1.2x better training throughput than state-of-the-art baseline, demonstrating their effectiveness in practice.
Abstract（参考訳）: オンライン広告サービスのモデルパフォーマンスには,機能相互作用の学習が重要である。その結果、機能相互作用を学ぶための効果的なアーキテクチャの設計に多大な努力が注がれた。しかし、これらの設計の実践的性能は、捕捉されるとされる相互作用の順序が同じであっても、データセットからデータセットまで様々である。これは異なる設計が異なる利点を持つ可能性を示しており、それらによって捉えられた相互作用は重複しない情報を持っている。この観測から得られたDHEN - 異種相互作用モジュールの強みを生かし、異なる順序で相互作用の階層構造を学習できる、深く階層的なアンサンブルアーキテクチャを提案する。学習におけるdhenの深層構造と多層構造がもたらした課題を克服するために,dhenの訓練効率をさらに向上できる新しい共同設計訓練システムを提案する。 CTR予測タスクからの大規模データセットに対するDHENの実験では、予測の正規化エントロピー(NE)が0.27倍向上し、最先端ベースラインよりも1.2倍優れたトレーニングスループットが得られた。

関連論文リスト

A framework for measuring the training efficiency of a neural architecture [1.5373453926913085]
本稿では,ニューラルアーキテクチャのトレーニング効率を測定するための実験フレームワークを提案する。我々は,MNISTタスクとCIFAR-10タスクにおける畳み込みニューラルネットワークとベイズ等価性のトレーニング効率を解析した。
論文参考訳（メタデータ） (2024-09-12T10:45:38Z)
Unveiling Backbone Effects in CLIP: Exploring Representational Synergies and Variances [49.631908848868505]
コントラスト言語-画像事前学習(CLIP)は画像表現学習において顕著な手法である。各種ニューラルアーキテクチャにおけるCLIP性能の違いについて検討する。我々は、複数のバックボーンからの予測を組み合わせるためのシンプルで効果的なアプローチを提案し、最大6.34%のパフォーマンス向上につながった。
論文参考訳（メタデータ） (2023-12-22T03:01:41Z)
DEPHN: Different Expression Parallel Heterogeneous Network using virtual gradient optimization for Multi-task Learning [1.0705399532413615]
マルチタスク学習(MTL)に基づく推薦システムアルゴリズムは、インターネットオペレーターがユーザを理解し、その振る舞いを予測する主要な方法である。従来のモデルでは、共有ボットモデルとゲーティングの専門家を使用して、共有表現学習と情報の差別化を実現している。本稿では,複数のタスクを同時にモデル化するための異なる表現並列不均一ネットワーク(DEPHN)を提案する。
論文参考訳（メタデータ） (2023-07-24T04:29:00Z)
ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
論文参考訳（メタデータ） (2023-06-16T21:51:04Z)
HCE: Improving Performance and Efficiency with Heterogeneously Compressed Neural Network Ensemble [22.065904428696353]
最近のアンサンブルトレーニング手法では,同じモデルアーキテクチャを持つ複数のサブモデルの異なるトレーニングアルゴリズムや設定を探索している。我々は、事前訓練されたDNNモデルから、切断された量子化された変種と効率的なアンサンブルを構築するヘテロジェネリー圧縮アンサンブル(HCE)を提案する。
論文参考訳（メタデータ） (2023-01-18T21:47:05Z)
AdaEnsemble: Learning Adaptively Sparse Structured Ensemble Network for Click-Through Rate Prediction [0.0]
AdaEnsemble: 異種機能相互作用の専門家の強みを生かしたスパース・ゲート・ミックス・オブ・エキスパートアーキテクチャを提案する。 AdaEnsembleは、機能相互作用の深さを適応的に選択し、対応するSparseMoEスタック層を見つけて、予測を終了し、計算することができる。提案したAdaEnsembleを実装し,実世界のデータセット上での性能を評価する。
論文参考訳（メタデータ） (2023-01-06T12:08:15Z)
Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
論文参考訳（メタデータ） (2022-07-08T10:25:47Z)
Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
論文参考訳（メタデータ） (2022-03-16T16:14:19Z)
LENAS: Learning-based Neural Architecture Search and Ensemble for 3D Radiotherapy Dose Prediction [42.38793195337463]
本稿では3次元放射線治療線量予測のための知識蒸留とニューラルネットワーク検索を統合した,学習に基づく新しいアンサンブル手法 LENAS を提案する。当社のアプローチは、巨大なアーキテクチャ空間から各ブロックを徹底的に検索して、有望なパフォーマンスを示す複数のアーキテクチャを識別することから始まります。モデルアンサンブルによってもたらされる複雑さを軽減するため、教師-学生パラダイムを採用し、複数の学習ネットワークからの多様な出力を監視信号として活用する。
論文参考訳（メタデータ） (2021-06-12T10:08:52Z)
Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
論文参考訳（メタデータ） (2021-05-17T13:42:09Z)
Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。