論文の概要: Ensemble Learning via Knowledge Transfer for CTR Prediction

• arxiv url: http://arxiv.org/abs/2411.16122v1
• Date: Mon, 25 Nov 2024 06:14:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:18:04.311997
• Title: Ensemble Learning via Knowledge Transfer for CTR Prediction
• Title（参考訳）: CTR予測のための知識伝達によるアンサンブル学習
• Authors: Honghao Li, Yiwen Zhang, Yi Zhang, Lei Sang,
• Abstract要約: 本稿では,より大規模なアンサンブルネットワークを調査し,一般的なアンサンブル学習法に特有の3つの制約を見出す。 我々は,新しいモデルに依存しないアンサンブル知識伝達フレームワーク(EKTF)を提案する。 実世界の5つのデータセットの実験結果は、EKTFの有効性と互換性を示している。
• 参考スコア（独自算出の注目度）: 9.891226177252653
• License:
• Abstract: Click-through rate (CTR) prediction plays a critical role in recommender systems and web searches. While many existing methods utilize ensemble learning to improve model performance, they typically limit the ensemble to two or three sub-networks, with little exploration of larger ensembles. In this paper, we investigate larger ensemble networks and find three inherent limitations in commonly used ensemble learning method: (1) performance degradation with more networks; (2) sharp decline and high variance in sub-network performance; (3) large discrepancies between sub-network and ensemble predictions. To simultaneously address the above limitations, this paper investigates potential solutions from the perspectives of Knowledge Distillation (KD) and Deep Mutual Learning (DML). Based on the empirical performance of these methods, we combine them to propose a novel model-agnostic Ensemble Knowledge Transfer Framework (EKTF). Specifically, we employ the collective decision-making of the students as an abstract teacher to guide each student (sub-network) towards more effective learning. Additionally, we encourage mutual learning among students to enable knowledge acquisition from different views. To address the issue of balancing the loss hyperparameters, we design a novel examination mechanism to ensure tailored teaching from teacher-to-student and selective learning in peer-to-peer. Experimental results on five real-world datasets demonstrate the effectiveness and compatibility of EKTF. The code, running logs, and detailed hyperparameter configurations are available at: https://github.com/salmon1802/EKTF.
• Abstract（参考訳）: クリックスルー率(CTR)予測は、レコメンダシステムやWeb検索において重要な役割を果たす。 既存の多くの手法では、アンサンブル学習を利用してモデルの性能を向上させるが、通常はアンサンブルを2つまたは3つのサブネットワークに制限し、より大きなアンサンブルの探索はほとんど行わない。 本稿では,より大規模なアンサンブルネットワークを調査し,(1)より多くのネットワークを用いたパフォーマンス劣化,(2)サブネットワーク性能の急激な低下と高分散,(3)サブネットワークとアンサンブル予測の大規模な相違,という,一般的なアンサンブル学習手法に特有の3つの制約を見出す。 本稿では,これらの制約を同時に解決するために,知識蒸留(KD)と深層相互学習(DML)の観点から潜在的解決法を検討する。 これらの手法の実証的な性能に基づき,これらを組み合わせて,新しいモデルに依存しないアンサンブル知識伝達フレームワーク(EKTF)を提案する。 具体的には,学生の集合的意思決定を抽象教師として採用し,各学生(サブネットワーク)をより効果的な学習へと導く。 さらに、学生間の相互学習を奨励し、異なる視点から知識の獲得を可能にする。 損失ハイパーパラメータのバランスの問題に対処するため,教師から学生への調整型指導とピアツーピアの選択的学習を実現するための新しい検査機構を設計した。 実世界の5つのデータセットの実験結果は、EKTFの有効性と互換性を示している。 コード、ログの実行、詳細なハイパーパラメータ設定は、https://github.com/salmon1802/EKTF.comで公開されている。

関連論文リスト

• Feature Interaction Fusion Self-Distillation Network For CTR Prediction [14.12775753361368]
  CTR(Click-Through Rate)予測は、レコメンデーターシステム、オンライン広告、検索エンジンにおいて重要な役割を果たす。 プラグ・アンド・プレイ融合自己蒸留モジュールを組み込んだCTR予測フレームワークであるFSDNetを提案する。
  論文  参考訳（メタデータ） (2024-11-12T03:05:03Z)
• Leveraging Different Learning Styles for Improved Knowledge Distillation in Biomedical Imaging [0.9208007322096533]
  我々の研究は知識多様化の概念を活用して、知識蒸留(KD)や相互学習(ML)といったモデル圧縮技術の性能を向上させる。 我々は,教師から学生(KD)への知識伝達を可能にすると同時に,学生(ML)間の協調学習を促進する統一的な枠組みで,一教師と二学生のネットワークを利用する。 教師が学生ネットワークと予測や特徴表現の形で同じ知識を共有する従来の手法とは異なり,提案手法では,教師の予測と特徴マップの学習により,より多様化した戦略を採用する。
  論文  参考訳（メタデータ） (2022-12-06T12:40:45Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)
• Augmenting Knowledge Distillation With Peer-To-Peer Mutual Learning For Model Compression [2.538209532048867]
  相互学習(ML)は、複数の単純な学生ネットワークが知識を共有することで恩恵を受ける、代替戦略を提供する。 そこで本研究では,KDとMLを併用して,より優れたパフォーマンスを実現する,単教師多学生フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-21T09:59:31Z)
• Revisiting Knowledge Distillation: An Inheritance and Exploration Framework [153.73692961660964]
  知識蒸留(KD)は、教師モデルから生徒モデルに知識を伝達する一般的な手法である。 新たな継承・探索知識蒸留フレームワーク(IE-KD)を提案する。 我々のIE-KDフレームワークは汎用的であり、ディープニューラルネットワークを訓練するための既存の蒸留や相互学習手法と簡単に組み合わせることができる。
  論文  参考訳（メタデータ） (2021-07-01T02:20:56Z)
• LENAS: Learning-based Neural Architecture Search and Ensemble for 3D Radiotherapy Dose Prediction [42.38793195337463]
  本稿では3次元放射線治療線量予測のための知識蒸留とニューラルネットワーク検索を統合した,学習に基づく新しいアンサンブル手法 LENAS を提案する。 当社のアプローチは、巨大なアーキテクチャ空間から各ブロックを徹底的に検索して、有望なパフォーマンスを示す複数のアーキテクチャを識別することから始まります。 モデルアンサンブルによってもたらされる複雑さを軽減するため、教師-学生パラダイムを採用し、複数の学習ネットワークからの多様な出力を監視信号として活用する。
  論文  参考訳（メタデータ） (2021-06-12T10:08:52Z)
• LANA: Towards Personalized Deep Knowledge Tracing Through Distinguishable Interactive Sequences [21.67751919579854]
  今後の質問に対する学生の回答を予測するために、Leveled Attentive KNowledge TrAcing(LANA)を提案します。 新しい学生関連特徴抽出装置(SRFE)を使用して、学生固有の特性をそれぞれのインタラクティブシーケンスから蒸留します。 ピボットモジュールは、個々の学生のためのデコーダを再構築し、グループのためのレベル付き学習特化エンコーダにより、パーソナライズされたDKTを実現した。
  論文  参考訳（メタデータ） (2021-04-21T02:57:42Z)
• Distilling Knowledge via Knowledge Review [69.15050871776552]
  教師と学生のネットワーク間の接続経路のクロスレベル要因を研究し、その大きな重要性を明らかにします。 知識蒸留において初めて, クロスステージ接続経路が提案されている。 最終的に設計されたネストでコンパクトなフレームワークは、無視できるオーバーヘッドを必要とし、さまざまなタスクで他のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2021-04-19T04:36:24Z)
• BCFNet: A Balanced Collaborative Filtering Network with Attention Mechanism [106.43103176833371]
  協調フィルタリング(CF)ベースの推奨方法が広く研究されている。 BCFNet(Balanced Collaborative Filtering Network)という新しい推薦モデルを提案する。 さらに注意機構は、暗黙のフィードバックの中で隠れた情報をよりよく捉え、ニューラルネットワークの学習能力を強化するように設計されている。
  論文  参考訳（メタデータ） (2021-03-10T14:59:23Z)
• Efficient Crowd Counting via Structured Knowledge Transfer [122.30417437707759]
  クラウドカウントはアプリケーション指向のタスクであり、その推論効率は現実世界のアプリケーションにとって不可欠である。 本稿では,学生ネットワークを軽量かつ高効率に構築する構造的知識伝達フレームワークを提案する。 我々のモデルはNvidia 1080 GPUで最低6.5$times$のスピードアップを取得し、最先端のパフォーマンスも達成しています。
  論文  参考訳（メタデータ） (2020-03-23T08:05:41Z)
• Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
  我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。 提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。 提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。