論文の概要: Extreme Learning Machines for Fast Training of Click-Through Rate Prediction Models

• arxiv url: http://arxiv.org/abs/2406.17828v1
• Date: Tue, 25 Jun 2024 13:50:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 17:36:24.613650
• Title: Extreme Learning Machines for Fast Training of Click-Through Rate Prediction Models
• Title（参考訳）: クリックスルーレート予測モデルの高速学習のための極端学習機械
• Authors: Ergun Biçici,
• Abstract要約: Extreme Learning Machines (ELM)は、ニューラルネットワークにおける従来の勾配に基づく学習の高速な代替手段を提供する。 クリックスルーレート(CTR)予測におけるEMMの適用について検討する。 我々は,CTRタスクの性能向上のために,埋め込み層により拡張されたEMMベースのモデルを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Extreme Learning Machines (ELM) provide a fast alternative to traditional gradient-based learning in neural networks, offering rapid training and robust generalization capabilities. Its theoretical basis shows its universal approximation capability. We explore the application of ELMs for the task of Click-Through Rate (CTR) prediction, which is largely unexplored by ELMs due to the high dimensionality of the problem. We introduce an ELM-based model enhanced with embedding layers to improve the performance on CTR tasks, which is a novel addition to the field. Experimental results on benchmark datasets, including Avazu and Criteo, demonstrate that our proposed ELM with embeddings achieves competitive F1 results while significantly reducing training time compared to state-of-the-art models such as Masknet. Our findings show that ELMs can be useful for CTR prediction, especially when fast training is needed.
• Abstract（参考訳）: Extreme Learning Machines (ELM)は、ニューラルネットワークにおける従来の勾配に基づく学習の高速な代替手段を提供し、迅速なトレーニングと堅牢な一般化機能を提供する。 その理論的基礎は普遍近似能力を示している。 本報告では,高次元性のため,EMMがほとんど探索していないClick-Through Rate (CTR) 予測のタスクに対するEMMの適用について検討する。 本稿では,CTRタスクの性能向上のために,埋め込み層を付加したEMMモデルを提案する。 Avazu や Criteo などのベンチマークデータセットを用いた実験結果から,提案する ELM は,Masknet などの最先端モデルと比較して,トレーニング時間を大幅に短縮しつつ,競争力のある F1 結果が得られることが示された。 以上の結果から,EMMはCTR予測に有用であることが示唆された。

関連論文リスト

• Theoretical Insights into Overparameterized Models in Multi-Task and Replay-Based Continual Learning [37.745896674964186]
  マルチタスク学習(MTL)は,複数のタスクを同時に学習することで,複数のタスクにおけるモデルの一般化性能を向上させることを目的としている。 連続学習(CL)は、以前取得した知識を忘れずに、時間とともに新しい逐次到着タスクに適応する。 MTL設定におけるモデルの性能に及ぼす各種システムパラメータの影響を理論的に記述する。 その結果,バッファサイズとモデルキャパシティがCLセットアップの記憶率に及ぼす影響を明らかにし,最先端のCL手法のいくつかに光を当てるのに役立つことがわかった。
  論文  参考訳（メタデータ） (2024-08-29T23:22:40Z)
• Theory on Mixture-of-Experts in Continual Learning [72.42497633220547]
  継続学習(CL)は、時間とともに現れる新しいタスクに適応する能力のため、大きな注目を集めている。 モデルが新しいタスクに適応するにつれて、(古いタスクの)破滅的な忘れがCLの大きな問題として認識されるようになった。 MoEモデルは近年,ゲーティングネットワークを用いることで,CLの破滅的忘れを効果的に軽減することが示されている。
  論文  参考訳（メタデータ） (2024-06-24T08:29:58Z)
• SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts [49.01990048827639]
  本稿では,事前学習したMoEモデルのメモリフットプリントと計算要求の両方を削減するためのフレームワークSEER-MoEを紹介する。 第1段階では、ヘビーヒッターズカウントガイダンスを使用して専門家の総数を計算し、第2段階では、正則化に基づく微調整戦略を使用して精度の低下を回復する。 実験により,提案手法の有効性を実証し,精度のトレードオフを最小限に抑えた推論効率に最適化したMoEsモデルを試作した。
  論文  参考訳（メタデータ） (2024-04-07T22:13:43Z)
• Investigating the Robustness of Counterfactual Learning to Rank Models: A Reproducibility Study [61.64685376882383]
  ランク付け学習(CLTR: Counterfactual Learning to rank)は、IRコミュニティにおいて、ログ化された大量のユーザインタラクションデータを活用してランキングモデルをトレーニングする能力において、大きな注目を集めている。 本稿では,複雑かつ多様な状況における既存のCLTRモデルのロバスト性について検討する。 その結果, DLAモデルとIPS-DCMは, PS-PBMやPSSよりも, オフラインの確率推定による堅牢性が高いことがわかった。
  論文  参考訳（メタデータ） (2024-04-04T10:54:38Z)
• Fast Cerebral Blood Flow Analysis via Extreme Learning Machine [4.373558495838564]
  拡散相関分光法(DCS)を用いた高速かつ高精度な脳血流解析手法を提案する。 半無限層モデルと多層モデルの両方に対する合成データセットを用いて既存のアルゴリズムを評価する。 その結果、ELMは様々なノイズレベルや光学パラメータにわたって高い忠実度を連続的に達成し、堅牢な一般化能力を示し、反復整合アルゴリズムより優れることを示した。
  論文  参考訳（メタデータ） (2024-01-10T23:01:35Z)
• Low-Frequency Load Identification using CNN-BiLSTM Attention Mechanism [0.0]
  非侵入負荷モニタリング(Non-Inrusive Load Monitoring, NILM)は、効率的な電力消費管理のための確立された技術である。 本稿では,畳み込みニューラルネットワーク(CNN)と双方向長短期記憶(BILSTM)を組み合わせたハイブリッド学習手法を提案する。 CNN-BILSTMモデルは、時間的(時間的)と空間的(位置的)の両方の特徴を抽出し、アプライアンスレベルでのエネルギー消費パターンを正確に識別することができる。
  論文  参考訳（メタデータ） (2023-11-14T21:02:27Z)
• Pre-training Language Model as a Multi-perspective Course Learner [103.17674402415582]
  本研究では,サンプル効率のよい事前学習のためのマルチパースペクティブ・コース・ラーニング(MCL)手法を提案する。 本研究では,3つの自己超越コースが,「綱引き」力学の固有の欠陥を軽減するように設計されている。 本手法は,GLUEおよびSQuAD 2.0ベンチマークにおいて,ELECTRAの平均性能をそれぞれ2.8%,絶対点を3.2%向上させる。
  論文  参考訳（メタデータ） (2023-05-06T09:02:10Z)
• Improving Rare Word Recognition with LM-aware MWER Training [50.241159623691885]
  本稿では,ハイブリッド自己回帰変換器(HAT)モデルを識別訓練フレームワークで学習する際のLMを紹介する。 浅層核融合では,仮説生成と損失計算の両方でLMを用いており,LM対応MWER学習モデルでは相対的な10%の改善が達成されている。 再構成セットアップでは、小さなニューラルネットワークモジュールを学習し、データ依存の方法で核融合重みを生成する。
  論文  参考訳（メタデータ） (2022-04-15T17:19:41Z)
• Fast fluorescence lifetime imaging analysis via extreme learning machine [7.7721777809498676]
  極端学習機械(ELM)を用いた蛍光寿命顕微鏡(FLIM)の高速かつ正確な解析法を提案する。 その結果,ELMは低光子条件でも高い忠実度が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-25T16:34:51Z)
• Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
  本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。 具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。 実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
  論文  参考訳（メタデータ） (2020-05-13T04:03:21Z)
• A Hybrid Residual Dilated LSTM end Exponential Smoothing Model for Mid-Term Electric Load Forecasting [1.1602089225841632]
  このモデルは指数的平滑化(ETS)、高度なLong Short-Term Memory(LSTM)とアンサンブルを組み合わせたものである。 欧州35か国における月次電力需要時系列のシミュレーション研究により,提案モデルの高性能性が確認された。
  論文  参考訳（メタデータ） (2020-03-29T10:53:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。