論文の概要: EMOFM: Ensemble MLP mOdel with Feature-based Mixers for Click-Through Rate Prediction

• arxiv url: http://arxiv.org/abs/2310.04482v1
• Date: Fri, 6 Oct 2023 12:32:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 18:09:34.615072
• Title: EMOFM: Ensemble MLP mOdel with Feature-based Mixers for Click-Through Rate Prediction
• Title（参考訳）: EMOFM:クリックスルーレート予測のための特徴量ミキサー付きMLP mOdel
• Authors: Yujian Betterest Li, Kai Wu
• Abstract要約: データセットには数百万のレコードが含まれており、レコード内の各フィールドワイド機能は、プライバシのためのハッシュされた整数で構成されている。 このタスクのために、ネットワークベースの手法のキーは、異なるフィールドにまたがるタイプワイドな特徴抽出と情報融合であるかもしれない。 フィールド/タイプワイド機能融合のためのプラグインミキサーを提案し、フィールド/タイプワイドアンサンブルモデル、すなわちEMOFMを構築する。
• 参考スコア（独自算出の注目度）: 5.983194751474721
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Track one of CTI competition is on click-through rate (CTR) prediction. The dataset contains millions of records and each field-wise feature in a record consists of hashed integers for privacy. For this task, the keys of network-based methods might be type-wise feature extraction and information fusion across different fields. Multi-layer perceptrons (MLPs) are able to extract field feature, but could not efficiently fuse features. Motivated by the natural fusion characteristic of cross attention and the efficiency of transformer-based structures, we propose simple plug-in mixers for field/type-wise feature fusion, and thus construct an field&type-wise ensemble model, namely EMOFM (Ensemble MLP mOdel with Feature-based Mixers). In the experiments, the proposed model is evaluated on the dataset, the optimization process is visualized and ablation studies are explored. It is shown that EMOFM outperforms compared baselines. In the end, we discuss on future work. WARNING: The comparison might not be fair enough since the proposed method is designed for this data in particular while compared methods are not. For example, EMOFM especially takes different types of interactions into consideration while others do not. Anyway, we do hope that the ideas inside our method could help other developers/learners/researchers/thinkers and so on.
• Abstract（参考訳）: CTI競合の1つは、クリックスルーレート(CTR)予測である。 データセットには数百万のレコードが含まれており、各フィールドの機能は、プライバシのためのハッシュされた整数で構成されている。 このタスクでは、ネットワークベースのメソッドのキーは、異なるフィールド間のタイプワイズ特徴抽出と情報融合であるかもしれない。 多層パーセプトロン(MLP)はフィールド特徴を抽出できるが、効率よく特徴を融合することはできない。 クロスアテンションの自然融合特性とトランスフォーマーベース構造の効率により、フィールド/タイプワイド特徴融合のためのシンプルなプラグインミキサーを提案し、フィールド&タイプワイドアンサンブルモデル、すなわちEMOFM(Ensemble MLP mOdel with Feature-based Mixers)を構築した。 実験では,提案したモデルをデータセット上で評価し,最適化プロセスの可視化とアブレーション研究を行った。 EMOFMはベースラインよりも優れていた。 最後に、私たちは将来の仕事について話し合う。 WARNING: 提案手法は特にこのデータのために設計されているが,比較手法はそうではないため,比較は十分ではないかもしれない。 例えば、EMOFMは特に異なるタイプの相互作用を考慮に入れているが、他のものは考慮しない。 いずれにせよ、私たちのメソッド内のアイデアが、他の開発者/学習者/研究者/思考者などに役立つことを期待しています。

関連論文リスト

• Task-customized Masked AutoEncoder via Mixture of Cluster-conditional Experts [104.9871176044644]
  Masked Autoencoder (MAE) は,モデル事前学習において有望な結果が得られる自己教師型学習手法である。 我々は、新しいMAEベースの事前学習パラダイム、Mixture of Cluster-conditional Experts (MoCE)を提案する。 MoCEは、クラスタ条件ゲートを使用して、各専門家にセマンティックなイメージのみをトレーニングする。
  論文  参考訳（メタデータ） (2024-02-08T03:46:32Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Learning with MISELBO: The Mixture Cookbook [62.75516608080322]
  本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。 我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。 我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
  論文  参考訳（メタデータ） (2022-09-30T15:01:35Z)
• Boosting Factorization Machines via Saliency-Guided Mixup [125.15872106335692]
  我々は、MixupにインスパイアされたMixFMを紹介し、ファクトリゼーションマシン(FM)を強化するための補助的なトレーニングデータを生成する。 また、Saliency-Guided Mixup(SMFM)を利用した新しいファクトリゼーションマシンも提案した。
  論文  参考訳（メタデータ） (2022-06-17T09:49:00Z)
• Making a (Counterfactual) Difference One Rationale at a Time [5.97507595130844]
  本研究では,人的支援を伴わない反現実的データ拡張が,セレクタの性能を向上させることができるかどうかを考察する。 以上の結果から,CDAは関心のシグナルをよりよく捉えた合理性を生み出すことが示唆された。
  論文  参考訳（メタデータ） (2022-01-13T19:05:02Z)
• Data Fusion with Latent Map Gaussian Processes [0.0]
  多要素モデリングとキャリブレーションは、エンジニアリング設計においてユビキタスに発生するデータ融合タスクである。 本稿では,遅延マップガウス過程(LMGP)に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-04T00:54:19Z)
• Noisy Feature Mixup [42.056684988818766]
  NFM(Noisy Feature Mixup)は,データ拡張のための安価で効果的な手法である。 NFMは特別な場合として混合と多様体の混合を含むが、決定境界の平滑化など、さらなる利点がある。 NFMでトレーニングした残差ネットワークと視覚変換器は、クリーンデータにおける予測精度と各種データに対するロバスト性との間に良好なトレードオフがあることが示される。
  論文  参考訳（メタデータ） (2021-10-05T17:13:51Z)
• Efficient Data-specific Model Search for Collaborative Filtering [56.60519991956558]
  協調フィルタリング(CF)はレコメンダシステムの基本的なアプローチである。 本稿では,機械学習(AutoML)の最近の進歩を動機として,データ固有のCFモデルを設計することを提案する。 ここでキーとなるのは、最先端(SOTA)のCFメソッドを統一し、それらを入力エンコーディング、埋め込み関数、インタラクション、予測関数の非結合ステージに分割する新しいフレームワークである。
  論文  参考訳（メタデータ） (2021-06-14T14:30:32Z)
• VMLoc: Variational Fusion For Learning-Based Multimodal Camera Localization [46.607930208613574]
  本稿では,センサの入力を共通の潜在空間に融合させる,VMLocと呼ばれるエンドツーエンドフレームワークを提案する。 バニラ変分オートエンコーダの目的関数を直接適用する従来のマルチモーダル変分法とは異なり、カメラのローカライゼーションを正確に推定する方法を示す。
  論文  参考訳（メタデータ） (2020-03-12T14:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。