論文の概要: AutoFIS: Automatic Feature Interaction Selection in Factorization Models
for Click-Through Rate Prediction
- arxiv url: http://arxiv.org/abs/2003.11235v3
- Date: Fri, 3 Jul 2020 14:19:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 03:05:06.968181
- Title: AutoFIS: Automatic Feature Interaction Selection in Factorization Models
for Click-Through Rate Prediction
- Title（参考訳）: AutoFIS:クリックスルーレート予測のための因子化モデルの自動特徴相互作用選択
- Authors: Bin Liu, Chenxu Zhu, Guilin Li, Weinan Zhang, Jincai Lai, Ruiming
Tang, Xiuqiang He, Zhenguo Li, Yong Yu
- Abstract要約: 自動特徴相互作用選択(AutoFIS)と呼ばれる2段階のアルゴリズムを提案する。
AutoFISは、目標モデルを収束させるためにトレーニングするのと同等の計算コストで、因子化モデルに対する重要な特徴的相互作用を自動的に識別することができる。
AutoFISはHuawei App Storeレコメンデーションサービスのトレーニングプラットフォームにデプロイされている。
- 参考スコア（独自算出の注目度）: 75.16836697734995
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning feature interactions is crucial for click-through rate (CTR)
prediction in recommender systems. In most existing deep learning models,
feature interactions are either manually designed or simply enumerated.
However, enumerating all feature interactions brings large memory and
computation cost. Even worse, useless interactions may introduce noise and
complicate the training process. In this work, we propose a two-stage algorithm
called Automatic Feature Interaction Selection (AutoFIS). AutoFIS can
automatically identify important feature interactions for factorization models
with computational cost just equivalent to training the target model to
convergence. In the \emph{search stage}, instead of searching over a discrete
set of candidate feature interactions, we relax the choices to be continuous by
introducing the architecture parameters. By implementing a regularized
optimizer over the architecture parameters, the model can automatically
identify and remove the redundant feature interactions during the training
process of the model. In the \emph{re-train stage}, we keep the architecture
parameters serving as an attention unit to further boost the performance.
Offline experiments on three large-scale datasets (two public benchmarks, one
private) demonstrate that AutoFIS can significantly improve various FM based
models. AutoFIS has been deployed onto the training platform of Huawei App
Store recommendation service, where a 10-day online A/B test demonstrated that
AutoFIS improved the DeepFM model by 20.3\% and 20.1\% in terms of CTR and CVR
respectively.
- Abstract（参考訳）: 推薦システムのクリックスルーレート(CTR)予測には,特徴的相互作用の学習が不可欠である。
多くの既存のディープラーニングモデルでは、機能相互作用は手動で設計されるか、単に列挙される。
しかし、全ての機能相互作用を列挙すると、メモリと計算コストが大きくなります。
さらに悪いことに、無駄なインタラクションはノイズをもたらし、トレーニングプロセスを複雑にします。
本研究では,自動特徴相互作用選択(AutoFIS)と呼ばれる2段階のアルゴリズムを提案する。
autofisは、ターゲットモデルをコンバージェンスにトレーニングすることと同等の計算コストで、ファクタライゼーションモデルの重要な機能インタラクションを自動的に識別する。
emph{search stage} では、個々の特徴的相互作用を探索する代わりに、アーキテクチャパラメータを導入することで連続的な選択を緩和する。
アーキテクチャパラメータに正規化オプティマイザを実装することで、モデルのトレーニングプロセス中に冗長な機能インタラクションを自動的に識別し、削除することができる。
emph{re-train stage}では、アーキテクチャパラメータを注意ユニットとして保持し、パフォーマンスをさらに向上させます。
3つの大規模データセット(公開ベンチマーク2つ、プライベート1つ)のオフライン実験では、autofisがさまざまなfmベースのモデルを大幅に改善できることが示されている。
AutoFISはHuawei App Storeレコメンデーションサービスのトレーニングプラットフォームにデプロイされており、10日間のオンラインA/Bテストでは、AutoFISがそれぞれCTRとCVRでDeepFMモデルを20.3\%、20.1\%改善することを実証している。
関連論文リスト
- Wolf2Pack: The AutoFusion Framework for Dynamic Parameter Fusion [4.164728134421114]
我々は,事前学習されたチェックポイントを使わずに,マルチタスク学習のための異なるモデルパラメータを融合するフレームワークであるAutoFusionを紹介する。
我々は、よく使われるベンチマークデータセットの実験を通してAutoFusionの有効性を検証する。
私たちのフレームワークは、モデル統合のためのスケーラブルで柔軟なソリューションを提供し、将来の研究および実用的なアプリケーションのための強力なツールとして位置づけています。
論文 参考訳（メタデータ） (2024-10-08T07:21:24Z) - ToolACE: Winning the Points of LLM Function Calling [139.07157814653638]
ToolACEは、正確で複雑で多様なツール学習データを生成するように設計された自動エージェントパイプラインである。
我々は、合成データに基づいてトレーニングされたモデルが、8Bパラメータだけで、バークレー・ファンクション・カリング・リーダーボード上で最先端のパフォーマンスを達成することを実証した。
論文 参考訳（メタデータ） (2024-09-02T03:19:56Z) - AutoXPCR: Automated Multi-Objective Model Selection for Time Series
Forecasting [1.0515439489916734]
本稿では,自動的かつ説明可能な多目的モデル選択のための新しい手法であるAutoXPCRを提案する。
我々の手法はメタラーニングを利用して、(P)予測誤差、(C)ミスプレキシティ、(R)ソース要求を含むPCR基準に沿ったモデルの性能を推定する。
我々の手法は、他のモデル選択手法よりも明らかに優れている。平均すると、最高の品質の90%のモデルに推奨する計算コストの20%しか必要としない。
論文 参考訳（メタデータ） (2023-12-20T14:04:57Z) - Trajeglish: Traffic Modeling as Next-Token Prediction [67.28197954427638]
自動運転開発における長年の課題は、記録された運転ログからシードされた動的運転シナリオをシミュレートすることだ。
車両、歩行者、サイクリストが運転シナリオでどのように相互作用するかをモデル化するために、離散シーケンスモデリングのツールを適用します。
我々のモデルはSim Agents Benchmarkを上回り、リアリズムメタメトリックの先行作業の3.3%、インタラクションメトリックの9.9%を上回ります。
論文 参考訳（メタデータ） (2023-12-07T18:53:27Z) - Memorize, Factorize, or be Na\"ive: Learning Optimal Feature Interaction
Methods for CTR Prediction [29.343267933348372]
本稿では,各機能間相互作用に最も適したモデリング手法を求めるOPtInterというフレームワークを提案する。
実験の結果,OptInterは最先端のベースライン深部CTRモデルを最大2.21%改善することがわかった。
論文 参考訳（メタデータ） (2021-08-03T03:03:34Z) - AutoDis: Automatic Discretization for Embedding Numerical Features in
CTR Prediction [45.69943728028556]
高度な機能相互作用の学習は、レコメンデータシステムにおけるClick-Through Rate(CTR)予測に不可欠である。
様々な深いCTRモデルは、埋め込みとフィーチャーインタラクションのパラダイムに従います。
数値フィールドの特徴を自動的に識別し、エンドツーエンドでCTRモデルに最適化するフレームワークであるAutoDisを提案します。
論文 参考訳（メタデータ） (2020-12-16T14:31:31Z) - Towards Automated Neural Interaction Discovery for Click-Through Rate
Prediction [64.03526633651218]
CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最も重要な機械学習タスクの1つである。
本稿では,AutoCTR と呼ばれる CTR 予測のための自動インタラクションアーキテクチャ探索フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-29T04:33:01Z) - Auto-PyTorch Tabular: Multi-Fidelity MetaLearning for Efficient and
Robust AutoDL [53.40030379661183]
Auto-PyTorchは、完全に自動化されたディープラーニング(AutoDL)を実現するフレームワーク
ディープニューラルネットワーク(DNN)のウォームスタートとアンサンブルのためのマルチフィデリティ最適化とポートフォリオ構築を組み合わせる。
Auto-PyTorchは、いくつかの最先端の競合製品よりもパフォーマンスが良いことを示す。
論文 参考訳（メタデータ） (2020-06-24T15:15:17Z) - ARDA: Automatic Relational Data Augmentation for Machine Learning [23.570173866941612]
本稿では,データセットとデータレポジトリを入力とし,拡張データセットを出力するエンド・ツー・エンドシステムを提案する。
本システムは,(1)入力の様々な属性に基づいて,入力データとデータを検索し結合するフレームワークと,(2)入力データからノイズや不適切な特徴を抽出する効率的な特徴選択アルゴリズムの2つの特徴を有する。
論文 参考訳（メタデータ） (2020-03-21T21:55:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。