論文の概要: i-Razor: A Neural Input Razor for Feature Selection and Dimension Search in Large-Scale Recommender Systems

• arxiv url: http://arxiv.org/abs/2204.00281v1
• Date: Fri, 1 Apr 2022 08:30:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-04 13:49:16.430609
• Title: i-Razor: A Neural Input Razor for Feature Selection and Dimension Search in Large-Scale Recommender Systems
• Title（参考訳）: i-Razor:大規模レコメンダシステムにおける特徴選択と次元探索のためのニューラル入力ラザ
• Authors: Yao Yao, Bin Liu, Haoxun He, Dakui Sheng, Ke Wang, Li Xiao, Huanhuan Cao
• Abstract要約: ノイズのある特徴や不適切な埋め込み次元の割り当ては、レコメンダシステムの性能を損なう可能性がある。 それぞれの特徴の異なる埋め込み領域間の相対的重要性を学習するために、エンド・ツー・エンドの微分モデルを導入する。 CTR(Click-Through-Rate)予測タスクにおける2つの大規模な公開データセットの実験は、i-Razorの有効性と優位性を示している。
• 参考スコア（独自算出の注目度）: 11.655546017122898
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Input features play a crucial role in the predictive performance of DNN-based industrial recommender systems with thousands of categorical and continuous fields from users, items, contexts, and their interactions. Noisy features and inappropriate embedding dimension assignments can impair the performance of recommender systems and introduce unnecessary complexity in model training and online serving. Optimizing the input configuration of DNN models, including feature selection and embedding dimension assignment, has become one of the essential topics in feature engineering. Typically, feature selection and embedding dimension search are optimized sequentially, i.e., feature selection is performed first, followed by embedding dimension search to determine the optimal dimension size for each selected feature. In contrast, this paper studies the joint optimization of feature selection and embedding dimension search. To this end, we propose a differentiable neural \textbf{i}nput \textbf{razor}, namely \textbf{i-Razor}. Specifically, inspired by recent advances in neural architecture search, we introduce an end-to-end differentiable model to learn the relative importance between different embedding regions of each feature. Furthermore, a flexible pruning algorithm is proposed to simultaneously achieve feature filtering and dimension size derivation. Extensive experiments on two large-scale public datasets in the Click-Through-Rate (CTR) prediction task demonstrate the efficacy and superiority of i-Razor in balancing model complexity and performance.
• Abstract（参考訳）: 入力機能は、ユーザ、アイテム、コンテキスト、およびそれらのインタラクションから何千ものカテゴリと継続的フィールドを持つdnnベースの産業レコメンデーションシステムの予測性能において重要な役割を果たす。 ノイズのある特徴や不適切な埋め込み次元の割り当ては、レコメンダシステムのパフォーマンスを損なう可能性があり、モデルトレーニングやオンラインサービスに不要な複雑さをもたらす。 特徴選択や埋め込み次元割り当てを含むDNNモデルの入力構成を最適化することは、特徴工学において重要なトピックの1つとなっている。 通常、特徴選択と埋め込み次元探索は順次に最適化され、まず特徴選択を行い、次に埋め込み次元探索を行い、選択された特徴の最適な次元サイズを決定する。 対照的に,本稿では特徴選択と埋め込み次元探索の協調最適化について検討する。 この目的のために、微分可能なニューラルな \textbf{i}nput \textbf{razor} 、すなわち \textbf{i-Razor} を提案する。 具体的には,ニューラルアーキテクチャ検索の最近の進歩に触発されて,各機能の異なる埋め込み領域間の相対的重要性を学ぶために,エンドツーエンドの微分可能モデルを導入する。 さらに,特徴フィルタリングと次元サイズの導出を同時に行うために,フレキシブルプルーニングアルゴリズムを提案する。 click-through-rate (ctr) 予測タスクにおける2つの大規模パブリックデータセットに関する広範な実験は、モデルの複雑さとパフォーマンスのバランスにおけるi-razorの有効性と優位性を示している。

関連論文リスト

• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Feature Selection as Deep Sequential Generative Learning [50.00973409680637]
  本研究では, 逐次再構成, 変分, 性能評価器の損失を伴って, 深部変分変圧器モデルを構築した。 提案モデルでは,特徴選択の知識を抽出し,連続的な埋め込み空間を学習し,特徴選択決定シーケンスをユーティリティスコアに関連付けられた埋め込みベクトルにマッピングする。
  論文  参考訳（メタデータ） (2024-03-06T16:31:56Z)
• Beyond Discrete Selection: Continuous Embedding Space Optimization for Generative Feature Selection [34.32619834917906]
  我々は、特徴選択問題を深い微分可能な最適化タスクとして再構成する。 本稿では,離散的特徴部分集合を連続的な埋め込み空間として概念化する,新しい原理的な研究視点を提案する。 具体的には、強化特徴選択学習を利用して、多種多様な高品質なトレーニングデータを生成する。
  論文  参考訳（メタデータ） (2023-02-26T03:18:45Z)
• Compactness Score: A Fast Filter Method for Unsupervised Feature Selection [66.84571085643928]
  本稿では,CSUFS (Compactness Score) と呼ばれる高速な教師なし特徴選択手法を提案する。 提案アルゴリズムは既存のアルゴリズムよりも正確で効率的である。
  論文  参考訳（メタデータ） (2022-01-31T13:01:37Z)
• Sparse Centroid-Encoder: A Nonlinear Model for Feature Selection [1.2487990897680423]
  我々はCentro Sparseid-Encoderと呼ばれる非線形データ削減と可視化のためのCentroid-Encoderのスパース実装を開発した。 また、各特徴をその発生によってランク付けする特徴選択フレームワークも提供し、検証セットを用いて最適な特徴数を選択する。 このアルゴリズムは、単細胞生物データ、高次元感染症データ、ハイパースペクトルデータ、画像データ、音声データを含む幅広いデータセットに適用される。
  論文  参考訳（メタデータ） (2022-01-30T20:46:24Z)
• RoMA: Robust Model Adaptation for Offline Model-based Optimization [115.02677045518692]
  入力出力クエリの静的データセットからブラックボックス目的関数を最大化する入力を探索する問題を考える。 この問題を解決するための一般的なアプローチは、真の客観的関数を近似するプロキシモデルを維持することである。 ここでの大きな課題は、検索中に逆最適化された入力を避ける方法である。
  論文  参考訳（メタデータ） (2021-10-27T05:37:12Z)
• Joint Adaptive Graph and Structured Sparsity Regularization for Unsupervised Feature Selection [6.41804410246642]
  本稿では,共同適応グラフと構造付き空間正規化unsupervised feature selection (JASFS)法を提案する。 最適な機能のサブセットがグループで選択され、選択された機能の数が自動的に決定される。 8つのベンチマーク実験の結果,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2020-10-09T08:17:04Z)
• Automated Human Activity Recognition by Colliding Bodies Optimization-based Optimal Feature Selection with Recurrent Neural Network [0.0]
  HAR(Human Activity Recognition)は、センサの読み取りから広範に計算を行う上で、効率的なモデルであると考えられている。 本稿では,UC Irvine Machine Learning Repository(UCI)で公開されているスマートセンサから収集したデータを用いて,ディープラーニングを用いたHARシステムの実装を誘致する。
  論文  参考訳（メタデータ） (2020-10-07T10:58:46Z)
• Differentiable Neural Input Search for Recommender Systems [26.88124270897381]
  Differentiable Neural Input Search (DNIS) は、より柔軟な空間における混合特徴埋め込み次元を探索する手法である。 DNISはモデルに依存しないため、既存の潜在因子モデルとシームレスに統合して推奨することができる。
  論文  参考訳（メタデータ） (2020-06-08T10:43:59Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。