論文の概要: i-Razor: A Differentiable Neural Input Razor for Feature Selection and Dimension Search in DNN-Based Recommender Systems

• arxiv url: http://arxiv.org/abs/2204.00281v2
• Date: Sun, 12 Nov 2023 02:05:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 23:05:00.856047
• Title: i-Razor: A Differentiable Neural Input Razor for Feature Selection and Dimension Search in DNN-Based Recommender Systems
• Title（参考訳）: i-Razor:DNNベースのレコメンダシステムにおける特徴選択と次元探索のための微分可能なニューラル入力ラザ
• Authors: Yao Yao, Bin Liu, Haoxun He, Dakui Sheng, Ke Wang, Li Xiao, and Huanhuan Cao
• Abstract要約: ノイズの特徴と不適切な埋め込み次元割り当てはレコメンダシステムの性能を低下させる可能性がある。 本稿では,特徴選択と次元探索を共同で最適化するニューラルインプット・レイザー (i-Razor) を提案する。
• 参考スコア（独自算出の注目度）: 8.992480061695138
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Input features play a crucial role in DNN-based recommender systems with thousands of categorical and continuous fields from users, items, contexts, and interactions. Noisy features and inappropriate embedding dimension assignments can deteriorate the performance of recommender systems and introduce unnecessary complexity in model training and online serving. Optimizing the input configuration of DNN models, including feature selection and embedding dimension assignment, has become one of the essential topics in feature engineering. However, in existing industrial practices, feature selection and dimension search are optimized sequentially, i.e., feature selection is performed first, followed by dimension search to determine the optimal dimension size for each selected feature. Such a sequential optimization mechanism increases training costs and risks generating suboptimal input configurations. To address this problem, we propose a differentiable neural input razor (i-Razor) that enables joint optimization of feature selection and dimension search. Concretely, we introduce an end-to-end differentiable model to learn the relative importance of different embedding regions of each feature. Furthermore, a flexible pruning algorithm is proposed to achieve feature filtering and dimension derivation simultaneously. Extensive experiments on two large-scale public datasets in the Click-Through-Rate (CTR) prediction task demonstrate the efficacy and superiority of i-Razor in balancing model complexity and performance.
• Abstract（参考訳）: 入力機能は、ユーザ、アイテム、コンテキスト、インタラクションから数千のカテゴリおよび連続フィールドを持つDNNベースのレコメンデータシステムにおいて重要な役割を果たす。 ノイズのある特徴や不適切な埋め込み次元の割り当ては、レコメンダシステムの性能を悪化させ、モデルトレーニングやオンラインサービスに不要な複雑さをもたらす可能性がある。 特徴選択や埋め込み次元割り当てを含むDNNモデルの入力構成を最適化することは、特徴工学において重要なトピックの1つとなっている。 しかし,既存の産業では,特徴選択と次元探索を順次最適化し,まず特徴選択を行い,次に寸法探索を行い,各特徴に対して最適な寸法サイズを決定する。 このようなシーケンシャルな最適化メカニズムは、トレーニングコストと、最適以下の入力構成を生成するリスクを増加させる。 この問題に対処するために,特徴選択と次元探索を共同で最適化するニューラルインプット・レイザー (i-Razor) を提案する。 具体的には、各特徴の異なる埋め込み領域の相対的重要性を学習するために、エンドツーエンドの微分モデルを導入する。 さらに,特徴フィルタリングと次元導出を同時に行うために,フレキシブルプルーニングアルゴリズムを提案する。 click-through-rate (ctr) 予測タスクにおける2つの大規模パブリックデータセットに関する広範な実験は、モデルの複雑さとパフォーマンスのバランスにおけるi-razorの有効性と優位性を示している。

関連論文リスト

• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Feature Selection as Deep Sequential Generative Learning [50.00973409680637]
  本研究では, 逐次再構成, 変分, 性能評価器の損失を伴って, 深部変分変圧器モデルを構築した。 提案モデルでは,特徴選択の知識を抽出し,連続的な埋め込み空間を学習し,特徴選択決定シーケンスをユーティリティスコアに関連付けられた埋め込みベクトルにマッピングする。
  論文  参考訳（メタデータ） (2024-03-06T16:31:56Z)
• Beyond Discrete Selection: Continuous Embedding Space Optimization for Generative Feature Selection [34.32619834917906]
  我々は、特徴選択問題を深い微分可能な最適化タスクとして再構成する。 本稿では,離散的特徴部分集合を連続的な埋め込み空間として概念化する,新しい原理的な研究視点を提案する。 具体的には、強化特徴選択学習を利用して、多種多様な高品質なトレーニングデータを生成する。
  論文  参考訳（メタデータ） (2023-02-26T03:18:45Z)
• Compactness Score: A Fast Filter Method for Unsupervised Feature Selection [66.84571085643928]
  本稿では,CSUFS (Compactness Score) と呼ばれる高速な教師なし特徴選択手法を提案する。 提案アルゴリズムは既存のアルゴリズムよりも正確で効率的である。
  論文  参考訳（メタデータ） (2022-01-31T13:01:37Z)
• Sparse Centroid-Encoder: A Nonlinear Model for Feature Selection [1.2487990897680423]
  我々はCentro Sparseid-Encoderと呼ばれる非線形データ削減と可視化のためのCentroid-Encoderのスパース実装を開発した。 また、各特徴をその発生によってランク付けする特徴選択フレームワークも提供し、検証セットを用いて最適な特徴数を選択する。 このアルゴリズムは、単細胞生物データ、高次元感染症データ、ハイパースペクトルデータ、画像データ、音声データを含む幅広いデータセットに適用される。
  論文  参考訳（メタデータ） (2022-01-30T20:46:24Z)
• RoMA: Robust Model Adaptation for Offline Model-based Optimization [115.02677045518692]
  入力出力クエリの静的データセットからブラックボックス目的関数を最大化する入力を探索する問題を考える。 この問題を解決するための一般的なアプローチは、真の客観的関数を近似するプロキシモデルを維持することである。 ここでの大きな課題は、検索中に逆最適化された入力を避ける方法である。
  論文  参考訳（メタデータ） (2021-10-27T05:37:12Z)
• Joint Adaptive Graph and Structured Sparsity Regularization for Unsupervised Feature Selection [6.41804410246642]
  本稿では,共同適応グラフと構造付き空間正規化unsupervised feature selection (JASFS)法を提案する。 最適な機能のサブセットがグループで選択され、選択された機能の数が自動的に決定される。 8つのベンチマーク実験の結果,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2020-10-09T08:17:04Z)
• Automated Human Activity Recognition by Colliding Bodies Optimization-based Optimal Feature Selection with Recurrent Neural Network [0.0]
  HAR(Human Activity Recognition)は、センサの読み取りから広範に計算を行う上で、効率的なモデルであると考えられている。 本稿では,UC Irvine Machine Learning Repository(UCI)で公開されているスマートセンサから収集したデータを用いて,ディープラーニングを用いたHARシステムの実装を誘致する。
  論文  参考訳（メタデータ） (2020-10-07T10:58:46Z)
• Differentiable Neural Input Search for Recommender Systems [26.88124270897381]
  Differentiable Neural Input Search (DNIS) は、より柔軟な空間における混合特徴埋め込み次元を探索する手法である。 DNISはモデルに依存しないため、既存の潜在因子モデルとシームレスに統合して推奨することができる。
  論文  参考訳（メタデータ） (2020-06-08T10:43:59Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。