論文の概要: LeAP: Learnable Adaptive Permutation for Feature Selection in Heterogeneous and Sparse Recommender Systems

• arxiv url: http://arxiv.org/abs/2606.01111v2
• Date: Tue, 02 Jun 2026 08:56:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 10:57:21.686178
• Title: LeAP: Learnable Adaptive Permutation for Feature Selection in Heterogeneous and Sparse Recommender Systems
• Title（参考訳）: LeAP:不均一・スパースレコメンダシステムにおける特徴選択のための学習可能な適応型置換法
• Authors: Yihong Huang, Chen Chu, Fei Chen, Yu Lin, Ruiduan Li, Zhihao Li,
• Abstract要約: 機能選択のためのモデルに依存しないプラグインモジュールであるLeAPを提案する。 LeAPは非効率なランダムな置換過程を学習可能なメカニズムに変換する。 LeAPは、毎日10億件以上のリクエストがある大規模産業検索ランキングモデルにデプロイされている。
• 参考スコア（独自算出の注目度）: 12.022295608812307
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern industrial recommender systems rely on thousands of heterogeneous features -- ranging from low-dimensional scalars (e.g., statistical value) to high-dimensional embeddings (e.g., user-id embeddings, MLP representations) -- to achieve high-precision predictions. Given the immense computational costs associated with training, efficient feature selection is critical. However, existing methods encounter three primary bottlenecks: (1) they typically assume uniform feature dimensions or require costly mapping to a fixed size; (2) they struggle with extreme sparsity, where the majority of features (e.g., 99%+) remain at default values; and (3) traditional permutation-based approaches are computationally prohibitive in large-scale settings. To address these challenges, we propose LeAP (Learnable Adaptive Permutation), a novel, model-agnostic plug-in module for feature selection. LeAP transforms the inefficient random permutation process into a learnable mechanism, significantly accelerating the evaluation of feature importance. In addition, we introduce an adaptive regularization strategy tailored for heterogeneous dimensions and extreme sparsity, enabling superior feature importance ranking results across asymmetric input spaces. Experiments on four public recommendation datasets demonstrate that LeAP achieves state-of-the-art performance. Furthermore, LeAP has been deployed in a large-scale industrial search ranking model with over a billion daily requests and a 2TB model parameter scale. In this real-world scenario involving 12,000+ total feature dimensions, LeAP successfully identified and removed over 3,600 redundant dimensions without performance degradation, which is 2 to 10 times the ability of compared baseline methods.
• Abstract（参考訳）: 現代の産業レコメンデータシステムは、低次元スカラー(例えば統計値)から高次元埋め込み(例えば、ユーザID埋め込み、MLP表現)まで、何千もの異種特徴に依存して、高精度な予測を実現している。 訓練に伴う膨大な計算コストを考えると、効率的な特徴選択が重要である。 しかし、既存の手法では、(1)一様の特徴次元を仮定するか、あるいは固定サイズにコストがかかること、(2)機能の大部分(例:99%+)がデフォルト値のままであるような極端な間隔に苦しむこと、(3)従来の置換に基づくアプローチが大規模設定では計算的に禁止されていること、の3つの主要なボトルネックに直面している。 これらの課題に対処するために,機能選択のための新しいモデルに依存しないプラグインモジュールであるLeAP(Learnable Adaptive Permutation)を提案する。 LeAPは非効率なランダムな置換過程を学習可能なメカニズムに変換し、特徴量の評価を著しく加速させる。 さらに,不均一次元と極端空間に適した適応正規化戦略を導入し,非対称な入力空間にまたがる特徴重要度ランキング結果に優れることを示す。 4つのパブリックレコメンデーションデータセットの実験は、LeAPが最先端のパフォーマンスを達成することを示す。 さらに、LeAPは10億以上の日次要求と2TBモデルパラメータスケールを持つ大規模産業検索ランキングモデルにデプロイされている。 12,000以上の特徴次元を含む実世界のシナリオでは、LeAPは性能劣化のない3,600以上の冗長な次元を識別し、取り除いた。

関連論文リスト

• ShuffleGate: An Efficient and Self-Polarizing Feature Selection Method for Large-Scale Deep Models in Industry [12.690406065558394]
  ShuffleGateはインスタンス間ですべての機能を同時にシャッフルする。 モデルを再トレーニングすることなく、適切に分離された重要なスコアを生成し、パフォーマンスを見積もることができます。 様々なシナリオで、Bilibiliの検索モデルの日々のイテレーションにうまく統合されています。
  論文  参考訳（メタデータ） (2025-03-12T12:05:03Z)
• Enhancing Unsupervised Feature Selection via Double Sparsity Constrained Optimization [6.342485512772862]
  教師なし単一特徴選択(UFS)は機械学習やパターン認識に広く応用されている。 既存の手法のほとんどはスパーシリティしか考慮していないため、サブセットを選択し、元のサブセットと区別することは困難である。 本稿では,DSCOFSと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-01T05:05:46Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Tuning Pre-trained Model via Moment Probing [62.445281364055795]
  本稿では,LP の可能性を探るため,新しい Moment Probing (MP) 法を提案する。 MPは、最終特徴の平均に基づいて線形分類ヘッドを実行する。 当社のMPはLPを著しく上回り、トレーニングコストの低い相手と競争しています。
  論文  参考訳（メタデータ） (2023-07-21T04:15:02Z)
• Fine-Tuning Language Models with Just Forward Passes [92.04219196752007]
  微調整言語モデル(LM)は、様々な下流タスクで成功したが、LMのサイズが大きくなるにつれて、バックプロパゲーションは大量のメモリを必要とする。 本稿では,メモリ効率の高いゼロソーダ(MeZO)を提案する。
  論文  参考訳（メタデータ） (2023-05-27T02:28:10Z)
• Continuous Input Embedding Size Search For Recommender Systems [60.89189829112067]
  連続入力埋め込みサイズ探索(CIESS)は、任意の埋め込みサイズを選択可能な連続探索空間上で動作する新しいRLベースの手法である。 CIESSはモデルに依存しないため、様々な潜在因子RSに一般化できる。 2つの実世界のデータセットに関する実験では、異なるメモリ予算の下でCIESSの最先端のパフォーマンスが示されている。
  論文  参考訳（メタデータ） (2023-04-07T06:46:37Z)
• Robust Multi-class Feature Selection via $l_{2,0}$-Norm Regularization Minimization [6.41804410246642]
  特徴選択は、データマイニングと機械学習において重要な計算処理である。 本稿では,複数クラスの特徴選択における最小二乗問題の解法として,ホモシーハードしきい値(HIHT)に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-08T02:06:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。