論文の概要: ShuffleGate: An Efficient and Self-Polarizing Feature Selection Method for Large-Scale Deep Models in Industry

• arxiv url: http://arxiv.org/abs/2503.09315v3
• Date: Tue, 18 Mar 2025 05:06:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 10:31:37.222974
• Title: ShuffleGate: An Efficient and Self-Polarizing Feature Selection Method for Large-Scale Deep Models in Industry
• Title（参考訳）: ShuffleGate: 産業における大規模深層モデルのための効率的かつ自己ポリケートな特徴選択手法
• Authors: Yihong Huang, Chen Chu, Fan Zhang, Fei Chen, Yu Lin, Ruiduan Li, Zhihao Li,
• Abstract要約: ShuffleGateはインスタンス間ですべての機能を同時にシャッフルする。 モデルを再トレーニングすることなく、適切に分離された重要なスコアを生成し、パフォーマンスを見積もることができます。 様々なシナリオで、Bilibiliの検索モデルの日々のイテレーションにうまく統合されています。
• 参考スコア（独自算出の注目度）: 12.690406065558394
• License:
• Abstract: Deep models in industrial applications rely on thousands of features for accurate predictions, such as deep recommendation systems. While new features are introduced to capture evolving user behavior, outdated or redundant features often remain, significantly increasing storage and computational costs. To address this issue, feature selection methods are widely adopted to identify and remove less important features. However, existing approaches face two major challenges: (1) they often require complex hyperparameter (Hp) tuning, making them difficult to employ in practice, and (2) they fail to produce well-separated feature importance scores, which complicates straightforward feature removal. Moreover, the impact of removing unimportant features can only be evaluated through retraining the model, a time-consuming and resource-intensive process that severely hinders efficient feature selection. To solve these challenges, we propose a novel feature selection approach, ShuffleGate. In particular, it shuffles all feature values across instances simultaneously and uses a gating mechanism that allows the model to dynamically learn the weights for combining the original and shuffled inputs. Notably, it can generate well-separated feature importance scores and estimate the performance without retraining the model, while introducing only a single Hp. Experiments on four public datasets show that our approach outperforms state-of-the-art methods in feature selection for model retraining. Moreover, it has been successfully integrated into the daily iteration of Bilibili's search models across various scenarios, where it significantly reduces feature set size (up to 60%+) and computational resource usage (up to 20%+), while maintaining comparable performance.
• Abstract（参考訳）: 産業アプリケーションにおけるディープモデルは、ディープレコメンデーションシステムなど、正確な予測のために何千もの機能に依存している。 進化するユーザの振る舞いを捉えるために新しい機能が導入されるが、時代遅れや冗長な機能はしばしば残り、ストレージと計算コストは大幅に増加する。 この問題に対処するため、重要でない特徴を特定し削除するために、機能選択手法が広く採用されている。 しかし、既存のアプローチでは、(1)複雑なハイパーパラメータ(Hp)チューニングを必要とすることが多く、実際は採用が難しいこと、(2)特徴の重要度を適切に分離できないこと、そして、単純な特徴の除去を複雑にすること、の2つの大きな課題に直面している。 さらに、重要でない特徴を除去する影響は、効率的な特徴選択を著しく阻害する時間を要するリソース集約プロセスであるモデルの再トレーニングによってのみ評価できる。 これらの課題を解決するために,新しい特徴選択手法であるShuffleGateを提案する。 特に、インスタンス間で全ての特徴値を同時にシャッフルし、モデルが元の入力とシャッフルされた入力を組み合わせたウェイトを動的に学習することを可能にするゲーティングメカニズムを使用する。 特に、1つのHpしか導入せず、モデルを再トレーニングすることなく、適切に分離された特徴重要スコアを生成し、パフォーマンスを見積もることができる。 4つの公開データセットの実験により、我々の手法はモデル再訓練のための特徴選択において最先端の手法よりも優れていることが示された。 さらに、様々なシナリオでBilibiliの検索モデルの日々のイテレーションに統合され、機能セットのサイズ(60%以上)と計算リソース使用量(20%以上)を大幅に削減し、同等のパフォーマンスを維持している。

関連論文リスト

• Large-scale Multi-objective Feature Selection: A Multi-phase Search Space Shrinking Approach [0.27624021966289597]
  特徴の選択は、特に高次元データセットにおいて、機械学習において重要なステップである。 本稿では,LMSSSと呼ばれる探索空間の縮小に基づく大規模多目的進化アルゴリズムを提案する。 提案アルゴリズムの有効性は、15の大規模データセットに対する包括的実験によって実証される。
  論文  参考訳（メタデータ） (2024-10-13T23:06:10Z)
• Test-Time Adaptation for Combating Missing Modalities in Egocentric Videos [92.38662956154256]
  現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。 再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。 MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
  論文  参考訳（メタデータ） (2024-04-23T16:01:33Z)
• REFRESH: Responsible and Efficient Feature Reselection Guided by SHAP Values [17.489279048199304]
  REFRESHは、いくつかの新しいモデルをトレーニングすることなく、モデルパフォーマンスに望ましい追加の制約を達成できるように、機能を再選択する手法である。 REFRESHの基盤となるアルゴリズムは、SHAP値と相関解析を用いて、モデルをトレーニングすることなくモデルの予測を近似できる新しい手法である。
  論文  参考訳（メタデータ） (2024-03-13T18:06:43Z)
• Causal Feature Selection via Transfer Entropy [59.999594949050596]
  因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。 本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。 精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
  論文  参考訳（メタデータ） (2023-10-17T08:04:45Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Value function estimation using conditional diffusion models for control [62.27184818047923]
  拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。 拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。 本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
  論文  参考訳（メタデータ） (2023-06-09T18:40:55Z)
• FAStEN: An Efficient Adaptive Method for Feature Selection and Estimation in High-Dimensional Functional Regressions [7.674715791336311]
  本稿では,スパース関数オン・ファンクション回帰問題において特徴選択を行うための,新しい,柔軟な,超効率的なアプローチを提案する。 我々はそれをスカラー・オン・ファンクション・フレームワークに拡張する方法を示す。 AOMIC PIOP1による脳MRIデータへの応用について述べる。
  論文  参考訳（メタデータ） (2023-03-26T19:41:17Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Compactness Score: A Fast Filter Method for Unsupervised Feature Selection [66.84571085643928]
  本稿では,CSUFS (Compactness Score) と呼ばれる高速な教師なし特徴選択手法を提案する。 提案アルゴリズムは既存のアルゴリズムよりも正確で効率的である。
  論文  参考訳（メタデータ） (2022-01-31T13:01:37Z)
• Model-agnostic and Scalable Counterfactual Explanations via Reinforcement Learning [0.5729426778193398]
  本稿では,最適化手順をエンドツーエンドの学習プロセスに変換する深層強化学習手法を提案する。 実世界のデータを用いた実験により,本手法はモデルに依存しず,モデル予測からのフィードバックのみに依存することがわかった。
  論文  参考訳（メタデータ） (2021-06-04T16:54:36Z)
• Feature Selection for Huge Data via Minipatch Learning [0.0]
  安定ミニパッチ選択(STAMPS)と適応STAMPSを提案する。 STAMPSは、データの観測と特徴の両方の小さな(適応性の高い)ランダムなサブセットに基づいて訓練された基本特徴セレクタの選択イベントのアンサンブルを構築するメタアルゴリズムである。 われわれのアプローチは一般的であり、様々な機能選択戦略や機械学習技術に応用できる。
  論文  参考訳（メタデータ） (2020-10-16T17:41:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。