論文の概要: On-device Content-based Recommendation with Single-shot Embedding Pruning: A Cooperative Game Perspective

• arxiv url: http://arxiv.org/abs/2411.13052v1
• Date: Wed, 20 Nov 2024 05:56:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:12:41.248026
• Title: On-device Content-based Recommendation with Single-shot Embedding Pruning: A Cooperative Game Perspective
• Title（参考訳）: シングルショット埋め込みプルーニングによるオンデバイスコンテンツベース勧告:協調ゲームの視点から
• Authors: Hung Vinh Tran, Tong Chen, Guanhua Ye, Quoc Viet Hung Nguyen, Kai Zheng, Hongzhi Yin,
• Abstract要約: コンテンツベースのレコメンダシステム(CRS)は、eコマース、オンライン広告、パーソナライズされたレコメンデーションにおいて、ユーザーエクスペリエンスを形成する上で重要な役割を果たす。 膨大な数のカテゴリ的特徴のため、CRSモデルで使用される埋め込みテーブルは、現実のデプロイメントにおいて重要なストレージボトルネックを生じさせる。 この問題に対する回答として,共有価値誘導型埋め込み還元(Shaver)を提案する。
• 参考スコア（独自算出の注目度）: 42.720697290401546
• License:
• Abstract: Content-based Recommender Systems (CRSs) play a crucial role in shaping user experiences in e-commerce, online advertising, and personalized recommendations. However, due to the vast amount of categorical features, the embedding tables used in CRS models pose a significant storage bottleneck for real-world deployment, especially on resource-constrained devices. To address this problem, various embedding pruning methods have been proposed, but most existing ones require expensive retraining steps for each target parameter budget, leading to enormous computation costs. In reality, this computation cost is a major hurdle in real-world applications with diverse storage requirements, such as federated learning and streaming settings. In this paper, we propose Shapley Value-guided Embedding Reduction (Shaver) as our response. With Shaver, we view the problem from a cooperative game perspective, and quantify each embedding parameter's contribution with Shapley values to facilitate contribution-based parameter pruning. To address the inherently high computation costs of Shapley values, we propose an efficient and unbiased method to estimate Shapley values of a CRS's embedding parameters. Moreover, in the pruning stage, we put forward a field-aware codebook to mitigate the information loss in the traditional zero-out treatment. Through extensive experiments on three real-world datasets, Shaver has demonstrated competitive performance with lightweight recommendation models across various parameter budgets. The source code is available at https://anonymous.4open.science/r/shaver-E808
• Abstract（参考訳）: コンテンツベースのレコメンダシステム(CRS)は、eコマース、オンライン広告、パーソナライズされたレコメンデーションにおいて、ユーザーエクスペリエンスを形成する上で重要な役割を果たす。 しかしながら,CRSモデルで使用される埋め込みテーブルは,大量のカテゴリ的特徴から,特にリソース制約のあるデバイスにおいて,現実のデプロイメントにおいて重要なストレージボトルネックを生じさせる。 この問題に対処するために, 様々な埋込みプルーニング手法が提案されているが, 既存のほとんどのプルーニング手法では, 目標パラメータの予算ごとに高価な再学習手順が必要であり, 膨大な計算コストがかかる。 実際、この計算コストは、フェデレーション学習やストリーミング設定など、さまざまなストレージ要件を持つ現実世界のアプリケーションにおいて、大きなハードルとなります。 本稿では,Shapley Value-guided Embedding Reduction (Shaver) を提案する。 Shaverでは、協調ゲームの観点から問題を考察し、各埋め込みパラメータのShapley値への寄与を定量化し、コントリビューションベースのパラメータのプルーニングを容易にする。 CRSの埋め込みパラメータのShapley値を推定するために,Shapley値の計算コストを本質的に高めるために,効率的で偏りのない手法を提案する。 さらに,刈り取り段階では,従来のゼロアウト処理における情報損失を軽減するために,フィールド対応のコードブックを作成した。 3つの実世界のデータセットに関する広範な実験を通じて、Shaverは、さまざまなパラメータ予算にわたる軽量レコメンデーションモデルと競合するパフォーマンスを実証した。 ソースコードはhttps://anonymous.4open.science/r/shaver-E808で公開されている。

関連論文リスト

• Combining Open-box Simulation and Importance Sampling for Tuning Large-Scale Recommenders [5.4579107313203545]
  我々は、キーパフォーマンス指標(KPI)に影響を与える複数の連続パラメータを持つ大規模広告プラットフォームをチューニングすることの課題に対処する。 オープンボックスのモンテカルロシミュレータのような従来の手法は正確ではあるが、多数のパラメータ設定を評価するコストが高いため、計算コストが高い。 オープンボックスシミュレーションと重要サンプリングを組み合わせたSGIS(Simulator-Guided Smpling)のハイブリッド手法を提案する。
  論文  参考訳（メタデータ） (2024-09-23T20:35:47Z)
• A Primal-Dual Online Learning Approach for Dynamic Pricing of Sequentially Displayed Complementary Items under Sale Constraints [54.46126953873298]
  顧客に対して順次表示される補完アイテムの動的価格設定の問題に対処する。 各項目の価格を個別に最適化するのは効果がないため、補完項目のコヒーレントな価格ポリシーが不可欠である。 実世界のデータからランダムに生成した合成設定を用いて,我々のアプローチを実証的に評価し,制約違反や後悔の観点からその性能を比較した。
  論文  参考訳（メタデータ） (2024-07-08T09:55:31Z)
• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• ColA: Collaborative Adaptation with Gradient Learning [33.493103874633675]
  グラディエントラーニング(GL)を用いた協調適応(ColA)を導入する。 ColAはパラメータフリーでモデルに依存しない微調整アプローチであり、勾配パラメータと隠れ表現の計算を分離する。 各種ベンチマークにおいて既存のPEFT法と比較して,ColAが同等以上の性能を発揮することを実験的に実証した。
  論文  参考訳（メタデータ） (2024-04-22T02:52:54Z)
• Low-Rank Online Dynamic Assortment with Dual Contextual Information [12.373566593905792]
  我々は、この問題を管理可能なスケールに変換するために、新しい低ランクダイナミックアソシエーションモデルを導入する。 そこで本研究では,固有部分空間を推定する効率的なアルゴリズムを提案し,オンライン意思決定における探索・探索のトレードオフに対処するために,高信頼境界アプローチを利用する。
  論文  参考訳（メタデータ） (2024-04-19T23:10:12Z)
• Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey [18.00772798876708]
  PEFT(Efficient Fine-Tuning)は、様々な下流タスクに対して大きなモデルを効率的に調整することで、実用的なソリューションを提供する。 PEFTは、訓練済みの大規模モデルのパラメータを特定のタスクやドメインに適応させるプロセスを指す。 本稿では,様々なPEFTアルゴリズムの総合的な研究を行い,その性能と計算オーバーヘッドについて検討する。
  論文  参考訳（メタデータ） (2024-03-21T17:55:50Z)
• Fast Approximation of the Shapley Values Based on Order-of-Addition Experimental Designs [11.684428415506968]
  $d$-player 連立ゲームでは、Shapley の値を計算するには$d!$ または $2d$ の限界貢献値が必要である。 一般的な治療法は、置換の完全なリストを補うために、置換のランダムなサンプルを取ることである。 我々はシェープリー値のより正確な推定を行うために、高度なサンプリングスキームを設計できることを見出した。
  論文  参考訳（メタデータ） (2023-09-16T08:28:15Z)
• Shapley-NAS: Discovering Operation Contribution for Neural Architecture Search [96.20505710087392]
  ニューラルアーキテクチャ探索のための演算寄与度(Shapley-NAS)を評価するためのShapley値に基づく手法を提案する。 提案手法は,光探索コストに比例して最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-20T14:41:49Z)
• Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
  実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。 提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
  論文  参考訳（メタデータ） (2021-01-17T04:55:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。