論文の概要: On-device Content-based Recommendation with Single-shot Embedding Pruning: A Cooperative Game Perspective

• arxiv url: http://arxiv.org/abs/2411.13052v2
• Date: Sun, 02 Feb 2025 03:25:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 16:05:38.233331
• Title: On-device Content-based Recommendation with Single-shot Embedding Pruning: A Cooperative Game Perspective
• Title（参考訳）: シングルショット埋め込みプルーニングによるオンデバイスコンテンツベース勧告:協調ゲームの視点から
• Authors: Hung Vinh Tran, Tong Chen, Guanhua Ye, Quoc Viet Hung Nguyen, Kai Zheng, Hongzhi Yin,
• Abstract要約: コンテンツベースのレコメンダシステム(CRS)は、eコマース、オンライン広告、パーソナライズされたレコメンデーションにおいて、ユーザーエクスペリエンスを形成する上で重要な役割を果たす。 膨大な数のカテゴリ的特徴のため、CRSモデルで使用される埋め込みテーブルは、現実のデプロイメントにおいて重要なストレージボトルネックを生じさせる。 この問題に対する回答として,共有価値誘導型埋め込み還元(Shaver)を提案する。
• 参考スコア（独自算出の注目度）: 42.720697290401546
• License:
• Abstract: Content-based Recommender Systems (CRSs) play a crucial role in shaping user experiences in e-commerce, online advertising, and personalized recommendations. However, due to the vast amount of categorical features, the embedding tables used in CRS models pose a significant storage bottleneck for real-world deployment, especially on resource-constrained devices. To address this problem, various embedding pruning methods have been proposed, but most existing ones require expensive retraining steps for each target parameter budget, leading to enormous computation costs. In reality, this computation cost is a major hurdle in real-world applications with diverse storage requirements, such as federated learning and streaming settings. In this paper, we propose Shapley Value-guided Embedding Reduction (Shaver) as our response. With Shaver, we view the problem from a cooperative game perspective, and quantify each embedding parameter's contribution with Shapley values to facilitate contribution-based parameter pruning. To address the inherently high computation costs of Shapley values, we propose an efficient and unbiased method to estimate Shapley values of a CRS's embedding parameters. Moreover, in the pruning stage, we put forward a field-aware codebook to mitigate the information loss in the traditional zero-out treatment. Through extensive experiments on three real-world datasets, Shaver has demonstrated competitive performance with lightweight recommendation models across various parameter budgets. The source code is available at https://github.com/chenxing1999/shaver
• Abstract（参考訳）: コンテンツベースのレコメンダシステム(CRS)は、eコマース、オンライン広告、パーソナライズされたレコメンデーションにおいて、ユーザーエクスペリエンスを形成する上で重要な役割を果たす。 しかしながら,CRSモデルで使用される埋め込みテーブルは,大量のカテゴリ的特徴から,特にリソース制約のあるデバイスにおいて,現実のデプロイメントにおいて重要なストレージボトルネックを生じさせる。 この問題に対処するために, 様々な埋込みプルーニング手法が提案されているが, 既存のほとんどのプルーニング手法では, 目標パラメータの予算ごとに高価な再学習手順が必要であり, 膨大な計算コストがかかる。 実際、この計算コストは、フェデレーション学習やストリーミング設定など、さまざまなストレージ要件を持つ現実世界のアプリケーションにおいて、大きなハードルとなります。 本稿では,Shapley Value-guided Embedding Reduction (Shaver) を提案する。 Shaverでは、協調ゲームの観点から問題を考察し、各埋め込みパラメータのShapley値への寄与を定量化し、コントリビューションベースのパラメータのプルーニングを容易にする。 CRSの埋め込みパラメータのShapley値を推定するために,Shapley値の計算コストを本質的に高めるために,効率的で偏りのない手法を提案する。 さらに,刈り取り段階では,従来のゼロアウト処理における情報損失を軽減するために,フィールド対応のコードブックを作成した。 3つの実世界のデータセットに関する広範な実験を通じて、Shaverは、さまざまなパラメータ予算にわたる軽量レコメンデーションモデルと競合するパフォーマンスを実証した。 ソースコードはhttps://github.com/chenxing 1999/shaverで入手できる。

関連論文リスト

• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• Combining Open-box Simulation and Importance Sampling for Tuning Large-Scale Recommenders [5.4579107313203545]
  我々は、キーパフォーマンス指標(KPI)に影響を与える複数の連続パラメータを持つ大規模広告プラットフォームをチューニングすることの課題に対処する。 オープンボックスのモンテカルロシミュレータのような従来の手法は正確ではあるが、多数のパラメータ設定を評価するコストが高いため、計算コストが高い。 オープンボックスシミュレーションと重要サンプリングを組み合わせたSGIS(Simulator-Guided Smpling)のハイブリッド手法を提案する。
  論文  参考訳（メタデータ） (2024-09-23T20:35:47Z)
• Minimax and Communication-Efficient Distributed Best Subset Selection with Oracle Property [0.358439716487063]
  大規模データの爆発はシングルマシンシステムの処理能力を上回っている。 分散推論への伝統的なアプローチは、高次元データセットにおいて真の疎性を達成するのにしばしば苦労する。 そこで本稿では,これらの問題に対処する2段階分散ベストサブセット選択アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-30T13:22:08Z)
• A Primal-Dual Online Learning Approach for Dynamic Pricing of Sequentially Displayed Complementary Items under Sale Constraints [54.46126953873298]
  顧客に対して順次表示される補完アイテムの動的価格設定の問題に対処する。 各項目の価格を個別に最適化するのは効果がないため、補完項目のコヒーレントな価格ポリシーが不可欠である。 実世界のデータからランダムに生成した合成設定を用いて,我々のアプローチを実証的に評価し,制約違反や後悔の観点からその性能を比較した。
  論文  参考訳（メタデータ） (2024-07-08T09:55:31Z)
• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• ColA: Collaborative Adaptation with Gradient Learning [33.493103874633675]
  グラディエントラーニング(GL)を用いた協調適応(ColA)を導入する。 ColAはパラメータフリーでモデルに依存しない微調整アプローチであり、勾配パラメータと隠れ表現の計算を分離する。 各種ベンチマークにおいて既存のPEFT法と比較して,ColAが同等以上の性能を発揮することを実験的に実証した。
  論文  参考訳（メタデータ） (2024-04-22T02:52:54Z)
• Low-Rank Online Dynamic Assortment with Dual Contextual Information [12.373566593905792]
  我々は、この問題を管理可能なスケールに変換するために、新しい低ランクダイナミックアソシエーションモデルを導入する。 そこで本研究では,固有部分空間を推定する効率的なアルゴリズムを提案し,オンライン意思決定における探索・探索のトレードオフに対処するために,高信頼境界アプローチを利用する。
  論文  参考訳（メタデータ） (2024-04-19T23:10:12Z)
• Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey [18.00772798876708]
  PEFT(Efficient Fine-Tuning)は、様々な下流タスクに対して大きなモデルを効率的に調整することで、実用的なソリューションを提供する。 PEFTは、訓練済みの大規模モデルのパラメータを特定のタスクやドメインに適応させるプロセスを指す。 本稿では,様々なPEFTアルゴリズムの総合的な研究を行い,その性能と計算オーバーヘッドについて検討する。
  論文  参考訳（メタデータ） (2024-03-21T17:55:50Z)
• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
  本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• Shapley-NAS: Discovering Operation Contribution for Neural Architecture Search [96.20505710087392]
  ニューラルアーキテクチャ探索のための演算寄与度(Shapley-NAS)を評価するためのShapley値に基づく手法を提案する。 提案手法は,光探索コストに比例して最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-20T14:41:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。