論文の概要: Sample-Efficient Personalization: Modeling User Parameters as Low Rank Plus Sparse Components

• arxiv url: http://arxiv.org/abs/2210.03505v3
• Date: Wed, 6 Sep 2023 00:35:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 20:06:35.602379
• Title: Sample-Efficient Personalization: Modeling User Parameters as Low Rank Plus Sparse Components
• Title（参考訳）: サンプル効率のよいパーソナライゼーション: ユーザパラメータを低ランク+スパースコンポーネントとしてモデル化する
• Authors: Soumyabrata Pal, Prateek Varshney, Prateek Jain, Abhradeep Guha Thakurta, Gagan Madan, Gaurav Aggarwal, Pradeep Shenoy and Gaurav Srivastava
• Abstract要約: 個人ユーザ/ドメイン/エンタプライズに対する機械学習(ML)予測のパーソナライズは,実践的なレコメンデーションシステムにおいて重要である。 ネットワーク重みを低ランクおよびスパース成分の和としてモデル化するメタラーニング方式を提案する。 AMHT-LRSは、ほぼ最適なサンプル複雑さで効率よく問題を解く。
• 参考スコア（独自算出の注目度）: 30.32486162748558
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalization of machine learning (ML) predictions for individual users/domains/enterprises is critical for practical recommendation systems. Standard personalization approaches involve learning a user/domain specific embedding that is fed into a fixed global model which can be limiting. On the other hand, personalizing/fine-tuning model itself for each user/domain -- a.k.a meta-learning -- has high storage/infrastructure cost. Moreover, rigorous theoretical studies of scalable personalization approaches have been very limited. To address the above issues, we propose a novel meta-learning style approach that models network weights as a sum of low-rank and sparse components. This captures common information from multiple individuals/users together in the low-rank part while sparse part captures user-specific idiosyncrasies. We then study the framework in the linear setting, where the problem reduces to that of estimating the sum of a rank-$r$ and a $k$-column sparse matrix using a small number of linear measurements. We propose a computationally efficient alternating minimization method with iterative hard thresholding -- AMHT-LRS -- to learn the low-rank and sparse part. Theoretically, for the realizable Gaussian data setting, we show that AMHT-LRS solves the problem efficiently with nearly optimal sample complexity. Finally, a significant challenge in personalization is ensuring privacy of each user's sensitive data. We alleviate this problem by proposing a differentially private variant of our method that also is equipped with strong generalization guarantees.
• Abstract（参考訳）: ユーザ/ドメイン/企業毎の機械学習(ml)予測のパーソナライズは,実用的なレコメンデーションシステムにとって重要である。 標準的なパーソナライズアプローチでは、制限可能な固定されたグローバルモデルに入力されるユーザ/ドメイン固有の埋め込みを学習する。 一方、ユーザ/ドメイン毎のパーソナライズ/ファインチューニングモデル(メタラーニング)は、ストレージ/インフラストラクチャ構造コストが高い。 さらに、スケーラブルなパーソナライゼーションアプローチに関する厳密な理論的研究は非常に限られている。 そこで本稿では,ネットワークの重みを低ランク成分とスパース成分の和としてモデル化するメタラーニング手法を提案する。 これは、複数の個人/ユーザの共通情報を低ランクな部分でキャプチャし、スパース部はユーザ固有の慣用句をキャプチャする。 次に, 線形設定におけるフレームワークについて検討し, 問題は, 少数の線形測定値を用いてランク-$r$ と $k$-カラム-スパース行列の和を推定する問題に還元する。 そこで本研究では,逐次ハードしきい値-amht-lrs-を用いた計算効率の高い交互最小化法を提案する。 理論的には、実現可能なガウス的データ設定に対して、AMHT-LRSがほぼ最適なサンプル複雑性で効率よく問題を解くことを示す。 最後に、パーソナライズにおける重要な課題は、各ユーザの機密データのプライバシを確保することだ。 我々は,強い一般化保証をも備えた微分プライベートな手法を提案することにより,この問題を緩和する。

関連論文リスト

• Improved Diversity-Promoting Collaborative Metric Learning for Recommendation [127.08043409083687]
  CML(Collaborative Metric Learning)は、リコメンデーションシステムにおいて人気のある手法として最近登場した。 本稿では,ユーザが複数のカテゴリの関心を持つ,困難なシナリオに焦点をあてる。 textitDiversity-Promoting Collaborative Metric Learning (DPCML) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T07:44:48Z)
• MAP: Model Aggregation and Personalization in Federated Learning with Incomplete Classes [49.22075916259368]
  一部の実世界のアプリケーションでは、データサンプルは通常、ローカルデバイスに分散される。 本稿では,クライアントが不完全なクラスを所有する特別なI.I.D.シーンに焦点を当てる。 提案するMAPアルゴリズムは,FLにおけるアグリゲーションとパーソナライゼーションの目標を同時に達成できる。
  論文  参考訳（メタデータ） (2024-04-14T12:22:42Z)
• Distributed Personalized Empirical Risk Minimization [19.087524494290676]
  本稿では、異種データからの学習を容易にするために、新たなパラダイムであるPersonalized Empirical Risk Minimization(PERM)を提案する。 本稿では,標準モデル平均化をモデルシャッフルに置き換えた分散アルゴリズムを提案し,すべてのデバイスに対してPERM目標を同時に最適化する。
  論文  参考訳（メタデータ） (2023-10-26T20:07:33Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• The Minority Matters: A Diversity-Promoting Collaborative Metric Learning Algorithm [154.47590401735323]
  CML(Collaborative Metric Learning)は、リコメンデーションシステムにおいて人気のある手法として最近登場した。 本稿では,ユーザが複数のカテゴリの関心を持つ,困難なシナリオに焦点をあてる。 textitDiversity-Promoting Collaborative Metric Learning (DPCML) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-30T08:02:18Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Learning by Minimizing the Sum of Ranked Range [58.24935359348289]
  本稿では,学習目標を定式化するための一般的なアプローチとして,ランキング範囲(SoRR)の和を紹介した。 ランク付き範囲は、実数の集合のソートされた値の連続的なシーケンスである。 我々は,SoRRフレームワークの最小化のための機械学習における2つの応用,すなわち,バイナリ分類のためのAoRR集約損失とマルチラベル/マルチクラス分類のためのTKML個人損失について検討する。
  論文  参考訳（メタデータ） (2020-10-05T01:58:32Z)
• Personalized Federated Learning: A Meta-Learning Approach [28.281166755509886]
  フェデレートラーニング(Federated Learning)では、複数のコンピューティングユニット(ユーザ)にまたがるモデルをトレーニングすることを目的としています。 本稿では,現在あるいは新規利用者が自身のデータに対して1段階ないし数段階の勾配降下を実行することで,ローカルデータセットに容易に適応できるような,初歩的な共有モデルを見つけることを目標とする,フェデレーション学習のパーソナライズされたバリエーションについて検討する。
  論文  参考訳（メタデータ） (2020-02-19T01:08:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。