論文の概要: Sample-Efficient Personalization: Modeling User Parameters as Low Rank
Plus Sparse Components
- arxiv url: http://arxiv.org/abs/2210.03505v3
- Date: Wed, 6 Sep 2023 00:35:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 20:06:35.602379
- Title: Sample-Efficient Personalization: Modeling User Parameters as Low Rank
Plus Sparse Components
- Title(参考訳): サンプル効率のよいパーソナライゼーション: ユーザパラメータを低ランク+スパースコンポーネントとしてモデル化する
- Authors: Soumyabrata Pal, Prateek Varshney, Prateek Jain, Abhradeep Guha
Thakurta, Gagan Madan, Gaurav Aggarwal, Pradeep Shenoy and Gaurav Srivastava
- Abstract要約: 個人ユーザ/ドメイン/エンタプライズに対する機械学習(ML)予測のパーソナライズは,実践的なレコメンデーションシステムにおいて重要である。
ネットワーク重みを低ランクおよびスパース成分の和としてモデル化するメタラーニング方式を提案する。
AMHT-LRSは、ほぼ最適なサンプル複雑さで効率よく問題を解く。
- 参考スコア(独自算出の注目度): 30.32486162748558
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personalization of machine learning (ML) predictions for individual
users/domains/enterprises is critical for practical recommendation systems.
Standard personalization approaches involve learning a user/domain specific
embedding that is fed into a fixed global model which can be limiting. On the
other hand, personalizing/fine-tuning model itself for each user/domain --
a.k.a meta-learning -- has high storage/infrastructure cost. Moreover, rigorous
theoretical studies of scalable personalization approaches have been very
limited. To address the above issues, we propose a novel meta-learning style
approach that models network weights as a sum of low-rank and sparse
components. This captures common information from multiple individuals/users
together in the low-rank part while sparse part captures user-specific
idiosyncrasies. We then study the framework in the linear setting, where the
problem reduces to that of estimating the sum of a rank-$r$ and a $k$-column
sparse matrix using a small number of linear measurements. We propose a
computationally efficient alternating minimization method with iterative hard
thresholding -- AMHT-LRS -- to learn the low-rank and sparse part.
Theoretically, for the realizable Gaussian data setting, we show that AMHT-LRS
solves the problem efficiently with nearly optimal sample complexity. Finally,
a significant challenge in personalization is ensuring privacy of each user's
sensitive data. We alleviate this problem by proposing a differentially private
variant of our method that also is equipped with strong generalization
guarantees.
- Abstract(参考訳): ユーザ/ドメイン/企業毎の機械学習(ml)予測のパーソナライズは,実用的なレコメンデーションシステムにとって重要である。
標準的なパーソナライズアプローチでは、制限可能な固定されたグローバルモデルに入力されるユーザ/ドメイン固有の埋め込みを学習する。
一方、ユーザ/ドメイン毎のパーソナライズ/ファインチューニングモデル(メタラーニング)は、ストレージ/インフラストラクチャ構造コストが高い。
さらに、スケーラブルなパーソナライゼーションアプローチに関する厳密な理論的研究は非常に限られている。
そこで本稿では,ネットワークの重みを低ランク成分とスパース成分の和としてモデル化するメタラーニング手法を提案する。
これは、複数の個人/ユーザの共通情報を低ランクな部分でキャプチャし、スパース部はユーザ固有の慣用句をキャプチャする。
次に, 線形設定におけるフレームワークについて検討し, 問題は, 少数の線形測定値を用いてランク-$r$ と $k$-カラム-スパース行列の和を推定する問題に還元する。
そこで本研究では,逐次ハードしきい値-amht-lrs-を用いた計算効率の高い交互最小化法を提案する。
理論的には、実現可能なガウス的データ設定に対して、AMHT-LRSがほぼ最適なサンプル複雑性で効率よく問題を解くことを示す。
最後に、パーソナライズにおける重要な課題は、各ユーザの機密データのプライバシを確保することだ。
我々は,強い一般化保証をも備えた微分プライベートな手法を提案することにより,この問題を緩和する。
関連論文リスト
- Distributed Personalized Empirical Risk Minimization [19.087524494290676]
本稿では、異種データからの学習を容易にするために、新たなパラダイムであるPersonalized Empirical Risk Minimization(PERM)を提案する。
本稿では,標準モデル平均化をモデルシャッフルに置き換えた分散アルゴリズムを提案し,すべてのデバイスに対してPERM目標を同時に最適化する。
論文 参考訳(メタデータ) (2023-10-26T20:07:33Z) - Self-Supervised Dataset Distillation for Transfer Learning [82.09002658558529]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2023-10-10T10:48:52Z) - Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
大規模未ラベルデータから学ぶための2つの戦略を提案する。
第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。
第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
論文 参考訳(メタデータ) (2023-07-26T16:19:19Z) - Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated
Learning [14.196701066823499]
フェデレートラーニング(Federated Learning)では、独立したクライアントノードの集合で計算されたモデル更新を集約することによって、グローバルモデルが学習される。
我々は、個々のクライアントモデルが、他のクライアントのデータに関して破滅的な忘れを経験していることを示します。
本稿では,損失の計算に先立ってソフトマックスのロジットを再重み付けすることで,クロスエントロピーの目標を周期的に修正する効率的な手法を提案する。
論文 参考訳(メタデータ) (2023-04-11T14:51:55Z) - Federated Gradient Matching Pursuit [17.695717854068715]
従来の機械学習技術では、1つのサーバまたはデータハブ上のすべてのトレーニングデータを集中化する必要がある。
特に、FL(Federated Learning)は、ローカルクライアントでトレーニングデータを保持しながら、共有モデルを学習するためのソリューションを提供する。
本稿では,FL設定における分散制約最小化問題を解くために,新しいアルゴリズムフレームワークFedGradMPを提案する。
論文 参考訳(メタデータ) (2023-02-20T16:26:29Z) - The Minority Matters: A Diversity-Promoting Collaborative Metric
Learning Algorithm [154.47590401735323]
CML(Collaborative Metric Learning)は、リコメンデーションシステムにおいて人気のある手法として最近登場した。
本稿では,ユーザが複数のカテゴリの関心を持つ,困難なシナリオに焦点をあてる。
textitDiversity-Promoting Collaborative Metric Learning (DPCML) と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2022-09-30T08:02:18Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳(メタデータ) (2021-02-03T08:36:58Z) - Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。
本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。
ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
論文 参考訳(メタデータ) (2020-12-13T03:41:52Z) - Learning by Minimizing the Sum of Ranked Range [58.24935359348289]
本稿では,学習目標を定式化するための一般的なアプローチとして,ランキング範囲(SoRR)の和を紹介した。
ランク付き範囲は、実数の集合のソートされた値の連続的なシーケンスである。
我々は,SoRRフレームワークの最小化のための機械学習における2つの応用,すなわち,バイナリ分類のためのAoRR集約損失とマルチラベル/マルチクラス分類のためのTKML個人損失について検討する。
論文 参考訳(メタデータ) (2020-10-05T01:58:32Z) - Personalized Federated Learning: A Meta-Learning Approach [28.281166755509886]
フェデレートラーニング(Federated Learning)では、複数のコンピューティングユニット(ユーザ)にまたがるモデルをトレーニングすることを目的としています。
本稿では,現在あるいは新規利用者が自身のデータに対して1段階ないし数段階の勾配降下を実行することで,ローカルデータセットに容易に適応できるような,初歩的な共有モデルを見つけることを目標とする,フェデレーション学習のパーソナライズされたバリエーションについて検討する。
論文 参考訳(メタデータ) (2020-02-19T01:08:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。