論文の概要: Private and Efficient Meta-Learning with Low Rank and Sparse
Decomposition
- arxiv url: http://arxiv.org/abs/2210.03505v1
- Date: Fri, 7 Oct 2022 12:50:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 13:33:33.138272
- Title: Private and Efficient Meta-Learning with Low Rank and Sparse
Decomposition
- Title（参考訳）: 低ランクとスパース分解を伴うプライベートで効率的なメタラーニング
- Authors: Soumyabrata Pal, Prateek Varshney, Prateek Jain, Abhradeep Guha
Thakurta, Gagan Madan, Gaurav Aggarwal, Pradeep Shenoy and Gaurav Srivastava
- Abstract要約: 本稿では,大量のデータ検索タスクの処理を可能にする新しいメタ学習フレームワークを提案する。
我々のフレームワークは低ランクおよびスパース行列の和としてネットワーク重みをモデル化する。
このフレームワークは、パーソナライズされたモデルに対して、データスカース方式で優れた性能が得られることを示す。
- 参考スコア（独自算出の注目度）: 22.112459622118322
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Meta-learning is critical for a variety of practical ML systems -- like
personalized recommendations systems -- that are required to generalize to new
tasks despite a small number of task-specific training points. Existing
meta-learning techniques use two complementary approaches of either learning a
low-dimensional representation of points for all tasks, or task-specific
fine-tuning of a global model trained using all the tasks. In this work, we
propose a novel meta-learning framework that combines both the techniques to
enable handling of a large number of data-starved tasks. Our framework models
network weights as a sum of low-rank and sparse matrices. This allows us to
capture information from multiple domains together in the low-rank part while
still allowing task specific personalization using the sparse part. We
instantiate and study the framework in the linear setting, where the problem
reduces to that of estimating the sum of a rank-$r$ and a $k$-column sparse
matrix using a small number of linear measurements. We propose an alternating
minimization method with hard thresholding -- AMHT-LRS -- to learn the low-rank
and sparse part effectively and efficiently. For the realizable, Gaussian data
setting, we show that AMHT-LRS indeed solves the problem efficiently with
nearly optimal samples. We extend AMHT-LRS to ensure that it preserves privacy
of each individual user in the dataset, while still ensuring strong
generalization with nearly optimal number of samples. Finally, on multiple
datasets, we demonstrate that the framework allows personalized models to
obtain superior performance in the data-scarce regime.
- Abstract（参考訳）: メタラーニングは、いくつかのタスク固有のトレーニングポイントにもかかわらず、新しいタスクに一般化するために必要となる、パーソナライズドレコメンデーションシステムのような、さまざまな実践的なmlシステムにとって重要である。
既存のメタラーニング技術では、すべてのタスクのポイントの低次元表現を学ぶか、すべてのタスクを使ってトレーニングされたグローバルモデルのタスク固有の微調整かの2つの補完的なアプローチを用いる。
本研究では,この2つの手法を組み合わせて,大量のデータ不足タスクの処理を可能にする新しいメタラーニングフレームワークを提案する。
我々のフレームワークは低ランクおよびスパース行列の和としてネットワーク重みをモデル化する。
これにより、低ランクな部分で複数のドメインから情報をまとめてキャプチャできると同時に、スパース部分を使用してタスク固有のパーソナライズも可能です。
我々は、このフレームワークを線形設定でインスタンス化し研究し、そこでは、少数の線形測定値を用いてランク=r$と$k$カラムスパース行列の和を推定する問題に還元する。
本稿では,低ランクかつスパース部分の学習を効果的かつ効率的に行うために,ハードしきい値付きAMHT-LRSの交互最小化手法を提案する。
実現可能なガウス的データ設定については、AMHT-LRSがほぼ最適なサンプルを用いて効率よくこの問題を解決することを示す。
AMHT-LRSを拡張して、データセット内の個々のユーザのプライバシーを維持すると同時に、ほぼ最適なサンプル数で強力な一般化を確保します。
最後に、複数のデータセット上で、パーソナライズされたモデルがデータ収集方式において優れたパフォーマンスを得ることができることを実証する。
関連論文リスト
- Improved Diversity-Promoting Collaborative Metric Learning for Recommendation [127.08043409083687]
CML(Collaborative Metric Learning)は、リコメンデーションシステムにおいて人気のある手法として最近登場した。
本稿では,ユーザが複数のカテゴリの関心を持つ,困難なシナリオに焦点をあてる。
textitDiversity-Promoting Collaborative Metric Learning (DPCML) と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2024-09-02T07:44:48Z) - MAP: Model Aggregation and Personalization in Federated Learning with Incomplete Classes [49.22075916259368]
一部の実世界のアプリケーションでは、データサンプルは通常、ローカルデバイスに分散される。
本稿では,クライアントが不完全なクラスを所有する特別なI.I.D.シーンに焦点を当てる。
提案するMAPアルゴリズムは,FLにおけるアグリゲーションとパーソナライゼーションの目標を同時に達成できる。
論文 参考訳（メタデータ） (2024-04-14T12:22:42Z) - Distributed Personalized Empirical Risk Minimization [19.087524494290676]
本稿では、異種データからの学習を容易にするために、新たなパラダイムであるPersonalized Empirical Risk Minimization(PERM)を提案する。
本稿では,標準モデル平均化をモデルシャッフルに置き換えた分散アルゴリズムを提案し,すべてのデバイスに対してPERM目標を同時に最適化する。
論文 参考訳（メタデータ） (2023-10-26T20:07:33Z) - Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文 参考訳（メタデータ） (2023-10-10T10:48:52Z) - The Minority Matters: A Diversity-Promoting Collaborative Metric
Learning Algorithm [154.47590401735323]
CML(Collaborative Metric Learning)は、リコメンデーションシステムにおいて人気のある手法として最近登場した。
本稿では,ユーザが複数のカテゴリの関心を持つ,困難なシナリオに焦点をあてる。
textitDiversity-Promoting Collaborative Metric Learning (DPCML) と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2022-09-30T08:02:18Z) - Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。
本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。
ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
論文 参考訳（メタデータ） (2020-12-13T03:41:52Z) - Learning by Minimizing the Sum of Ranked Range [58.24935359348289]
本稿では,学習目標を定式化するための一般的なアプローチとして,ランキング範囲(SoRR)の和を紹介した。
ランク付き範囲は、実数の集合のソートされた値の連続的なシーケンスである。
我々は,SoRRフレームワークの最小化のための機械学習における2つの応用,すなわち,バイナリ分類のためのAoRR集約損失とマルチラベル/マルチクラス分類のためのTKML個人損失について検討する。
論文 参考訳（メタデータ） (2020-10-05T01:58:32Z) - Personalized Federated Learning: A Meta-Learning Approach [28.281166755509886]
フェデレートラーニング(Federated Learning)では、複数のコンピューティングユニット(ユーザ)にまたがるモデルをトレーニングすることを目的としています。
本稿では,現在あるいは新規利用者が自身のデータに対して1段階ないし数段階の勾配降下を実行することで,ローカルデータセットに容易に適応できるような,初歩的な共有モデルを見つけることを目標とする,フェデレーション学習のパーソナライズされたバリエーションについて検討する。
論文 参考訳（メタデータ） (2020-02-19T01:08:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。