論文の概要: Private and Efficient Meta-Learning with Low Rank and Sparse
Decomposition
- arxiv url: http://arxiv.org/abs/2210.03505v1
- Date: Fri, 7 Oct 2022 12:50:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 13:33:33.138272
- Title: Private and Efficient Meta-Learning with Low Rank and Sparse
Decomposition
- Title(参考訳): 低ランクとスパース分解を伴うプライベートで効率的なメタラーニング
- Authors: Soumyabrata Pal, Prateek Varshney, Prateek Jain, Abhradeep Guha
Thakurta, Gagan Madan, Gaurav Aggarwal, Pradeep Shenoy and Gaurav Srivastava
- Abstract要約: 本稿では,大量のデータ検索タスクの処理を可能にする新しいメタ学習フレームワークを提案する。
我々のフレームワークは低ランクおよびスパース行列の和としてネットワーク重みをモデル化する。
このフレームワークは、パーソナライズされたモデルに対して、データスカース方式で優れた性能が得られることを示す。
- 参考スコア(独自算出の注目度): 22.112459622118322
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Meta-learning is critical for a variety of practical ML systems -- like
personalized recommendations systems -- that are required to generalize to new
tasks despite a small number of task-specific training points. Existing
meta-learning techniques use two complementary approaches of either learning a
low-dimensional representation of points for all tasks, or task-specific
fine-tuning of a global model trained using all the tasks. In this work, we
propose a novel meta-learning framework that combines both the techniques to
enable handling of a large number of data-starved tasks. Our framework models
network weights as a sum of low-rank and sparse matrices. This allows us to
capture information from multiple domains together in the low-rank part while
still allowing task specific personalization using the sparse part. We
instantiate and study the framework in the linear setting, where the problem
reduces to that of estimating the sum of a rank-$r$ and a $k$-column sparse
matrix using a small number of linear measurements. We propose an alternating
minimization method with hard thresholding -- AMHT-LRS -- to learn the low-rank
and sparse part effectively and efficiently. For the realizable, Gaussian data
setting, we show that AMHT-LRS indeed solves the problem efficiently with
nearly optimal samples. We extend AMHT-LRS to ensure that it preserves privacy
of each individual user in the dataset, while still ensuring strong
generalization with nearly optimal number of samples. Finally, on multiple
datasets, we demonstrate that the framework allows personalized models to
obtain superior performance in the data-scarce regime.
- Abstract(参考訳): メタラーニングは、いくつかのタスク固有のトレーニングポイントにもかかわらず、新しいタスクに一般化するために必要となる、パーソナライズドレコメンデーションシステムのような、さまざまな実践的なmlシステムにとって重要である。
既存のメタラーニング技術では、すべてのタスクのポイントの低次元表現を学ぶか、すべてのタスクを使ってトレーニングされたグローバルモデルのタスク固有の微調整かの2つの補完的なアプローチを用いる。
本研究では,この2つの手法を組み合わせて,大量のデータ不足タスクの処理を可能にする新しいメタラーニングフレームワークを提案する。
我々のフレームワークは低ランクおよびスパース行列の和としてネットワーク重みをモデル化する。
これにより、低ランクな部分で複数のドメインから情報をまとめてキャプチャできると同時に、スパース部分を使用してタスク固有のパーソナライズも可能です。
我々は、このフレームワークを線形設定でインスタンス化し研究し、そこでは、少数の線形測定値を用いてランク=r$と$k$カラムスパース行列の和を推定する問題に還元する。
本稿では,低ランクかつスパース部分の学習を効果的かつ効率的に行うために,ハードしきい値付きAMHT-LRSの交互最小化手法を提案する。
実現可能なガウス的データ設定については、AMHT-LRSがほぼ最適なサンプルを用いて効率よくこの問題を解決することを示す。
AMHT-LRSを拡張して、データセット内の個々のユーザのプライバシーを維持すると同時に、ほぼ最適なサンプル数で強力な一般化を確保します。
最後に、複数のデータセット上で、パーソナライズされたモデルがデータ収集方式において優れたパフォーマンスを得ることができることを実証する。
関連論文リスト
- Distributed Personalized Empirical Risk Minimization [19.087524494290676]
本稿では、異種データからの学習を容易にするために、新たなパラダイムであるPersonalized Empirical Risk Minimization(PERM)を提案する。
本稿では,標準モデル平均化をモデルシャッフルに置き換えた分散アルゴリズムを提案し,すべてのデバイスに対してPERM目標を同時に最適化する。
論文 参考訳(メタデータ) (2023-10-26T20:07:33Z) - Self-Supervised Dataset Distillation for Transfer Learning [82.09002658558529]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2023-10-10T10:48:52Z) - Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
大規模未ラベルデータから学ぶための2つの戦略を提案する。
第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。
第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
論文 参考訳(メタデータ) (2023-07-26T16:19:19Z) - Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated
Learning [14.196701066823499]
フェデレートラーニング(Federated Learning)では、独立したクライアントノードの集合で計算されたモデル更新を集約することによって、グローバルモデルが学習される。
我々は、個々のクライアントモデルが、他のクライアントのデータに関して破滅的な忘れを経験していることを示します。
本稿では,損失の計算に先立ってソフトマックスのロジットを再重み付けすることで,クロスエントロピーの目標を周期的に修正する効率的な手法を提案する。
論文 参考訳(メタデータ) (2023-04-11T14:51:55Z) - Federated Gradient Matching Pursuit [17.695717854068715]
従来の機械学習技術では、1つのサーバまたはデータハブ上のすべてのトレーニングデータを集中化する必要がある。
特に、FL(Federated Learning)は、ローカルクライアントでトレーニングデータを保持しながら、共有モデルを学習するためのソリューションを提供する。
本稿では,FL設定における分散制約最小化問題を解くために,新しいアルゴリズムフレームワークFedGradMPを提案する。
論文 参考訳(メタデータ) (2023-02-20T16:26:29Z) - The Minority Matters: A Diversity-Promoting Collaborative Metric
Learning Algorithm [154.47590401735323]
CML(Collaborative Metric Learning)は、リコメンデーションシステムにおいて人気のある手法として最近登場した。
本稿では,ユーザが複数のカテゴリの関心を持つ,困難なシナリオに焦点をあてる。
textitDiversity-Promoting Collaborative Metric Learning (DPCML) と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2022-09-30T08:02:18Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳(メタデータ) (2021-02-03T08:36:58Z) - Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。
本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。
ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
論文 参考訳(メタデータ) (2020-12-13T03:41:52Z) - Learning by Minimizing the Sum of Ranked Range [58.24935359348289]
本稿では,学習目標を定式化するための一般的なアプローチとして,ランキング範囲(SoRR)の和を紹介した。
ランク付き範囲は、実数の集合のソートされた値の連続的なシーケンスである。
我々は,SoRRフレームワークの最小化のための機械学習における2つの応用,すなわち,バイナリ分類のためのAoRR集約損失とマルチラベル/マルチクラス分類のためのTKML個人損失について検討する。
論文 参考訳(メタデータ) (2020-10-05T01:58:32Z) - Personalized Federated Learning: A Meta-Learning Approach [28.281166755509886]
フェデレートラーニング(Federated Learning)では、複数のコンピューティングユニット(ユーザ)にまたがるモデルをトレーニングすることを目的としています。
本稿では,現在あるいは新規利用者が自身のデータに対して1段階ないし数段階の勾配降下を実行することで,ローカルデータセットに容易に適応できるような,初歩的な共有モデルを見つけることを目標とする,フェデレーション学習のパーソナライズされたバリエーションについて検討する。
論文 参考訳(メタデータ) (2020-02-19T01:08:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。