論文の概要: Learning Federated Representations and Recommendations with Limited Negatives

• arxiv url: http://arxiv.org/abs/2108.07931v1
• Date: Wed, 18 Aug 2021 02:01:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-19 14:26:50.411832
• Title: Learning Federated Representations and Recommendations with Limited Negatives
• Title（参考訳）: 限定的否定によるフェデレーションと勧告の学習
• Authors: Lin Ning, Karan Singhal, Ellie X. Zhou, Sushant Prakash
• Abstract要約: フェデレートされたディープ検索モデルは、通常、クライアント上の非IID(独立かつ同一の分散)トレーニングデータのために、集中型のディープ検索モデルよりもはるかにパフォーマンスが悪くなります。 我々は,フェデレートされた映画レコメンデーションにおいて,非IID負の問題を緩和する手段として,バッチ非感受性の損失を提案する。
• 参考スコア（独自算出の注目度）: 1.433758865948252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep retrieval models are widely used for learning entity representations and recommendations. Federated learning provides a privacy-preserving way to train these models without requiring centralization of user data. However, federated deep retrieval models usually perform much worse than their centralized counterparts due to non-IID (independent and identically distributed) training data on clients, an intrinsic property of federated learning that limits negatives available for training. We demonstrate that this issue is distinct from the commonly studied client drift problem. This work proposes batch-insensitive losses as a way to alleviate the non-IID negatives issue for federated movie recommendation. We explore a variety of techniques and identify that batch-insensitive losses can effectively improve the performance of federated deep retrieval models, increasing the relative recall of the federated model by up to 93.15% and reducing the relative gap in recall between it and a centralized model from 27.22% - 43.14% to 0.53% - 2.42%. We open-source our code framework to accelerate further research and applications of federated deep retrieval models.
• Abstract（参考訳）: ディープ検索モデルは、エンティティ表現とレコメンデーションの学習に広く利用されている。 フェデレーション学習は、ユーザデータの集中化を必要とせずに、これらのモデルをトレーニングするためのプライバシ保護方法を提供する。 しかしながら、連合深層検索モデルは、通常、非iid(独立かつ同一分散)なクライアントのトレーニングデータ、つまりトレーニングに利用可能な負数を制限する連合学習の本質的特性によって、集中型検索モデルよりもずっと悪い結果をもたらす。 この問題は、一般的に研究されているクライアントドリフト問題とは異なっている。 本研究は,フェデレート映画推薦における非iid否定問題を軽減する方法として,バッチ非感受性ロスを提案する。 本研究では,重畳型深層検索モデルの性能を効果的に向上させ,重畳型モデルのリコール率を最大93.15%向上させ,リコールと集中型モデルとの相対的ギャップを27.22%から43.14%から0.53%から2.42%に削減できることを示す。 我々は、フェデレートされたディープ検索モデルのさらなる研究と応用を促進するために、コードフレームワークをオープンソース化した。

関連論文リスト

• Blockchain-enabled Trustworthy Federated Unlearning [50.01101423318312]
  フェデレートアンラーニング(Federated Unlearning)は、分散クライアントのデータオーナシップを保護するための、有望なパラダイムである。 既存の作業では、分散クライアントからの履歴モデルパラメータを保持するために、中央サーバが必要である。 本稿では,ブロックチェーンによる信頼性の高いフェデレーションアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-29T07:04:48Z)
• Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
  対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。 我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。 各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:15Z)
• Federated Pruning: Improving Neural Network Efficiency with Federated Learning [24.36174705715827]
  フェデレーテッド・プルーニング(Federated Pruning)は、フェデレーテッド・セッティングの下で縮小モデルのトレーニングを行う。 異なる刈り取り方式を探索し,提案手法の有効性の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2022-09-14T00:48:37Z)
• Federated Learning of Neural ODE Models with Different Iteration Counts [0.9444784653236158]
  フェデレーテッド・ラーニング(Federated Learning)とは、クライアントが自身のデータをローカルにトレーニングしてサーバにアップロードする分散機械学習アプローチである。 本稿では,ニューラルネットワークをベースとしたモデルを用いてフェデレート学習を行う。 我々は,CIFAR-10データセットを用いたベースラインResNetモデルと比較して,通信サイズを最大92.4%削減できることを示す。
  論文  参考訳（メタデータ） (2022-08-19T17:57:32Z)
• FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for Non-IID Data in Federated Learning [4.02923738318937]
  異なるエッジデバイス(クライアント)にまたがるローカルデータの不均一な分散は、フェデレート学習における遅いモデルトレーニングと精度の低下をもたらす。 この研究は、実世界のデータセット、すなわちクラスタスキューで発生する新しい非IID型を導入している。 我々は,各クライアントのインパクト要因を適応的に決定するために,深層強化学習を用いた新しいFLモデルであるFedDRLを提案する。
  論文  参考訳（メタデータ） (2022-08-04T04:24:16Z)
• FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated Distillation [54.2658887073461]
  非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。 本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。 FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
  論文  参考訳（メタデータ） (2022-04-30T06:17:36Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Auto-weighted Robust Federated Learning with Corrupted Data Sources [7.475348174281237]
  フェデレーション学習はコミュニケーション効率とプライバシ保護のトレーニングプロセスを提供する。 平均損失関数をナイーブに最小化する標準的なフェデレーション学習技術は、データの破損に弱い。 破損したデータソースに対して堅牢性を提供するために、自動重み付けロバストフェデレーテッドラーニング(arfl)を提案します。
  論文  参考訳（メタデータ） (2021-01-14T21:54:55Z)
• Training Keyword Spotting Models on Non-IID Data with Federated Learning [6.784774147680782]
  そこで本研究では,フェデレート学習を用いて,高品質なキーワードスポッティングモデルをデバイス上でトレーニング可能であることを示す。 デバイス上のデータの適合に関するアルゴリズム上の制約を克服するため、最適化アルゴリズムの徹底的な実験研究を行う。 教師と学生のトレーニングを調査するために、サンプル(デバイス上のデータにゼロ可視性を持たせること)をラベル付けします。
  論文  参考訳（メタデータ） (2020-05-21T00:53:33Z)
• Multi-Center Federated Learning [62.57229809407692]
  本稿では,フェデレート学習のための新しい多中心集約機構を提案する。 非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-03T09:14:31Z)
• Federated Residual Learning [53.77128418049985]
  クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。 この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
  論文  参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。