論文の概要: More Generalized and Personalized Unsupervised Representation Learning In A Distributed System

• arxiv url: http://arxiv.org/abs/2211.06470v1
• Date: Fri, 11 Nov 2022 20:14:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 19:35:56.013786
• Title: More Generalized and Personalized Unsupervised Representation Learning In A Distributed System
• Title（参考訳）: 分散システムにおけるより一般化し、パーソナライズされた非教師なし表現学習
• Authors: Yuewei Yang, Jingwei Sun, Ang Li, Hai Li, Yiran Chen
• Abstract要約: フェデレートラーニングは、複数のクライアントが、ローカルクライアント間のプライバシー侵害を引き起こすことなく、グローバルモデルを集合的に学習することを可能にする。 本稿では,ローカルなスタイル情報をローカルなコンテンツ情報に注入することで,より一般化されたグローバルモデルを学ぶための新しい手法であるFedStyleを提案する。 我々は,FedStyleが一般化ベースライン法とパーソナライズベースライン法の両方を,スタイリゼーションされた分散化環境でより優れていることを示す。
• 参考スコア（独自算出の注目度）: 43.96799484565592
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discriminative unsupervised learning methods such as contrastive learning have demonstrated the ability to learn generalized visual representations on centralized data. It is nonetheless challenging to adapt such methods to a distributed system with unlabeled, private, and heterogeneous client data due to user styles and preferences. Federated learning enables multiple clients to collectively learn a global model without provoking any privacy breach between local clients. On the other hand, another direction of federated learning studies personalized methods to address the local heterogeneity. However, work on solving both generalization and personalization without labels in a decentralized setting remains unfamiliar. In this work, we propose a novel method, FedStyle, to learn a more generalized global model by infusing local style information with local content information for contrastive learning, and to learn more personalized local models by inducing local style information for downstream tasks. The style information is extracted by contrasting original local data with strongly augmented local data (Sobel filtered images). Through extensive experiments with linear evaluations in both IID and non-IID settings, we demonstrate that FedStyle outperforms both the generalization baseline methods and personalization baseline methods in a stylized decentralized setting. Through comprehensive ablations, we demonstrate our design of style infusion and stylized personalization improve performance significantly.
• Abstract（参考訳）: コントラスト学習のような差別的非教師付き学習手法は、集中データ上で一般化された視覚表現を学習する能力を示した。 それにもかかわらず、ユーザスタイルや好みのため、ラベルなし、プライベート、異種なクライアントデータを持つ分散システムにそのような方法を適用するのは困難である。 フェデレートラーニングは、複数のクライアントが、ローカルクライアント間のプライバシー侵害を引き起こすことなく、グローバルモデルを集合的に学習することを可能にする。 一方,フェデレーション学習の別の方向性は,局所的不均一性に対処する手法をパーソナライズするものである。 しかし、分散環境でラベルを使わずに一般化とパーソナライズの両方を解決する作業は不慣れである。 本研究では,ローカルスタイル情報とローカルコンテンツ情報とを融合してより一般化したグローバルモデルを学ぶfeedstyleを提案し,下流タスクにローカルスタイル情報を誘導することでパーソナライズされたローカルモデルを学ぶ。 オリジナルローカルデータと強増したローカルデータ(ソーベルフィルタ画像)とを対比してスタイル情報を抽出する。 iid設定と非iid設定の両方における線形評価による広範囲な実験を通じて、feedstyleが一般化ベースライン法とパーソナライズベースライン法の両方を上回っていることを実証する。 包括的アブレーションにより,スタイル・インフュージョンとスタイライゼーション・パーソナライゼーションの設計により,性能が著しく向上することを示す。

関連論文リスト

• Personalized Federated Learning for Cross-view Geo-localization [49.40531019551957]
  本稿では,フェデレート・ラーニング (FL) とクロスビュー・イメージ・ジオローカライゼーション (CVGL) 技術を組み合わせた方法論を提案する。 提案手法では, クライアントが粗い特徴抽出器のみを共有しながら, 局所環境に特有のきめ細かな特徴を保持する, 粗い特徴抽出器を実装している。 その結果,フェデレートCVGL法は,データプライバシを維持しつつ,集中的なトレーニングに近い性能を実現することができた。
  論文  参考訳（メタデータ） (2024-11-07T13:25:52Z)
• Personalized Federated Learning via Feature Distribution Adaptation [3.410799378893257]
  Federated Learning(FL)は、分散クライアントデータセット間の共通性を利用してグローバルモデルをトレーニングする分散学習フレームワークである。 パーソナライズド・フェデレーション・ラーニング(PFL)は、各クライアントに適した個々のモデルを学習することで、この問題に対処しようとしている。 我々は,グローバルな生成型分類器を局所的な特徴分布に適応させることで,パーソナライズされたモデルを効率的に生成するアルゴリズム,pFedFDAを提案する。
  論文  参考訳（メタデータ） (2024-11-01T03:03:52Z)
• Proximity-based Self-Federated Learning [1.0066310107046081]
  本稿では,近接型自己フェデレーション学習という,新しい完全分散型フェデレーション学習戦略を提案する。 従来のアルゴリズムとは異なり、我々の手法は、地理的近接とモデル精度に基づいて、クライアントが近隣ノードとモデルを共有し、調整することを奨励する。
  論文  参考訳（メタデータ） (2024-07-17T08:44:45Z)
• Personalization Improves Privacy-Accuracy Tradeoffs in Federated Optimization [57.98426940386627]
  局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。 合成および実世界のデータセットに関する実験により理論的結果について述べる。
  論文  参考訳（メタデータ） (2022-02-10T20:44:44Z)
• Personalized Federated Learning through Local Memorization [10.925242558525683]
  フェデレーション学習により、クライアントはデータをローカルに保ちながら、統計的モデルを協調的に学習することができる。 最近のパーソナライズされた学習方法は、他のクライアントで利用可能な知識を活用しながら、各クライアントに対して別々のモデルを訓練する。 本稿では,この手法が最先端手法よりも精度と公平性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-11-17T19:40:07Z)
• Decentralised Person Re-Identification with Selective Knowledge Aggregation [56.40855978874077]
  既存の人物再識別(Re-ID)手法は、主に、モデル学習のためのコレクションにすべてのトレーニングデータを共有する集中型学習パラダイムに従っている。 グローバルに一般化されたモデル(サーバ)を構築するための分散(フェデレーション)Re-ID学習を導入した最近の2つの作品がある。 しかし、これらの手法は、個々のクライアントドメインのRe-IDタスクのパフォーマンスを最大化するために一般化されたモデルを適用する方法に乏しい。 我々は、モデルパーソナライゼーションと一般化のトレードオフを最適化するために、分散化されたRe-IDに対して、新しい選択的知識集約アプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-21T18:09:53Z)
• Adapt to Adaptation: Learning Personalization for Cross-Silo Federated Learning [6.0088002781256185]
  従来のフェデレーション学習は、分散データによるクライアントのフェデレーションのためのグローバルモデルをトレーニングすることを目的としている。 非IIDデータセット間の分散シフトは、データヘテロジニティとしても知られ、この1つのグローバルモデルに適合するソリューションにしばしば挑戦する。 我々は、各クライアントが他のクライアントのモデルからどれだけの恩恵を受けることができるかを適応的に学習するパーソナライズされたクロスサイロFLフレームワークであるAPPLEを提案する。
  論文  参考訳（メタデータ） (2021-10-15T22:23:14Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Specialized federated learning using a mixture of experts [0.6974741712647655]
  連合学習では、クライアントは分散化されたローカルクライアントデータに基づいてトレーニングされたグローバルモデルを共有する。 フェデレートされた設定で各クライアントのパーソナライズされたモデルを学習するための代替手法を提案する。 以上の結果から,これらの設定におけるデバイスに対するパーソナライズされたモデルとして,エキスパートモデルの混合が適していることが明らかとなった。
  論文  参考訳（メタデータ） (2020-10-05T14:43:57Z)
• Decentralised Learning from Independent Multi-Domain Labels for Person Re-Identification [69.29602103582782]
  ディープラーニングは多くのコンピュータビジョンタスクで成功している。 しかし、プライバシー問題に対する意識の高まりは、特に人物の再識別(Re-ID)において、ディープラーニングに新たな課題をもたらす。 我々は,複数のプライバシ保護されたローカルモデル(ローカルクライアント)を同時に学習することにより,汎用的なグローバルモデル(中央サーバ)を構築するための,フェデレート・パーソナライゼーション(FedReID)と呼ばれる新しいパラダイムを提案する。 このクライアントサーバ共同学習プロセスは、プライバシコントロールの下で反復的に実行されるため、分散データを共有したり、収集したりすることなく、分散学習を実現することができる。
  論文  参考訳（メタデータ） (2020-06-07T13:32:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。