Fugu-MT 論文翻訳(概要): Federated Neural Compression Under Heterogeneous Data

論文の概要: Federated Neural Compression Under Heterogeneous Data

arxiv url: http://arxiv.org/abs/2305.16416v1
Date: Thu, 25 May 2023 18:32:41 GMT
ステータス: 処理完了
システム内更新日: 2023-05-29 18:36:39.911860
Title: Federated Neural Compression Under Heterogeneous Data
Title（参考訳）: 不均質データによるフェデレーションニューラル圧縮
Authors: Eric Lei, Hamed Hassani, Shirin Saeedi Bidokhti
Abstract要約: 本稿では,両特性を包含する分散ソースモデルを提案するとともに,クライアントが共有する解析および合成変換を用いた圧縮機アーキテクチャを提案する。パーソナライズされたフェデレーション学習手法にインスパイアされ、各クライアントにパーソナライズされたエントロピーモデルを採用する。これにより、グローバルな潜伏空間がクライアント間で学習され、クライアントの潜伏分布に適応するパーソナライズされたエントロピーモデルが可能になる。
参考スコア（独自算出の注目度）: 25.59334941818991
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We discuss a federated learned compression problem, where the goal is to learn a compressor from real-world data which is scattered across clients and may be statistically heterogeneous, yet share a common underlying representation. We propose a distributed source model that encompasses both characteristics, and naturally suggests a compressor architecture that uses analysis and synthesis transforms shared by clients. Inspired by personalized federated learning methods, we employ an entropy model that is personalized to each client. This allows for a global latent space to be learned across clients, and personalized entropy models that adapt to the clients' latent distributions. We show empirically that this strategy outperforms solely local methods, which indicates that learned compression also benefits from a shared global representation in statistically heterogeneous federated settings.
Abstract（参考訳）: そこで我々は,クライアント間で分散し,統計的に異種でありながら共通の表現を共有する実世界データから圧縮機を学習することを目的とした,連合学習型圧縮問題について議論する。両特性を包含する分散ソースモデルを提案し,クライアントが共有する解析および合成変換を用いた圧縮機アーキテクチャを提案する。パーソナライズされたフェデレーション学習手法にインスパイアされ、各クライアントにパーソナライズされたエントロピーモデルを採用する。これにより、グローバルな潜在性空間をクライアント間で学び、クライアントの潜在性分布に適応するパーソナライズされたエントロピーモデルが可能になる。本研究では,この手法が局所的手法よりも優れていることを実証的に示し,統計的に不均一なフェデレーション設定において,学習された圧縮が共有グローバル表現の恩恵を受けることを示す。

関連論文リスト

Personalized Federated Knowledge Graph Embedding with Client-Wise Relation Graph [49.66272783945571]
クライアント関係グラフを用いた個人化フェデレーション知識グラフを提案する。 PFedEGは、近隣のクライアントから埋め込まれたエンティティを集約することで、各クライアントに対してパーソナライズされた補完知識を学習する。我々は4つのベンチマークデータセットの広範な実験を行い、その手法を最先端モデルに対して評価する。
論文参考訳（メタデータ） (2024-06-17T17:44:53Z)
Personalized Federated Learning via Sequential Layer Expansion in Representation Learning [0.0]
フェデレーション学習は、個々のクライアントデバイス上で分散トレーニングを行い、中央サーバでモデルウェイトのみを共有することによって、クライアントのプライバシを保証する。本稿では,ディープラーニングモデル全体をより密に分割した部分に分割し,適切なスケジューリング手法を適用した表現学習に基づく新しいアプローチを提案する。
論文参考訳（メタデータ） (2024-04-27T06:37:19Z)
FedP3: Federated Personalized and Privacy-friendly Network Pruning under Model Heterogeneity [82.5448598805968]
我々は、フェデレートされたパーソナライズされたプライバシフレンドリーなネットワークプルーニングを表現する、効果的で適応可能なフェデレーションフレームワークであるFedP3を提案する。我々は、FedP3とその局所微分プライベート変種DP-FedP3の理論解釈を提供し、それらの効率を理論的に検証する。
論文参考訳（メタデータ） (2024-04-15T14:14:05Z)
Heterogeneous Federated Learning via Personalized Generative Networks [7.629157720712401]
フェデレートラーニング(FL)は、データを共有することなく、複数のクライアントが共通のグローバル機械学習モデルを構築することを可能にする。本稿では,サーバがクライアント固有のジェネレータを訓練するクライアント間の知識伝達手法を提案する。
論文参考訳（メタデータ） (2023-08-25T09:37:02Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文参考訳（メタデータ） (2022-06-05T01:14:46Z)
FRAug: Tackling Federated Learning with Non-IID Features via Representation Augmentation [31.12851987342467]
Federated Learning(FL)は、複数のクライアントが協調してディープラーニングモデルをトレーニングする分散学習パラダイムである。本稿では,FRAug(Federated Representation Augmentation)を提案する。当社のアプローチでは,通常は小さなクライアントデータセットを増大させるために,埋め込み空間にクライアント固有の合成サンプルを生成する。
論文参考訳（メタデータ） (2022-05-30T07:43:42Z)
Personalized Federated Learning through Local Memorization [10.925242558525683]
フェデレーション学習により、クライアントはデータをローカルに保ちながら、統計的モデルを協調的に学習することができる。最近のパーソナライズされた学習方法は、他のクライアントで利用可能な知識を活用しながら、各クライアントに対して別々のモデルを訓練する。本稿では,この手法が最先端手法よりも精度と公平性を著しく向上することを示す。
論文参考訳（メタデータ） (2021-11-17T19:40:07Z)
QuPeD: Quantized Personalization via Distillation with Applications to Federated Learning [8.420943739336067]
統合学習(FL)は、複数のクライアントとサーバを協調的に使用しながら、単一のグローバルモデルをトレーニングすることを目的としている。本稿では,集合的(個人化されたモデル圧縮)訓練を容易にする,テキスト化およびテキスト化FLアルゴリズムQuPeDを提案する。数値的には、QuPeDは、さまざまな異種環境におけるクライアントの個人化FLメソッド、FedAvg、およびローカルトレーニングよりも優れていた。
論文参考訳（メタデータ） (2021-07-29T10:55:45Z)
Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文参考訳（メタデータ） (2020-12-20T14:34:36Z)
Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文参考訳（メタデータ） (2020-12-15T19:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。