論文の概要: Communication-Efficient Personalized Federated Learning via Layer-Wise Multi-Threshold Random Sketching

• arxiv url: http://arxiv.org/abs/2609.04830v1
• Date: Fri, 04 Sep 2026 07:35:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.962208
• Title: Communication-Efficient Personalized Federated Learning via Layer-Wise Multi-Threshold Random Sketching
• Title（参考訳）: レイヤワイズ多要素ランダムスケッチによるコミュニケーション効率の良い個人化フェデレーション学習
• Abstract要約: レイヤワイドマルチスレッドランダムスケッチによる通信効率のよいPFLフレームワークを提案する。 提案手法は,コンパクトな低ビットスケッチを用いた双方向通信を支援する。
• 参考スコア（独自算出の注目度）: 34.93819801026827
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Personalized federated learning (PFL) is a promising paradigm for collaborative learning over distributed devices, where edge nodes collaboratively train personalized models without sharing raw data. Although PFL addresses data heterogeneity by learning client-specific models, it still suffers from substantial uplink and downlink communication costs when exchanging high-dimensional parameters in bandwidth-constrained systems. Recent one-bit methods achieve extreme compression, but they usually rely on a single thresholding rule applied to the whole model. This design has two limitations. First, it overlooks layer-wise differences in parameter distributions and quantization sensitivities. Second, a single threshold provides only coarse binary information and cannot capture fine-grained variations in parameter distributions. To address these issues, we propose a communication-efficient PFL framework via layer-wise multi-threshold random sketching. In the proposed method, each layer is assigned its own set of quantization thresholds, so that the compressed representation can adapt to layer-specific statistics while using multiple intervals to provide a finer low-bit description of sketched parameters. The proposed method supports bidirectional communication using compact low-bit sketches and improves the communication-accuracy tradeoff compared with existing one-bit compression approaches.
• Abstract（参考訳）: パーソナライズド・フェデレーション・ラーニング(PFL)は、エッジノードが生データを共有せずにパーソナライズされたモデルを協調訓練する分散デバイス上での協調学習のための、有望なパラダイムである。 PFLは、クライアント固有のモデルを学習することで、データの均一性に対処するが、帯域幅制約のあるシステムで高次元パラメータを交換する場合、かなりのアップリンクとダウンリンク通信コストに悩まされる。 最近の1ビット法は極端な圧縮を実現するが、通常はモデル全体に適用される1つのしきい値規則に依存している。 このデザインには2つの制限がある。 第一に、パラメータ分布と量子化感度の層間差を見落としている。 第二に、単一のしきい値が粗いバイナリ情報のみを提供し、パラメータ分布のきめ細かいばらつきを捉えることができない。 これらの問題に対処するために,レイヤワイドマルチスレッドランダムスケッチによる通信効率のよいPFLフレームワークを提案する。 提案手法では, 各層に独自の量子化しきい値が割り当てられ, 圧縮された表現は, 複数間隔を使用しながら層固有の統計に適応し, スケッチされたパラメータのより詳細な低ビット記述を提供する。 提案手法は,コンパクトな低ビットスケッチを用いた双方向通信をサポートし,既存の1ビット圧縮手法と比較して通信精度のトレードオフを改善する。

関連論文リスト

• Gradient Projection onto Historical Descent Directions for Communication-Efficient Federated Learning [0.8220217498103312]
  フェデレートラーニング(FL)は、データのプライバシを保持しながら、複数のクライアントにわたる分散モデルトレーニングを可能にする。 本稿では、非バイアス圧縮機用に設計されたProjFLと、エラーフィードバック機構によるバイアス圧縮機のためのProjFL+EFの2つのアルゴリズムを紹介する。
  論文  参考訳（メタデータ） (2025-11-05T13:11:30Z)
• FedPURIN: Programmed Update and Reduced INformation for Sparse Personalized Federated Learning [25.55616766154517]
  プログラム更新と還元情報を用いたフェデレーション学習(FedPURIN)を提案する。 FedPURINは整数プログラミングの定式化を通じて送信する重要なパラメータを戦略的に識別する。 スパースアグリゲーション・スキームに統合され、有効性を保ちながら通信の大幅な削減を実現する。
  論文  参考訳（メタデータ） (2025-10-17T03:54:43Z)
• Communication-Efficient Personalized Federal Graph Learning via Low-Rank Decomposition [18.99572321624751]
  通信効率の高いグラフ学習アルゴリズムであるCEFGLを提案する。 提案手法は,モデルパラメータを低ランクなジェネリックモデルとスパースなプライベートモデルに分解する。 局所的な知識をパーソナライズされた方法で学習するために,デュアルチャネルエンコーダを用いる。
  論文  参考訳（メタデータ） (2024-12-18T02:26:07Z)
• Sequential Federated Learning in Hierarchical Architecture on Non-IID Datasets [25.010661914466354]
  実連合学習(FL)システムでは、クライアントとパラメータ(PS)の間でモデルパラメータを渡す際の通信オーバーヘッドがボトルネックとなることが多い。 そこで本研究では,SFL(Sequence FL) HFLを初めて提案し,各サーバに隣接する2つのES間でデータを渡すことで,中央PSを除去し,モデルを完成させることを可能にする。
  論文  参考訳（メタデータ） (2024-08-19T07:43:35Z)
• Pareto Low-Rank Adapters: Efficient Multi-Task Learning with Preferences [49.14535254003683]
  本稿では,機械学習におけるマルチタスクトレードオフに対処するパラメータ効率の高い新しい手法PaLoRAを紹介する。 実験の結果、PaLoRAは様々なデータセットで最先端のMTLとPFLのベースラインを上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-07-10T21:25:51Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。 グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
  フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。 本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
  論文  参考訳（メタデータ） (2024-02-06T07:25:21Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• QMGeo: Differentially Private Federated Learning via Stochastic Quantization with Mixed Truncated Geometric Distribution [1.565361244756411]
  Federated Learning(FL)は、複数のユーザがグローバル機械学習(ML)モデルを共同でトレーニングできるフレームワークである。 このような分散フレームワークの重要な動機の1つは、ユーザにプライバシ保証を提供することである。 本稿では,DPを提供するのに必要なランダム性を導入するために,混合幾何分布を用いた新しい量子化法を提案する。
  論文  参考訳（メタデータ） (2023-12-10T04:44:53Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning [75.45968495410047]
  クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。 グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。 通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-08T19:14:21Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)
• Sparse Communication for Training Deep Networks [56.441077560085475]
  同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。 このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。 いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
  論文  参考訳（メタデータ） (2020-09-19T17:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。