論文の概要: Beyond Uniform Compression: Budgeted Transmission Allocation for Extreme Federated Learning

• arxiv url: http://arxiv.org/abs/2609.39646v1
• Date: Wed, 30 Sep 2026 12:50:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.786841
• Title: Beyond Uniform Compression: Budgeted Transmission Allocation for Extreme Federated Learning
• Title（参考訳）: 一様圧縮を超えて:極端フェデレーション学習のための予算分散トランスミッションアロケーション
• Abstract要約: フェデレーション学習は、クライアントが高次元のモデル更新をアップロードする際に、深刻なコミュニケーションボトルネックに直面します。 既存の方法は、これらの更新をすべての層に均一に圧縮する。 この問題に対処するために,レイヤワイド・バインド・アダプティブ・トランスミッション(LBAT)を提案する。
• 参考スコア（独自算出の注目度）: 3.969626207862676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning faces severe communication bottlenecks when clients upload high-dimensional model updates. Existing methods often compress these updates uniformly across all layers. This uniform approach ignores the heterogeneous value of different parameter blocks and wastes limited bandwidth on insensitive layers. To address this issue, we propose Layer-wise Budgeted Adaptive Transmission (LBAT). LBAT reframes federated communication under extreme uplink budgets as a resource allocation problem. Our framework dynamically estimates the transmission value of different layers utilising local training signals. It then employs an exact byte dynamic programming allocator to determine optimal rank and bit configurations under strict budgets. We validate LBAT on highly heterogeneous federated tabular prediction and data generation tasks. Extensive experiments demonstrate that LBAT consistently outperforms uniform rank, uniform quantisation, and fixed compression baselines across various extreme budget regimes. Furthermore, it achieves significantly better communication and utility tradeoffs while preserving essential distributional fidelity.
• Abstract（参考訳）: フェデレーション学習は、クライアントが高次元のモデル更新をアップロードする際に、深刻なコミュニケーションボトルネックに直面します。 既存の方法は、これらの更新をすべての層に均一に圧縮する。 この均一なアプローチは、異なるパラメータブロックの不均一な値を無視し、不感な層に限られた帯域幅を浪費する。 この問題に対処するため,レイヤワイド・バッジ・アダプティブ・トランスミッション(LBAT)を提案する。 LBATはリソース割り当て問題として、極端なアップリンク予算の下でのフェデレーション通信を再構成する。 本フレームワークは,局所的な学習信号を利用した異なるレイヤの伝送値を動的に推定する。 次に、厳格な予算の下で最適なランクとビット構成を決定するために、正確なバイト動的プログラミングアロケータを使用する。 我々はLBATを、高度に異質なフェデレーション付き表形式予測とデータ生成タスクで検証する。 大規模な実験により、LBATは様々な極端な予算体制で均一なランク、均一な量子化、固定された圧縮ベースラインを一貫して上回ることを示した。 さらに、本質的な分散忠実性を維持しながら、コミュニケーションとユーティリティのトレードオフを著しく改善する。

関連論文リスト

• Decentralized Federated Learning for Heterogeneous Multi-Task Semantic Communication [16.237398580195496]
  本稿では、タスク間干渉を遮断するパーソナライズされたDSCフレームワークを提案する。 ネットワーク全体にわたって、私たちは"通信時アグリゲーション"プロトコルをデプロイします。 提案手法をNYU-v2上で評価した結果, 不十分な凝集と過剰なトポロジカルミキシングとのトレードオフが明らかとなった。
  論文  参考訳（メタデータ） (2026-08-15T14:22:58Z)
• FedSLoP: Memory-Efficient Federated Learning with Low-Rank Gradient Projection [5.476264433576713]
  FedSLoPは効率的なフェデレート学習アルゴリズムである。 We show that FedSLoP converges to a first-order stationary point at a rate of $O (1/sqrNT)$。
  論文  参考訳（メタデータ） (2026-04-27T03:47:50Z)
• Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。 近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。 我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
  論文  参考訳（メタデータ） (2026-04-01T14:32:15Z)
• Rethinking Multi-Condition DiTs: Eliminating Redundant Attention via Position-Alignment and Keyword-Scoping [61.459927600301654]
  マルチコンディション制御は従来のコンカデント・アンド・アットエンドの戦略によってボトルネックとなる。 分析の結果,これらの相互作用の多くは空間的にも意味的にも冗長であることがわかった。 本稿では,これらの冗長性を解消するための高効率なフレームワークであるPKAを提案する。
  論文  参考訳（メタデータ） (2026-02-06T16:39:10Z)
• Hierarchical Federated Learning with SignSGD: A Highly Communication-Efficient Approach [16.51305515824504]
  Hierarchical Edge Learning (HFL)は、大規模ワイヤレスおよびIoTシステムの鍵として登場した。 符号に基づく勾配降下法(SignSGD)のような方法が不可欠であるが、既存の理論やアルゴリズムは自然に階層的な設定にまで拡張しない。 スケーラブルなHFLアルゴリズムであるHierSignSGDを導入し、階層的な設定でSignSGDの収束解析を行う。
  論文  参考訳（メタデータ） (2026-02-02T17:18:03Z)
• Rethinking Addressing in Language Models via Contexualized Equivariant Positional Encoding [89.52931576290976]
  本研究では,コンテキストbfTextualized equivaritextbfAnt textbfPosition textbfEncoding(textbfTAPE)を提案する。 提案手法は,パラメータ効率の良い微調整を最小限のオーバーヘッドで実現し,事前学習した変換器に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2025-01-01T03:23:00Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Optimizing the Communication-Accuracy Trade-off in Federated Learning with Rate-Distortion Theory [1.5771347525430772]
  連合学習における重要なボトルネックは、クライアントデバイスから中央サーバにモデル更新を送信する際のネットワーク通信コストである。 本手法は,その経験的分布を考慮し,量子化された更新を適切な普遍コードで符号化する。 量子化は誤差をもたらすので、平均的な全勾配と歪みにおける所望のトレードオフを最適化することで量子化レベルを選択する。
  論文  参考訳（メタデータ） (2022-01-07T20:17:33Z)
• A Unified Theory of Decentralized SGD with Changing Topology and Local Updates [70.9701218475002]
  分散通信方式の統一収束解析を導入する。 いくつかの応用に対して普遍収束率を導出する。 私たちの証明は弱い仮定に依存している。
  論文  参考訳（メタデータ） (2020-03-23T17:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。