論文の概要: TinyProto: Communication-Efficient Federated Learning with Sparse Prototypes in Resource-Constrained Environments

• arxiv url: http://arxiv.org/abs/2507.04327v1
• Date: Sun, 06 Jul 2025 10:24:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.121256
• Title: TinyProto: Communication-Efficient Federated Learning with Sparse Prototypes in Resource-Constrained Environments
• Title（参考訳）: TinyProto: 資源制約環境における疎プロトタイプによるコミュニケーション効率の良いフェデレーションラーニング
• Authors: Gyuejeong Lee, Daeyoung Choi,
• Abstract要約: 統合学習(FL)におけるコミュニケーション効率は、資源制約のある環境において重要な課題である。 本稿では,CPS(Class-wise Prototype Sparsification)と適応型プロトタイプスケーリングを通じて,これらの制約に対処するTinyProtoを提案する。 実験の結果,TinyProtoは既存の手法に比べて通信コストを最大4倍に削減できることがわかった。
• 参考スコア（独自算出の注目度）: 0.8287206589886879
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Communication efficiency in federated learning (FL) remains a critical challenge for resource-constrained environments. While prototype-based FL reduces communication overhead by sharing class prototypes-mean activations in the penultimate layer-instead of model parameters, its efficiency decreases with larger feature dimensions and class counts. We propose TinyProto, which addresses these limitations through Class-wise Prototype Sparsification (CPS) and adaptive prototype scaling. CPS enables structured sparsity by allocating specific dimensions to class prototypes and transmitting only non-zero elements, while adaptive scaling adjusts prototypes based on class distributions. Our experiments show TinyProto reduces communication costs by up to 4x compared to existing methods while maintaining performance. Beyond its communication efficiency, TinyProto offers crucial advantages: achieving compression without client-side computational overhead and supporting heterogeneous architectures, making it ideal for resource-constrained heterogeneous FL.
• Abstract（参考訳）: 統合学習(FL)におけるコミュニケーション効率は、資源制約のある環境において重要な課題である。 プロトタイプをベースとしたFLは,モデルパラメータの最小層置換によるクラスプロトタイプのアクティベーションを共有することで通信オーバーヘッドを低減するが,その効率はより大きい特徴次元とクラス数で低下する。 本稿では,CPS(Class-wise Prototype Sparsification)と適応型プロトタイプスケーリングを通じて,これらの制約に対処するTinyProtoを提案する。 CPSは、特定の次元をクラスプロトタイプに割り当て、非ゼロ要素のみを送信し、適応スケーリングはクラス分布に基づいてプロトタイプを調整することで、構造化された空間性を実現する。 実験の結果,TinyProtoは既存の手法に比べて通信コストを最大4倍に削減できることがわかった。 TinyProtoは通信効率以外にも、クライアント側の計算オーバーヘッドなしで圧縮を実現し、異種アーキテクチャをサポートし、リソース制約のある異種FLに最適である。

関連論文リスト

• Heterogeneous Federated Learning with Prototype Alignment and Upscaling [0.7373617024876724]
  Prototype Normalization (ProtoNorm) は、最適化されたプロトタイプ分離に対処する新しいPBFLフレームワークである。 提案手法はプロトタイプを分離し,既存のHtFL手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-07-06T09:34:41Z)
• Probabilistic Prototype Calibration of Vision-Language Models for Generalized Few-shot Semantic Segmentation [75.18058114915327]
  一般化されたFew-Shot Semanticnative(GFSS)は、いくつかの注釈付き例だけでセグメンテーションモデルを新しいクラスに拡張することを目的としている。 プリトレーニング済みCLIPのマルチモーダルプロトタイプ上での確率的プロトタイプ校正フレームワークであるFewCLIPを提案する。 FewCLIPはGFSSとクラスインクリメンタルセッティングの両方で最先端のアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2025-06-28T18:36:22Z)
• Enhancing Visual Representation with Textual Semantics: Textual Semantics-Powered Prototypes for Heterogeneous Federated Learning [12.941603966989366]
  フェデレート・プロトタイプ・ラーニング(FedPL)は、フェデレート・ラーニング(FL)におけるデータ不均一性を扱う効果的な戦略として登場した。 テキストのモダリティから意味に富んだプロトタイプを構築するために,PLMを利用する新しい手法であるFedTSPを提案する。 クライアントイメージモデルとPLM間のモダリティギャップに対処するため、トレーニング可能なプロンプトを導入し、プロトタイプがクライアントタスクに適応できるようにする。
  論文  参考訳（メタデータ） (2025-03-16T04:35:06Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。 グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Achieving Dimension-Free Communication in Federated Learning via Zeroth-Order Optimization [15.73877955614998]
  本稿では,クライアント間のスカラー値を一定数送信することで,通信コストを$mathscrO(d)$から$mathscrO(d)$に削減する新しい通信アルゴリズムであるDeComFLを提案する。 古典的なディープラーニングトレーニングと大規模言語モデルの微調整の両方を含む経験的評価は、通信オーバーヘッドを大幅に削減することを示している。
  論文  参考訳（メタデータ） (2024-05-24T18:07:05Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation [55.339405417090084]
  本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。 第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。 提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-09T08:14:50Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。