論文の概要: Generalizable Federated Learning using Client Adaptive Focal Modulation

• arxiv url: http://arxiv.org/abs/2508.10840v1
• Date: Thu, 14 Aug 2025 17:06:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:48.424539
• Title: Generalizable Federated Learning using Client Adaptive Focal Modulation
• Title（参考訳）: クライアント適応音声変調を用いた一般化可能なフェデレーション学習
• Authors: Tajamul Ashraf, Iqra Altaf Gillani,
• Abstract要約: フェデレートラーニング(FL)は、分散クライアント間での、プライバシー保護、協調トレーニングに不可欠であることが証明されている。 本稿では,サーバ側通信のオーバーヘッドを低減したTransFedの効率的なバージョンを提案する。 我々の発見は、より適応的で、スケーラブルで、一般化可能なトランスフォーマーベースのフェデレーションシステムへの道を開いた。
• 参考スコア（独自算出の注目度）: 0.29465623430708915
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) has proven essential for privacy-preserving, collaborative training across distributed clients. Our prior work, TransFed, introduced a robust transformer-based FL framework that leverages a learn-to-adapt hypernetwork to generate personalized focal modulation layers per client, outperforming traditional methods in non-IID and cross-domain settings. In this extended version, we propose AdaptFED, where we deepen the investigation of focal modulation in generalizable FL by incorporating: (1) a refined adaptation strategy that integrates task-aware client embeddings to personalize modulation dynamics further, (2) enhanced theoretical bounds on adaptation performance, and (3) broader empirical validation across additional modalities, including time-series and multilingual data. We also introduce an efficient variant of TransFed that reduces server-client communication overhead via low-rank hypernetwork conditioning, enabling scalable deployment in resource-constrained environments. Extensive experiments on eight diverse datasets reaffirm the superiority of our method over state-of-the-art baselines, particularly in source-free and cross-task federated setups. Our findings not only extend the capabilities of focal modulation in FL but also pave the way for more adaptive, scalable, and generalizable transformer-based federated systems. The code is available at http://github.com/Tajamul21/TransFed
• Abstract（参考訳）: フェデレートラーニング(FL)は、分散クライアント間での、プライバシー保護、協調トレーニングに不可欠であることが証明されている。 当社の以前の作業であるTransFedは、学習から適応までのハイパーネットワークを活用して、クライアント毎にパーソナライズされた焦点変調層を生成する、堅牢なトランスフォーマーベースのFLフレームワークを導入しました。 本拡張版では,(1)タスク対応クライアント埋め込みを統合した適応戦略と,(2)適応性能に関する理論的境界の強化,(3)時系列や多言語データを含む追加のモダリティに対する広範な実験的検証を取り入れた,一般化可能なFLにおける焦点変調のより深い調査を行うAdaptFEDを提案する。 また、低ランクなハイパーネットワークコンディショニングにより、サーバ側通信のオーバーヘッドを低減し、リソース制約のある環境にスケーラブルなデプロイメントを可能にするTransFedの効率的なバージョンも導入する。 8つの多様なデータセットに対する大規模な実験は、最先端のベースライン、特にソースフリーおよびクロスタスク・フェデレーション・セットアップにおいて、我々の手法の優位性を再確認する。 我々の研究はFLにおける焦点変調の能力を拡大するだけでなく、適応性、拡張性、一般化可能なトランスフォーマーベースのフェデレーションシステムへの道を開いた。 コードはhttp://github.com/Tajamul21/TransFedで入手できる。

関連論文リスト

• OLALa: Online Learned Adaptive Lattice Codes for Heterogeneous Federated Learning [24.595304301100047]
  フェデレートラーニング(FL)は、生データを共有せずに、分散クライアント間で協調的なトレーニングを可能にする。 本稿では,オンライン学習適応格子(OLALa)を提案する。これは不均一なFLフレームワークで,各クライアントがその量子化器をオンラインで調整することができる。 OLALaは、様々な量子化レートでの学習性能を継続的に改善し、従来の固定コードブックや非適応方式よりも優れています。
  論文  参考訳（メタデータ） (2025-06-25T10:18:34Z)
• An Adaptive ML Framework for Power Converter Monitoring via Federated Transfer Learning [0.0]
  本研究では、熱機械学習モデル(ML)をパワーコンバータに適用するための代替フレームワーク構成について検討する。 フレームワークは、3つの最先端のドメイン適応技術を適用することで、複数のクライアントによって漸進的に適応されるベースモデルから始まります。 フィールドデータによる検証は、ファインチューニングが簡単なTLアプローチを高精度に提供し、実用的な応用に適していることを示す。
  論文  参考訳（メタデータ） (2025-04-23T16:39:54Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• FedAli: Personalized Federated Learning Alignment with Prototype Layers for Generalized Mobile Services [9.683642138601464]
  フェデレートアライメント(Federated Alignment, FedAli)は、プロトタイプベースの正規化技術であり、パーソナライズされた適応の堅牢性を強化しながら、クライアント間のアライメントを強化する。 コアとなるFedAliは、一般化を強化するために、人間のメモリにインスパイアされたPrototypesレイヤによるアライメントを導入した。 実験の結果,FedAliは不均一な環境下で強いパーソナライゼーションを維持しつつ,クライアントの一般化を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-11-15T21:35:21Z)
• Dual-Personalizing Adapter for Federated Foundation Models [35.863585349109385]
  本稿では,テスト時間分布シフトを同時に処理するフェデレートデュアルパーソナライズアダプタアーキテクチャを提案する。 提案手法の有効性を,異なるNLPタスクのベンチマークデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2024-03-28T08:19:33Z)
• Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
  Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。 本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
  論文  参考訳（メタデータ） (2023-10-27T17:22:09Z)
• FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal Heterogeneous Federated Learning [37.96957782129352]
  我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。 Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。 その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-08-21T21:57:01Z)
• Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM [62.62684911017472]
  フェデレートラーニング(FL)により、デバイスは共有モデルを共同でトレーニングし、トレーニングデータをプライバシ目的でローカルに保つことができる。 マルチヘッド(VIM)を備えたVFLフレームワークを導入し、各クライアントの別々のコントリビューションを考慮に入れます。 VIMは最先端技術に比べて性能が著しく向上し、収束が速い。
  論文  参考訳（メタデータ） (2022-07-20T23:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。