論文の概要: EFFEKT: Efficient Federated Knowledge Transfer to Foundation Models
- arxiv url: http://arxiv.org/abs/2608.08138v1
- Date: Sat, 08 Aug 2026 13:54:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.693629
- Title: EFFEKT: Efficient Federated Knowledge Transfer to Foundation Models
- Title(参考訳): EFFEKT: ファンデーションモデルへの効果的なフェデレーション知識の伝達
- Abstract要約: 最近のデータ保護法は、プライバシ保護の分散トレーニングにフェデレートラーニング(FL)を採用することを加速している。
本稿では,軽量クライアント側プロキシモデルとサーバ側ファウンデーションモデル(FM)が協調して,プライベートデータを共有せずに新たな概念を学習する,新しいマルチドメインフェデレーション学習フレームワークを提案する。
我々のアプローチであるEFFEKTは、FMとプロキシ抽出器間の特徴空間アライメントを保ちながら、ドメイン固有のLoRAアダプタの効率的なサーバサイドトレーニングを可能にする。
- 参考スコア(独自算出の注目度): 16.207029453895604
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent data protection laws have accelerated the adoption of Federated Learning (FL) for privacy-preserving decentralized training. Nevertheless, increasing model sizes impose substantial computational demands on client devices, limiting FL applicability in resource-constrained settings. We introduce a novel multi-domain federated learning framework in which lightweight client-side proxy models collaborate with a server-side Foundation Model (FM) to learn new concepts without sharing private data. Our approach, EFFEKT, enables efficient server-side training of domain-specific LoRA adapters while preserving feature-space alignment between the FM and proxy extractors via novel bi-directional cross-distillation strategies. Experiments on multiple real-world datasets and deployments on low-power edge devices demonstrate improvements over state-of-the-art baselines in most considered domains while maintaining lightweight computation at the client side.
- Abstract(参考訳): 最近のデータ保護法は、プライバシ保護の分散トレーニングにフェデレートラーニング(FL)を採用することを加速している。
それでも、モデルサイズの増加はクライアントデバイスに相当な計算要求を課し、リソース制約のある設定におけるFLの適用性を制限している。
本稿では,軽量クライアント側プロキシモデルとサーバ側ファウンデーションモデル(FM)が協調して,プライベートデータを共有せずに新たな概念を学習する,新しいマルチドメインフェデレーション学習フレームワークを提案する。
我々のアプローチであるEFFEKTは、FMとプロキシ抽出器間の特徴空間アライメントを維持しながら、ドメイン固有のLoRAアダプタの効率的なサーバサイドトレーニングを可能にする。
低消費電力エッジデバイス上での複数の実世界のデータセットとデプロイの実験は、クライアント側での軽量な計算を維持しながら、ほとんどの考慮されたドメインにおける最先端のベースラインの改善を実証している。
関連論文リスト
- FeDecider: An LLM-Based Framework for Federated Cross-Domain Recommendation [75.50721642765994]
大規模言語モデル(LLM)ベースのレコメンデーションモデルは、素晴らしいパフォーマンスを示している。
We propose a LLM-based framework for Federated cross- domain recommendation, FeDecider。
多様なデータセットにわたる大規模な実験により、提案したFeDeciderの有効性が検証された。
論文 参考訳(メタデータ) (2026-02-17T21:42:28Z) - Rethinking the Backbone in Class Imbalanced Federated Source Free Domain Adaptation: The Utility of Vision Foundation Models [9.432150710329609]
Federated Learning(FL)は、各クライアントのデータプライバシを保持しながら、モデルを協調的にトレーニングするためのフレームワークを提供する。
FFREEDAバックボーンを凍結視覚基礎モデル(VFM)に置き換えることを提案する。
VFMは、ドメインギャップ、クラス不均衡、さらにはターゲットクライアント間の非IID性の影響を効果的に緩和する。
論文 参考訳(メタデータ) (2025-09-10T08:10:57Z) - Closer to Reality: Practical Semi-Supervised Federated Learning for Foundation Model Adaptation [56.36237936346563]
ファンデーションモデル(FM)は顕著な一般化を示すが、下流のタスクに適応する必要がある。
データプライバシー規制のため、クラウドベースのFMはプライベートエッジデータに直接アクセスできない。
エッジデバイスがラベルのない低解像度のデータのみを保持する実践的セミスーパービジョン・フェデレーションラーニング(PSSFL)を導入する。
我々の研究は、フェデレートされたシナリオにおけるスケーラブルでプライバシ保護のFM適応の道を開いた。
論文 参考訳(メタデータ) (2025-08-22T17:47:02Z) - FedPromo: Federated Lightweight Proxy Models at the Edge Bring New Domains to Foundation Models [16.83959862897466]
Federated Learning(FL)は、分散データ上でディープラーニングモデルをトレーニングするための確立したパラダイムである。
我々はFedPromoを紹介した。FedPromoは、中央サーバに格納された大規模基盤モデルの、リモートクライアントのみにのみ遭遇する新しいドメインへの効率的な適応を可能にする新しいフレームワークである。
論文 参考訳(メタデータ) (2025-08-05T12:00:49Z) - Modality Alignment Meets Federated Broadcasting [9.752555511824593]
フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。
本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
論文 参考訳(メタデータ) (2024-11-24T13:30:03Z) - Federated Learning with Flexible Architectures [12.800116749927266]
本稿では,フレキシブルアーキテクチャを用いたフェデレートラーニング(FedFA)について紹介する。
FedFAは、モデルアグリゲーション中に、クライアントのローカルアーキテクチャとFLシステムにおける最大のネットワークアーキテクチャを整合させるために、レイヤグラフト技術を導入している。
論文 参考訳(メタデータ) (2024-06-14T09:44:46Z) - Subspace based Federated Unlearning [75.90552823500633]
フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。
既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。
そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
論文 参考訳(メタデータ) (2023-02-24T04:29:44Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-11-20T10:49:22Z) - FedGEMS: Federated Learning of Larger Server Models via Selective
Knowledge Fusion [19.86388925556209]
フェデレートラーニング(FL)は、データをプライベートに保ちながらグローバルモデルを学ぶための実行可能なソリューションとして登場した。
本研究では,FLのモデル容量を突破する強力なサーバモデルを活用するための新しいパラダイムについて検討する。
論文 参考訳(メタデータ) (2021-10-21T10:06:44Z) - RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。
クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。
悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
論文 参考訳(メタデータ) (2021-07-07T15:42:49Z) - Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。
また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文 参考訳(メタデータ) (2020-12-01T11:46:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。