論文の概要: Federated Learning Meets LLMs: Feature Extraction From Heterogeneous Clients

• arxiv url: http://arxiv.org/abs/2510.00065v1
• Date: Mon, 29 Sep 2025 14:06:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.154995
• Title: Federated Learning Meets LLMs: Feature Extraction From Heterogeneous Clients
• Title（参考訳）: フェデレートラーニングとLLM: 異種クライアントの機能抽出
• Authors: Abdelrhman Gaber, Hassan Abd-Eltawab, Youssif Abuzied, Muhammad ElMahdy, Tamer ElBatt,
• Abstract要約: フェデレートラーニング(FL)は、生データを共有せずに協調的なモデルトレーニングを可能にする。 我々は,事前学習された大規模言語モデル(LLM)を普遍的特徴抽出器として利用するフレームワークであるFedLLM-Alignを提案する。 冠動脈疾患予測におけるFedLLM-Alignの評価は,シミュレートされたスキーマ分岐を用いた分割データセットを用いて行われる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) enables collaborative model training without sharing raw data, making it attractive for privacy-sensitive domains such as healthcare, finance, and IoT. A major obstacle, however, is the heterogeneity of tabular data across clients, where divergent schemas and incompatible feature spaces prevent straightforward aggregation. To address this challenge, we propose FedLLM-Align, a federated framework that leverages pre-trained large language models (LLMs) as universal feature extractors. Tabular records are serialized into text, and embeddings from models such as DistilBERT, ALBERT, RoBERTa, and ClinicalBERT provide semantically aligned representations that support lightweight local classifiers under the standard FedAvg protocol. This approach removes the need for manual schema harmonization while preserving privacy, since raw data remain strictly local. We evaluate FedLLM-Align on coronary heart disease prediction using partitioned Framingham datasets with simulated schema divergence. Across all client settings and LLM backbones, our method consistently outperforms state-of-the-art baselines, achieving up to +0.25 improvement in F1-score and a 65% reduction in communication cost. Stress testing under extreme schema divergence further demonstrates graceful degradation, unlike traditional methods that collapse entirely. These results establish FedLLM-Align as a robust, privacy-preserving, and communication-efficient solution for federated learning in heterogeneous environments.
• Abstract（参考訳）: フェデレートラーニング(FL)は、生データを共有せずに協調的なモデルトレーニングを可能にする。 しかし、大きな障害は、クライアント間の表データの均一性であり、分岐スキーマと非互換な機能空間が直接的な集約を妨げている。 この課題に対処するために,FedLLM-Alignを提案する。FedLLM-Alignは,事前学習された大規模言語モデル(LLM)を普遍的特徴抽出器として活用するフェデレーションフレームワークである。 タブラルレコードはテキストにシリアライズされ、DistilBERT, ALBERT, RoBERTa, ClinicalBERTといったモデルからの埋め込みは、標準的なFedAvgプロトコルの下で軽量なローカル分類器をサポートする意味的に整合した表現を提供する。 このアプローチでは、生データは厳密なローカルのままであるため、プライバシを維持しながら手動のスキーマ調和が不要になる。 我々は,FedLLM-Alignが冠状心疾患の予測に及ぼす影響をシミュレートしたFraminghamデータセットを用いて評価した。 全てのクライアント設定とLLMバックボーンにおいて、我々の手法は一貫して最先端のベースラインを上回り、F1スコアの最大0.25の改善と通信コストの65%削減を実現している。 極端なスキーマ分岐の下でのストレステストは、完全に崩壊する従来の方法とは異なり、さらに優雅な劣化を示す。 これらの結果はFedLLM-Alignを、異種環境におけるフェデレーション学習のための堅牢でプライバシー保護的でコミュニケーション効率のよいソリューションとして確立する。

関連論文リスト

• Closer to Reality: Practical Semi-Supervised Federated Learning for Foundation Model Adaptation [56.36237936346563]
  ファンデーションモデル(FM)は顕著な一般化を示すが、下流のタスクに適応する必要がある。 データプライバシー規制のため、クラウドベースのFMはプライベートエッジデータに直接アクセスできない。 エッジデバイスがラベルのない低解像度のデータのみを保持する実践的セミスーパービジョン・フェデレーションラーニング(PSSFL)を導入する。 我々の研究は、フェデレートされたシナリオにおけるスケーラブルでプライバシ保護のFM適応の道を開いた。
  論文  参考訳（メタデータ） (2025-08-22T17:47:02Z)
• FedP3E: Privacy-Preserving Prototype Exchange for Non-IID IoT Malware Detection in Cross-Silo Federated Learning [5.7494612007431805]
  データプライバシを維持しつつ、間接的なクライアント間表現共有をサポートする新しいFLフレームワークであるFedP3Eを提案する。 我々は,N-BaIoTデータセット上のFedP3Eを,データ不均衡の程度が異なる現実的なクロスサイロシナリオ下で評価した。
  論文  参考訳（メタデータ） (2025-07-09T20:07:35Z)
• Hybrid-Regularized Magnitude Pruning for Robust Federated Learning under Covariate Shift [2.298932494750101]
  クライアント側トレーニング分布の不整合がフェデレート学習モデルの性能を著しく低下させることを示す。 本稿では,ニューラルネットワークの疎結合性,冗長性,堅牢性を改善するために,フラニングとクライアントトレーニングの正規化を組み合わせた新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-19T16:22:37Z)
• An Architecture Built for Federated Learning: Addressing Data Heterogeneity through Adaptive Normalization-Free Feature Recalibration [0.3481075494213406]
  We propose Adaptive Normalization-free Feature Recalibration (ANFR) to combat heterogeneous data in Federated Learning (FL)。 ANFRは、ウェイト標準化とチャネルアテンションを組み合わせて、特徴マップの学習可能なスケーリング要素を生成する。 実験により、ANFRは様々なアグリゲーション法で確立されたベースラインを一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2024-10-02T20:16:56Z)
• Personalized federated learning based on feature fusion [2.943623084019036]
  フェデレートされた学習により、分散クライアントは、クライアントのプライバシを保護するためにデータをローカルに保存しながら、トレーニングで協力することができる。 pFedPMと呼ばれる個人化学習手法を提案する。 このプロセスでは、従来のグラデーションアップロードを機能アップロードに置き換え、通信コストを削減し、異種クライアントモデルを可能にする。
  論文  参考訳（メタデータ） (2024-06-24T12:16:51Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。