論文の概要: Federated Foundation Models Fine-Tuning with Heterogeneous Compressed Clients

• arxiv url: http://arxiv.org/abs/2607.29071v1
• Date: Fri, 31 Jul 2026 06:45:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.638066
• Title: Federated Foundation Models Fine-Tuning with Heterogeneous Compressed Clients
• Title（参考訳）: 不均一圧縮クライアントによるファインチューニングのフェデレーションモデル
• Abstract要約: FedSLMは異種圧縮クライアントとのファインチューニングのためのパラメータ中心のフレームワークである。 我々は,アダプタレベルのアグリゲーションの理論的保証,グループ間融合における部分空間アライメント境界,および信頼損失が弱いスーパービジョンノイズを緩和する方法のキャラクタリゼーションを提供する。
• 参考スコア（独自算出の注目度）: 22.724544289853558
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning of foundation models faces a fundamental resource-asymmetry challenge: the institutions holding the most valuable domain-specific data cannot host billion-parameter models. Existing heterogeneous federated approaches attempt to bridge this gap through parameter-efficient tuning, model pruning, or knowledge distillation, yet each trades away a critical property, whether full-model memory reduction, architectural self-containedness, or representational fidelity, leaving the core tension unresolved. We propose FedSLM, a parameter-centric framework for federated fine-tuning with heterogeneous compressed clients. FedSLM uses SVD-based decomposition to produce self-contained client models, whose low-rank subspaces form nested manifolds that are structurally compatible for aggregation. It then applies a two-stage protocol that synchronizes lightweight adapters within compression groups and fuses full-rank reconstructions across groups via structural alignment. Finally, a weak-to-strong elicitation step with auxiliary confidence loss transfers the aggregated knowledge to the full-scale server, while an explicit bias--variance trade-off mitigates compression artifacts. We provide theoretical guarantees for adapter-level aggregation, subspace-alignment bounds for cross-group fusion, and a characterization of how the confidence loss mitigates weak-supervision noise. Experiments on natural language and vision--language benchmarks show that FedSLM outperforms existing federated baselines under both IID and non-IID partitions, while client models operate at roughly 50% of the GPU memory required by the full model.
• Abstract（参考訳）: 基礎モデルのフェデレーション学習は、基本的なリソース非対称性の課題に直面している。 既存の異種連合的なアプローチは、パラメータ効率のチューニング、モデルプルーニング、あるいは知識蒸留を通じてこのギャップを橋渡ししようとするが、各領域は、フルモデルメモリの削減、アーキテクチャの自己完結性、あるいは表現的忠実性といった重要な特性を取り除き、コアの張力は未解決のままである。 異種圧縮クライアントを用いたファインチューニングのためのパラメータ中心フレームワークであるFedSLMを提案する。 FedSLMはSVDベースの分解を用いて自己完結したクライアントモデルを生成し、その低ランクな部分空間は、アグリゲーションに構造的に互換性のあるネスト多様体を形成する。 次に、2段階のプロトコルを適用し、圧縮グループ内の軽量アダプタを同期させ、構造的なアライメントを通じてグループ間でフルランクの再構築を融合する。 最後に、補助的信頼損失を伴う弱強誘引ステップは、集約された知識をフルスケールサーバに転送し、明示的なバイアス分散トレードオフは圧縮アーティファクトを緩和する。 我々は,アダプタレベルのアグリゲーションの理論的保証,グループ間融合における部分空間アライメント境界,および信頼損失が弱いスーパービジョンノイズを緩和する方法のキャラクタリゼーションを提供する。 自然言語とビジョン言語ベンチマークの実験によると、FedSLMはIIDと非IIDパーティションの両方で既存のフェデレーションベースラインよりも優れており、クライアントモデルはフルモデルに必要なGPUメモリの約50%で動作する。

関連論文リスト

• Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
  VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。 ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-05T07:02:50Z)
• Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions [89.52532304099522]
  フェデレートラーニング(FL)は、クライアントが生データを集中せずに共有モデルを共同でトレーニングすることを可能にし、固有のプライバシーレベルを提供する。 グラデーションとモデル更新は機密情報を漏洩する可能性があるが、悪意のあるサーバはビザンティン操作のような敵攻撃をマウントする可能性がある。 これらの脆弱性は、統合されたフレームワーク内の差分プライバシー(DP)とビザンチンの堅牢性に対処する必要性を強調している。 Byz-Clip21-SGD2Mを提案する。
  論文  参考訳（メタデータ） (2026-03-24T17:39:09Z)
• CA-HFP: Curvature-Aware Heterogeneous Federated Pruning with Model Reconstruction [6.817747681821888]
  不均一エッジデバイス上でのフェデレーション学習は、アグリゲーション互換性と安定した収束を維持しながらパーソナライズされた圧縮を必要とする。 本稿では,各クライアントが構成されたデバイス固有のプルーニングを,曲率インフォームドの重要度スコアでガイドできる実用的フレームワークCA-HFPを提案する。
  論文  参考訳（メタデータ） (2026-03-13T02:45:00Z)
• FedEU: Evidential Uncertainty-Driven Federated Fine-Tuning of Vision Foundation Models for Remote Sensing Image Segmentation [40.79057922854245]
  フェデレートイメージセグメンテーション(RSIS)が注目されている。 我々は、明らかな不確実性によって駆動される微調整RSISモデルのためのフレームワークであるFedEUを紹介する。
  論文  参考訳（メタデータ） (2026-03-08T05:11:03Z)
• Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
  Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。 実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。 FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
  論文  参考訳（メタデータ） (2026-02-01T05:54:59Z)
• Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
  パラメータを好みに置き換えることは、よりスケーラブルでプライバシに保護される未来を表している、と私たちは主張する。 ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを用いた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化、堅牢性、およびクロスクライアント適応性において、連邦化されたアライメントベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-01-31T03:11:51Z)
• Towards Federated Clustering: A Client-wise Private Graph Aggregation Framework [57.04850867402913]
  フェデレーションクラスタリングは、分散化されたラベルのないデータからパターンを抽出する課題に対処する。 本研究では,プライバシ保護のための知識共有媒体として,局所構造グラフを革新的に活用する新しいアルゴリズムSPP-FGCを提案する。 我々のフレームワークは最先端のパフォーマンスを実現し、認証可能なプライバシー保証を維持しつつ、フェデレーションベースラインよりも最大10%(NMI)のクラスタリング精度を向上させる。
  論文  参考訳（メタデータ） (2025-11-14T03:05:22Z)
• OmniFC: Rethinking Federated Clustering via Lossless and Secure Distance Reconstruction [10.326927761316986]
  フェデレーションクラスタリングは、生データを共有せずに、分散クライアント全体にわたるグローバルクラスタ構造を見つけることを目的としている。 1)コラボレーション中のプライバシー漏洩と,(2)プロキシ情報の集約による堅牢性低下の2つが重要な課題である。 我々は,統一的でモデルに依存しないフレームワークであるOmni Federated Clusteringを提案する。
  論文  参考訳（メタデータ） (2025-05-19T13:04:59Z)
• FedSKD: Aggregation-free Model-heterogeneous Federated Learning using Multi-dimensional Similarity Knowledge Distillation [7.944298319589845]
  フェデレートラーニング(FL)は、直接データを共有することなく、プライバシー保護のための協調モデルトレーニングを可能にする。 MHFL(Model-heterogeneous FL)は、クライアントが計算資源やアプリケーション固有のニーズに合わせて、不均一なアーキテクチャでパーソナライズされたモデルを訓練することを可能にする。 ピアツーピア(P2P)FLはサーバ依存を除去するが、モデルドリフトと知識の希釈に悩まされ、不均一な設定での有効性が制限される。 ラウンドロビンモデル循環による直接知識交換を容易にする新しいMHFLフレームワークであるFedSKDを提案する。
  論文  参考訳（メタデータ） (2025-03-23T05:33:10Z)
• Federated Contrastive Learning for Personalized Semantic Communication [55.46383524190467]
  我々は,パーソナライズされたセマンティックコミュニケーションを支援することを目的とした,協調型コントラスト学習フレームワークを設計する。 FedCLは、複数のクライアントにわたるローカルセマンティックエンコーダと、基地局が所有するグローバルセマンティックデコーダの協調トレーニングを可能にする。 分散クライアント間の異種データセットから生じるセマンティック不均衡問題に対処するために,コントラスト学習を用いてセマンティックセントロイドジェネレータを訓練する。
  論文  参考訳（メタデータ） (2024-06-13T14:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。