論文の概要: FedProxy: Federated Fine-Tuning of LLMs via Proxy SLMs and Heterogeneity-Aware Fusion

• arxiv url: http://arxiv.org/abs/2604.19015v1
• Date: Tue, 21 Apr 2026 03:06:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.587311
• Title: FedProxy: Federated Fine-Tuning of LLMs via Proxy SLMs and Heterogeneity-Aware Fusion
• Title（参考訳）: FedProxy: プロキシSLMと不均質核融合によるLDMのフェデレート微調整
• Authors: Tao Fan, Guoqiang Ma, Yuanfeng Song, Lixin Fan, Kai Chen, Qiang Yang,
• Abstract要約: LLM(Large Language Models)のファインチューニング(Federated Fine-tuning)は、課題のトリレンマによって妨害される。 Fed Proxyは、弱いアダプタを、プロプライエタリなLLMから圧縮された、統一的で強力な Proxy Small Language Model (SLM) に置き換える。 当社のフレームワークは,3段階アーキテクチャによるトリレンマを体系的に解決する。
• 参考スコア（独自算出の注目度）: 28.925659983891748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated fine-tuning of Large Language Models (LLMs) is obstructed by a trilemma of challenges: protecting LLMs intellectual property (IP), ensuring client privacy, and mitigating performance loss on heterogeneous data. Existing methods like Offsite-Tuning (OT) secure the LLMs IP by having clients train only lightweight adapters, yet our analysis reveals they suffer from a fundamental performance bottleneck, leaving a significant gap compared to centralized training. To bridge this gap, we introduce FedProxy, a new federated adaptation framework. FedProxy replaces weak adapters with a unified, powerful Proxy Small Language Model (SLM), compressed from the proprietary LLM, to serve as a high-fidelity surrogate for collaborative fine-tuning. Our framework systematically resolves the trilemma through a three-stage architecture: (i) Efficient Representation via server-guided compression to create a resource-friendly proxy; (ii) Robust Optimization through an interference-mitigating aggregation strategy to handle data heterogeneity; and (iii) Effortless Fusion via a training-free "plug-in" mechanism to integrate learned knowledge back into the LLM. Experiments show FedProxy significantly outperforms OT methods and approaches centralized performance, establishing a new benchmark for secure and high-performance federated LLM adaptation.
• Abstract（参考訳）: LLMの知的財産権(IP)の保護、クライアントのプライバシの確保、異種データのパフォーマンス損失の軽減などである。 Offsite-Tuning (OT)のような既存の手法では、クライアントに軽量アダプタのみをトレーニングさせることでLLMs IPをセキュアにしています。 このギャップを埋めるために、新しいフェデレーション適応フレームワークであるFedProxyを紹介します。 FedProxyは、弱いアダプタを、プロプライエタリなLLMから圧縮された統一的で強力なプロキシ・スモール言語モデル(SLM)に置き換え、コラボレーティブな微調整のための高忠実なサロゲートとして機能する。 私たちのフレームワークは,3段階アーキテクチャによるトリレンマを体系的に解決します。 一 サーバ誘導圧縮による効率的な表現により、リソースフレンドリーなプロキシを作成すること。 (II)データの不均一性を扱うための干渉緩和集約戦略によるロバスト最適化 三 学習知識をLLMに組み込むための訓練不要の「プラグイン」機構による不運な融合 実験により、FedProxyはOT法を著しく上回り、中央集権的な性能にアプローチし、セキュアで高性能なLLM適応のための新しいベンチマークを確立した。

関連論文リスト

• ELSA: Efficient LLM-Centric Split Aggregation for Privacy-Aware Hierarchical Federated Learning over Resource-Constrained Edge Networks [22.53431546014934]
  ネットワークエッジでの大規模言語モデル(LLM)のトレーニングは、デバイスリソースの制約、厳密なデータの不均一性、プライバシーリスクの増大など、基本的な課題に直面している。 リソース制約付きエッジネットワーク上での分散LLM微調整のための分割学習(SL)と階層的フェデレーション学習(HFL)を統合する新しいフレームワークであるELSAを提案する。 まず、公的なプローブ入力と対称KL発散を用いたセマンティックフィンガープリントを構築するタスク非依存の振る舞い対応クライアントクラスタリング機構を用いる。 次に、LLMをクライアントとエッジサーバの3つの部分に分割し、クラウドはアダプタアグリゲーションにのみ使用される。 第三に
  論文  参考訳（メタデータ） (2026-01-20T10:33:19Z)
• Federated Attention: A Distributed Paradigm for Collaborative LLM Inference over Edge Networks [63.541114376141735]
  大規模言語モデル(LLM)は、さまざまなアプリケーションシナリオにまたがってインテリジェントな機能を提供しながら、急速に普及しています。 しかし、彼らの共同シナリオにおける実践的なデプロイは、プライバシの脆弱性、通信オーバーヘッド、計算ボトルネックといった根本的な課題に直面します。 我々はフェデレート・アテンション(FedAttn)を提案し、フェデレーション・パラダイムを自己注意機構に統合する。
  論文  参考訳（メタデータ） (2025-11-04T15:14:58Z)
• Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
  ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。 我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:56:11Z)
• FedShield-LLM: A Secure and Scalable Federated Fine-Tuned Large Language Model [0.48342038441006796]
  Federated Learning (FL)は、LLM(Large Language Models)のトレーニングと微調整のための分散フレームワークを提供する。 FLはプライバシとセキュリティの懸念に対処し、LLMの相当な計算要求に関連する課題をナビゲートする。 ローランド適応 (LoRA) パラメータに対して, 完全同型暗号化 (FHE) を用いたプルーニングを用いた新しいFedShield-LLMを提案する。
  論文  参考訳（メタデータ） (2025-06-06T00:05:05Z)
• FedSEA-LLaMA: A Secure, Efficient and Adaptive Federated Splitting Framework for Large Language Models [13.304846508027588]
  LLaMA2に基づくセキュアで効率的で適応的なフェデレーション分割フレームワークであるFedSEA-LLaMAを紹介する。 我々は、注意マスク圧縮とKVキャッシュの協調を利用して、通信コストを削減し、トレーニングと推論を加速する。 自然言語理解、要約、会話型QAタスクの実験は、FedSEA-LLaMAが集中型LLaMA2に匹敵するパフォーマンスを維持していることを示している。
  論文  参考訳（メタデータ） (2025-05-21T15:58:08Z)
• Confident or Seek Stronger: Exploring Uncertainty-Based On-device LLM Routing From Benchmarking to Generalization [61.02719787737867]
  大規模言語モデル(LLM)はますますエッジデバイスにデプロイされ、民主化されている。 1つの有望な解決策は不確実性に基づくSLMルーティングであり、SLM上での低信頼応答が発生すると、高い要求を強いLCMにオフロードする。 我々は1500以上の設定でSLMからLLMへの不確実性駆動型ルーティング戦略のベンチマークと一般化を包括的に調査する。
  論文  参考訳（メタデータ） (2025-02-06T18:59:11Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。