論文の概要: Federated Customization of Large Models: Approaches, Experiments, and Insights
- arxiv url: http://arxiv.org/abs/2601.00526v1
- Date: Fri, 02 Jan 2026 01:45:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-05 15:04:33.496622
- Title: Federated Customization of Large Models: Approaches, Experiments, and Insights
- Title（参考訳）: 大規模モデルのフェデレートされたカスタマイズ:アプローチ、実験、洞察
- Authors: Yuchuan Ye, Ming Ding, Youjia Chen, Peng Cheng, Dusit Niyato,
- Abstract要約: 本稿では, 完全微調整, 効率的な微調整, プロンプトエンジニアリング, プレフィックスチューニング, 知識蒸留, 検索強化生成など, 一般的な大規模モデルのカスタマイズ技術について概説する。
我々は,連合学習環境にプレフィックスチューニングを適用した最初の試みである,フェデレートプレフィックスチューニングの実験を行った。
- 参考スコア（独自算出の注目度）: 50.70334261194185
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this article, we explore federated customization of large models and highlight the key challenges it poses within the federated learning framework. We review several popular large model customization techniques, including full fine-tuning, efficient fine-tuning, prompt engineering, prefix-tuning, knowledge distillation, and retrieval-augmented generation. Then, we discuss how these techniques can be implemented within the federated learning framework. Moreover, we conduct experiments on federated prefix-tuning, which, to the best of our knowledge, is the first trial to apply prefix-tuning in the federated learning setting. The conducted experiments validate its feasibility with performance close to centralized approaches. Further comparison with three other federated customization methods demonstrated its competitive performance, satisfactory efficiency, and consistent robustness.
- Abstract（参考訳）: 本稿では、大規模モデルのフェデレートされたカスタマイズについて検討し、フェデレートされた学習フレームワークにおいてそれらがもたらす重要な課題を強調します。
本稿では, 完全微調整, 効率的な微調整, プロンプトエンジニアリング, プレフィックスチューニング, 知識蒸留, 検索強化生成など, 一般的な大規模モデルのカスタマイズ技術について概説する。
次に,これらの手法を連携学習フレームワーク内でどのように実装できるかについて議論する。
さらに,フェデレートされたプレフィックスチューニングの実験を行い,フェデレーションされた学習環境にプレフィックスチューニングを適用した最初の試みである。
実験により,集中型アプローチに近い性能で実現可能であることを確認した。
さらに、他の3つのフェデレートされたカスタマイズ手法との比較により、競争性能、良好な効率、一貫した堅牢性を示した。
関連論文リスト
- Skywork-MoE: A Deep Dive into Training Techniques for Mixture-of-Experts Language Models [57.582219834039506]
提案手法は,146億のパラメータと16名のエキスパートを伴い,高性能な多言語モデル(LLM)であるSkywork-MoEの開発において実現された訓練手法を紹介する。
これは、Skywork-13Bモデルの既存の密度の高いチェックポイントに基づいています。
論文 参考訳（メタデータ） (2024-06-03T03:58:41Z) - Exploring Federated Unlearning: Review, Comparison, and Insights [101.64910079905566]
フェデレーション・アンラーニングは、フェデレーション・システムで訓練されたモデルからデータを選択的に除去することを可能にする。
本稿では,既存のフェデレーション・アンラーニング手法について検討し,アルゴリズムの効率,モデル精度への影響,プライバシ保護の有効性について検討する。
フェデレートされたアンラーニング手法を評価するための統一ベンチマークであるOpenFederatedUnlearningフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-30T01:34:33Z) - UNIDEAL: Curriculum Knowledge Distillation Federated Learning [17.817181326740698]
フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする、有望なアプローチとして登場した。
本稿では,ドメイン横断シナリオの課題に対処するための新しいFLアルゴリズムであるUNIを提案する。
この結果から,UNIはモデル精度と通信効率の両面において優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2023-09-16T11:30:29Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-24T08:41:19Z) - An Empirical Study of Personalized Federated Learning [8.641606056228675]
フェデレートラーニング(Federated Learning)とは、単一のサーバと複数のクライアントが、クライアントでデータセットを共有することなく、共同で機械学習モデルを構築する分散機械学習アプローチである。
この問題に対処するため、多数のフェデレーション学習手法は、パーソナライズされたフェデレーション学習を目標とし、クライアント向けに最適化されたモデルを構築する。
個人化されたフェデレート学習手法が最高のパフォーマンスを達成するのか、これらの手法が標準的(非個人化された)フェデレート学習ではなく、どの程度の進歩を達成できるかは明らかでない。
論文 参考訳（メタデータ） (2022-06-27T11:08:16Z) - Learning From Multiple Experts: Self-paced Knowledge Distillation for
Long-tailed Classification [106.08067870620218]
我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。
提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。
提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2020-01-06T12:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。