論文の概要: A Survey on Parameter-Efficient Fine-Tuning for Foundation Models in Federated Learning

• arxiv url: http://arxiv.org/abs/2504.21099v1
• Date: Tue, 29 Apr 2025 18:18:39 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-05-02 15:47:40.564684
• Title: A Survey on Parameter-Efficient Fine-Tuning for Foundation Models in Federated Learning
• Title（参考訳）: フェデレーション学習における基礎モデルのためのパラメータ効率の良いファインチューニングの検討
• Authors: Jieming Bian, Yuanzhe Peng, Lei Wang, Yin Huang, Jie Xu,
• Abstract要約: ファンデーションモデルは、大規模データセットで事前トレーニングされた堅牢で汎用的なアーキテクチャを提供することによって、人工知能に革命をもたらした。 これらの巨大なモデルを特定の下流タスクに適用するには、微調整が必要である。 本調査は,フェデレート学習環境におけるPEFT技術の統合に関する総合的なレビューを提供する。
• 参考スコア（独自算出の注目度）: 5.280048850098648
• License:
• Abstract: Foundation models have revolutionized artificial intelligence by providing robust, versatile architectures pre-trained on large-scale datasets. However, adapting these massive models to specific downstream tasks requires fine-tuning, which can be prohibitively expensive in computational resources. Parameter-Efficient Fine-Tuning (PEFT) methods address this challenge by selectively updating only a small subset of parameters. Meanwhile, Federated Learning (FL) enables collaborative model training across distributed clients without sharing raw data, making it ideal for privacy-sensitive applications. This survey provides a comprehensive review of the integration of PEFT techniques within federated learning environments. We systematically categorize existing approaches into three main groups: Additive PEFT (which introduces new trainable parameters), Selective PEFT (which fine-tunes only subsets of existing parameters), and Reparameterized PEFT (which transforms model architectures to enable efficient updates). For each category, we analyze how these methods address the unique challenges of federated settings, including data heterogeneity, communication efficiency, computational constraints, and privacy concerns. We further organize the literature based on application domains, covering both natural language processing and computer vision tasks. Finally, we discuss promising research directions, including scaling to larger foundation models, theoretical analysis of federated PEFT methods, and sustainable approaches for resource-constrained environments.
• Abstract（参考訳）: ファンデーションモデルは、大規模データセットで事前トレーニングされた堅牢で汎用的なアーキテクチャを提供することによって、人工知能に革命をもたらした。 しかし、これらの巨大なモデルを特定の下流タスクに適用するには微調整が必要である。 パラメータ効率の良いファインチューニング(PEFT)手法は、パラメータの小さなサブセットだけを選択的に更新することでこの問題に対処する。 一方、フェデレートラーニング(FL)は、生データを共有せずに分散クライアント間で協調的なモデルトレーニングを可能にし、プライバシに敏感なアプリケーションに最適である。 本調査は,フェデレート学習環境におけるPEFT技術の統合に関する総合的なレビューを提供する。 既存のアプローチを3つの主要なグループに分類する: 付加的PEFT(新しいトレーニング可能なパラメータを導入する)、選択的PEFT(既存のパラメータのサブセットのみを微調整する)、再パラメータ化PEFT(モデルアーキテクチャを変換して効率的な更新を可能にする)。 各カテゴリにおいて、これらの手法が、データ不均一性、通信効率、計算制約、プライバシー問題など、フェデレーションされた設定のユニークな課題にどのように対処するかを分析する。 我々はさらに、自然言語処理とコンピュータビジョンタスクの両方をカバーするアプリケーションドメインに基づく文献を整理する。 最後に,より大きな基盤モデルへのスケーリング,フェデレートPEFT法の理論解析,資源制約環境に対する持続可能なアプローチなど,将来的な研究方向性について論じる。

関連論文リスト

• A Systematic Literature Review of Parameter-Efficient Fine-Tuning for Large Code Models [2.171120568435925]
  コードのための大規模言語モデル(LLM)は、訓練と微調整のためにかなりの計算資源を必要とする。 この問題に対処するため,研究コミュニティは,より効率的なファインチューニング(PEFT)へと移行している。 PEFTは、モデル全体ではなく、パラメータの小さなサブセットだけを更新することで、大きなモデルの適応を可能にする。 本研究は,27件の査読論文から得られた知見を合成し,構成戦略のパターンと適応トレードオフを同定する。
  論文  参考訳（メタデータ） (2025-04-29T16:19:25Z)
• Fine-tune Smarter, Not Harder: Parameter-Efficient Fine-Tuning for Geospatial Foundation Models [16.522696273752835]
  地球観測は、環境変化の監視、災害への対応、天然資源の管理に不可欠である。 基礎モデルにより、リモートセンシング画像解析により、関係する地理情報を正確かつ効率的に取得することができる。 これらのモデルのサイズが大きくなるにつれて、関連する計算資源とコストのために微調整がますます困難になる。
  論文  参考訳（メタデータ） (2025-04-24T09:37:02Z)
• PEFT A2Z: Parameter-Efficient Fine-Tuning Survey for Large Language and Vision Models [0.0]
  LLM(Large Language Models)やVLM(Vision Language Models)のような大規模モデルは、人工知能を変革した。 これらのモデルの微調整は高価であり、膨大な計算資源、メモリ、タスク固有のデータを必要とする。 PEFT(Efficient Fine-Tuning)は、少数のパラメータだけを更新することで、大規模なモデルを下流タスクに適応できる有望なソリューションとして登場した。
  論文  参考訳（メタデータ） (2025-04-19T00:33:16Z)
• Parameter-Efficient Continual Fine-Tuning: A Survey [5.59258786465086]
  AIの次のブレークスルーは、進化する環境への効率的な適応を可能にすることです。 これらの大規模モデルを効率的に適応させる方法の1つが知られている。 PEFT(Efficient Fine-Tuning)
  論文  参考訳（メタデータ） (2025-04-18T17:51:51Z)
• Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
  この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。 本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:04:39Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
  本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。 提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
  論文  参考訳（メタデータ） (2024-05-09T01:40:38Z)
• Dual-Personalizing Adapter for Federated Foundation Models [35.863585349109385]
  本稿では,テスト時間分布シフトを同時に処理するフェデレートデュアルパーソナライズアダプタアーキテクチャを提案する。 提案手法の有効性を,異なるNLPタスクのベンチマークデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2024-03-28T08:19:33Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。