論文の概要: Exploring Selective Layer Fine-Tuning in Federated Learning

• arxiv url: http://arxiv.org/abs/2408.15600v2
• Date: Thu, 26 Sep 2024 10:26:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 04:30:58.637117
• Title: Exploring Selective Layer Fine-Tuning in Federated Learning
• Title（参考訳）: フェデレート学習における選択層ファインチューニングの探索
• Authors: Yuchang Sun, Yuexiang Xie, Bolin Ding, Yaliang Li, Jun Zhang,
• Abstract要約: フェデレートラーニング(FL)は,分散データを用いた基礎モデルの微調整のための,有望なパラダイムとして登場した。 FLにおける選択的層微調整について検討し、クライアントがローカルデータやリソースに応じて選択した層を調整できるフレキシブルなアプローチを強調した。
• 参考スコア（独自算出の注目度）: 48.470385357429215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) has emerged as a promising paradigm for fine-tuning foundation models using distributed data in a privacy-preserving manner. Under limited computational resources, clients often find it more practical to fine-tune a selected subset of layers, rather than the entire model, based on their task-specific data. In this study, we provide a thorough theoretical exploration of selective layer fine-tuning in FL, emphasizing a flexible approach that allows the clients to adjust their selected layers according to their local data and resources. We theoretically demonstrate that the layer selection strategy has a significant impact on model convergence in two critical aspects: the importance of selected layers and the heterogeneous choices across clients. Drawing from these insights, we further propose a strategic layer selection method that utilizes local gradients and regulates layer selections across clients. The extensive experiments on both image and text datasets demonstrate the effectiveness of the proposed strategy compared with several baselines, highlighting its advances in identifying critical layers that adapt to the client heterogeneity and training dynamics in FL.
• Abstract（参考訳）: フェデレーテッド・ラーニング(FL)は、分散データを用いた基礎モデルをプライバシー保護の方法で微調整するための、有望なパラダイムとして登場した。 限られた計算資源の下では、クライアントはタスク固有のデータに基づいて、モデル全体ではなく、選択したレイヤのサブセットを微調整する方がより実践的になることが多い。 本研究では、FLにおける選択層微調整の理論的検討を行い、クライアントが選択した層をローカルデータやリソースに応じて調整できるフレキシブルなアプローチを強調した。 理論的には、層選択戦略は、選択された層の重要性とクライアント間の不均一な選択の2つの重要な側面において、モデル収束に大きな影響を与えることを実証する。 さらに,これらの知見から,局所勾配を利用した戦略的層選択手法を提案し,クライアント間の層選択を規制する。 画像とテキストのデータセットに関する広範な実験は、いくつかのベースラインと比較して提案された戦略の有効性を示し、クライアントの不均一性に適応し、FLのトレーニングダイナミクスを訓練する重要なレイヤを特定することの進歩を強調している。

関連論文リスト

• F$^3$OCUS -- Federated Finetuning of Vision-Language Foundation Models with Optimal Client Layer Updating Strategy via Multi-objective Meta-Heuristics [8.577808901433]
  微調整において最も重要なVLM層を選択するクライアント固有の層重み付けスコアであるtextitviz. が与える影響について述べる。 本稿では,F$3$OCUSと呼ばれる新しいレイヤ更新戦略を提案する。
  論文  参考訳（メタデータ） (2024-11-17T21:54:57Z)
• Entropy Guided Extrapolative Decoding to Improve Factuality in Large Language Models [55.45444773200529]
  大きな言語モデル(LLM)は印象的な自然言語能力を示すが、幻覚に苦しむ。 最近の研究は推論時の事実性を改善するための復号化技術に焦点を当てている。
  論文  参考訳（メタデータ） (2024-04-14T19:45:35Z)
• Accelerating Federated Learning by Selecting Beneficial Herd of Local Gradients [40.84399531998246]
  Federated Learning (FL) は、通信ネットワークシステムにおける分散機械学習フレームワークである。 非独立分散(Non-IID)データは、大域モデルの収束効率に悪影響を及ぼす。 FLモデルの収束を加速するために,局所勾配の有利な群を選別するBHerd戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-25T09:16:59Z)
• Towards Optimal Customized Architecture for Heterogeneous Federated Learning with Contrastive Cloud-Edge Model Decoupling [20.593232086762665]
  フェデレートラーニングは、有望な分散学習パラダイムとして、中央データ収集を必要とせずに、複数のネットワークエッジクライアントにわたるグローバルモデルの協調トレーニングを可能にする。 我々はFedCMDと呼ばれる新しいフェデレーション学習フレームワークを提案する。 私たちのモチベーションは、パーソナライズされた頭として異なるニューラルネットワーク層を選択するパフォーマンスを深く調査することで、現在の研究でパーソナライズされた頭として最後の層を厳格に割り当てることが常に最適であるとは限らない、ということです。
  論文  参考訳（メタデータ） (2024-03-04T05:10:28Z)
• Addressing Membership Inference Attack in Federated Learning with Model Compression [8.842172558292027]
  機械学習のプライバシ保護ソリューションとしてフェデレートラーニング(FL)が提案されている。 最近の研究によると、FLはメンバーシップ推論攻撃によってプライベートクライアントデータを漏洩させることができる。 これらの攻撃の有効性は、クライアントのデータセットのサイズとモデルの複雑さと負の相関関係があることを示します。
  論文  参考訳（メタデータ） (2023-11-29T15:54:15Z)
• Learning the Right Layers: a Data-Driven Layer-Aggregation Strategy for Semi-Supervised Learning on Multilayer Graphs [2.752817022620644]
  多層グラフ上のクラスタリング(あるいはコミュニティ検出)は、さらにいくつかの複雑さを生じさせる。 主な課題の1つは、各レイヤがクラスタのイテレーションの割り当てにどの程度貢献するかを確立することである。 利用可能な入力ラベルから異なる層を最適に非線形に組み合わせたパラメータフリーなラプラシアン正規化モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-31T19:50:11Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Enhancing Prototypical Few-Shot Learning by Leveraging the Local-Level Strategy [75.63022284445945]
  既存の作業では、ローカルレベルの機能をすべて混ぜることで、イメージレベルの機能に基づいた、いくつかのショットモデルを構築することがよくあります。 a) 基地と新規カテゴリーの識別的位置バイアスを回避するための地域非依存のトレーニング戦略,(b) 地域レベルの特徴の正確な比較を捉えるための新しい地域レベルの類似度尺度を提案する。
  論文  参考訳（メタデータ） (2021-11-08T08:45:15Z)
• Deep Learning feature selection to unhide demographic recommender systems factors [63.732639864601914]
  行列分解モデルは意味的知識を含まない因子を生成する。 DeepUnHideは、協調フィルタリングレコメンデータシステムにおいて、ユーザとアイテムファクタから、人口統計情報を抽出することができる。
  論文  参考訳（メタデータ） (2020-06-17T17:36:48Z)
• Attentive CutMix: An Enhanced Data Augmentation Approach for Deep Learning Based Image Classification [58.20132466198622]
  そこで我々は,CutMixに基づく自然拡張拡張戦略であるAttentive CutMixを提案する。 各トレーニングイテレーションにおいて、特徴抽出器から中間注意マップに基づいて最も記述性の高い領域を選択する。 提案手法は単純かつ有効であり,実装が容易であり,ベースラインを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2020-03-29T15:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。