論文の概要: GENE-FL: Gene-Driven Parameter-Efficient Dynamic Federated Learning
- arxiv url: http://arxiv.org/abs/2504.14628v1
- Date: Sun, 20 Apr 2025 14:10:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-29 23:17:17.83596
- Title: GENE-FL: Gene-Driven Parameter-Efficient Dynamic Federated Learning
- Title（参考訳）: genE-FL:遺伝子駆動型パラメータ効率の動的フェデレーション学習
- Authors: Shunxin Guo, Jiaqi Lv, Qiufeng Wang, Xin Geng,
- Abstract要約: 遺伝子駆動型パラメータ効率動的フェデレートラーニング(GENE-FL)フレームワークを提案する。
まず、局所モデルは、大域的モデルにおけるフィッシャー値の高いパラメータに基づいて二次的制約を実行する。
第2に、局所モデルパラメータにおけるパラメータ感度解析の戦略を適用し、相互作用のためのtextitlearnGeneを凝縮する。
第3に、サーバはこれらの小規模なトレーニングされたtextitlearnGeneを、クロスタスクの一般化機能を備えた堅牢なtextitlearnGeneに集約する。
- 参考スコア（独自算出の注目度）: 43.967121817631046
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-world \underline{F}ederated \underline{L}earning systems often encounter \underline{D}ynamic clients with \underline{A}gnostic and highly heterogeneous data distributions (DAFL), which pose challenges for efficient communication and model initialization. To address these challenges, we draw inspiration from the recently proposed Learngene paradigm, which compresses the large-scale model into lightweight, cross-task meta-information fragments. Learngene effectively encapsulates and communicates core knowledge, making it particularly well-suited for DAFL, where dynamic client participation requires communication efficiency and rapid adaptation to new data distributions. Based on this insight, we propose a Gene-driven parameter-efficient dynamic Federated Learning (GENE-FL) framework. First, local models perform quadratic constraints based on parameters with high Fisher values in the global model, as these parameters are considered to encapsulate generalizable knowledge. Second, we apply the strategy of parameter sensitivity analysis in local model parameters to condense the \textit{learnGene} for interaction. Finally, the server aggregates these small-scale trained \textit{learnGene}s into a robust \textit{learnGene} with cross-task generalization capability, facilitating the rapid initialization of dynamic agnostic client models. Extensive experimental results demonstrate that GENE-FL reduces \textbf{4 $\times$} communication costs compared to FEDAVG and effectively initializes agnostic client models with only about \textbf{9.04} MB.
- Abstract（参考訳）: Real-world \underline{F}ederated \underline{L}earning system はしばしば \underline{D}ynamic client with \underline{A}gnostic and highly heterogeneous data distributions (DAFL) と出会う。
これらの課題に対処するため、我々は最近提案されたLearngeneパラダイムからインスピレーションを得て、大規模モデルを軽量でクロスタスクなメタ情報断片に圧縮する。
Learngeneは、コア知識を効果的にカプセル化し、通信し、特にDAFLに適している。
この知見に基づき、遺伝子駆動型パラメータ効率動的フェデレートラーニング(GENE-FL)フレームワークを提案する。
第一に、局所モデルは、一般化可能な知識をカプセル化すると考えられるため、大域的モデルにおけるフィッシャー値の高いパラメータに基づいて二次的制約を実行する。
第二に、局所モデルパラメータにおけるパラメータ感度解析の戦略を適用して、相互作用に \textit{learnGene} を凝縮する。
最後に、サーバはこれらの小規模訓練された \textit{learnGene} を、クロスタスクの一般化機能を備えた堅牢な \textit{learnGene} に集約し、動的非依存のクライアントモデルの迅速な初期化を容易にする。
FEDAVGと比較して、GENE-FL は \textbf{4 $\times$} 通信コストを削減し、約 \textbf{9.04} MB のクライアントモデルを効果的に初期化することを示した。
関連論文リスト
- Federated Prototype Graph Learning [33.38948169766356]
Federated Graph Learning (FGL)は、その分散トレーニング機能に大きな注目を集めている。
FEMAIL: 上記の多レベルFGLの不均一性に対する一般プロトタイプ誘導最適化法としてFedPGを提案する。
実験により,FedPGは平均3.57%の精度でSOTAベースラインを上回り,通信コストを168倍に削減した。
論文 参考訳（メタデータ） (2025-04-13T09:21:21Z) - Instruction-Guided Autoregressive Neural Network Parameter Generation [49.800239140036496]
本稿では,多種多様なタスクやアーキテクチャにまたがるパラメータ合成を統一する自動回帰フレームワークIGPGを提案する。
ニューラルネットワーク重みのトークンを自動回帰的に生成することにより、IGPGは層間コヒーレンスを確保し、モデルとデータセット間の効率的な適応を可能にする。
複数のデータセットの実験により、IGPGは様々な事前訓練されたモデルを単一の柔軟な生成フレームワークに統合することを示した。
論文 参考訳（メタデータ） (2025-04-02T05:50:19Z) - Data-centric Federated Graph Learning with Large Language Models [34.224475952206404]
フェデレーショングラフ学習(FGL)では、完全なグラフは、プライバシー上の懸念により、各クライアントに格納された複数のサブグラフに分割される。
FGLの問題点は、ノードや構造がクライアント間で非IID特性を示す不均一性の問題である。
本稿では,FGLの大規模言語モデルのタスクを理論的に2つのサブタスクに分割する枠組みを提案する。
論文 参考訳（メタデータ） (2025-03-25T08:43:08Z) - Beyond the Federation: Topology-aware Federated Learning for Generalization to Unseen Clients [10.397502254316645]
フェデレートラーニングは、分散センシティブなデータに取り組むために広く利用されている。
Topology-Aware Federated Learning (TFL)は、オフ・オブ・フェデレーション(OOF)データに対して堅牢なモデルをトレーニングする。
クライアントトポロジ学習(Client Topology Learning)とクライアントトポロジ学習(Learning on Client Topology)という2つの重要なモジュールからなるTFLの新しい最適化問題を定式化する。
様々な実世界のデータセットに対する実証的な評価は、TFLの優れたOOF堅牢性とスケーラビリティを検証する。
論文 参考訳（メタデータ） (2024-07-06T03:57:05Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - FedTGP: Trainable Global Prototypes with Adaptive-Margin-Enhanced
Contrastive Learning for Data and Model Heterogeneity in Federated Learning [18.916282151435727]
不均一フェデレートラーニング(HtFL)は異種モデルやデータをサポートする能力から注目されている。
我々は,ACL(Adaptive-margin-enhanced Contrastive Learning)を活用して,サーバ上でトレーニング可能なグローバルプロトタイプ(TGP)を学習する,FedTGPという新しいHtFLアプローチを導入する。
論文 参考訳（メタデータ） (2024-01-06T14:43:47Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Federated Learning with Neural Graphical Models [2.2721854258621064]
フェデレートラーニング(FL)は、プロプライエタリなデータに基づいたモデルを作成する必要性に対処する。
我々は,局所的なNGMモデルから平均情報を学習するグローバルなNGMモデルを維持するFLフレームワークを開発した。
我々は、CDCの乳幼児死亡データからインサイトを抽出するためのFedNGMsの使用を実験的に実証した。
論文 参考訳（メタデータ） (2023-09-20T23:24:22Z) - Adapter-based Selective Knowledge Distillation for Federated
Multi-domain Meeting Summarization [36.916155654985936]
会議要約は、利用者に凝縮した要約を提供するための有望な手法として登場した。
本稿では,適応型選択的知識蒸留法(AdaFedSelecKD)を提案する。
論文 参考訳（メタデータ） (2023-08-07T03:34:01Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-24T08:41:19Z) - Lightweight, Dynamic Graph Convolutional Networks for AMR-to-Text
Generation [56.73834525802723]
軽量な動的グラフ畳み込みネットワーク (LDGCN) を提案する。
LDGCNは入力グラフから高次情報を合成することにより、よりリッチな非局所的な相互作用をキャプチャする。
我々は,グループグラフの畳み込みと重み付き畳み込みに基づく2つの新しいパラメータ保存戦略を開発し,メモリ使用量とモデル複雑性を低減する。
論文 参考訳（メタデータ） (2020-10-09T06:03:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。