論文の概要: Closed-form merging of parameter-efficient modules for Federated Continual Learning

• arxiv url: http://arxiv.org/abs/2410.17961v1
• Date: Wed, 23 Oct 2024 15:30:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:56:50.335957
• Title: Closed-form merging of parameter-efficient modules for Federated Continual Learning
• Title（参考訳）: 連立連続学習のためのパラメータ効率モジュールの閉形式マージ
• Authors: Riccardo Salami, Pietro Buzzega, Matteo Mosconi, Jacopo Bonato, Luigi Sabetta, Simone Calderara,
• Abstract要約: 一度に1つのLoRA行列をトレーニングする交代最適化戦略であるLoRMを導入する。 これにより、未知の変数を個別に解くことができ、ユニークな解を見つけることができる。 本手法は,さまざまなFCILシナリオにおける最先端性能を示す。
• 参考スコア（独自算出の注目度）: 9.940242741914748
• License:
• Abstract: Model merging has emerged as a crucial technique in Deep Learning, enabling the integration of multiple models into a unified system while preserving performance and scalability. In this respect, the compositional properties of low-rank adaptation techniques (e.g., LoRA) have proven beneficial, as simple averaging LoRA modules yields a single model that mostly integrates the capabilities of all individual modules. Building on LoRA, we take a step further by imposing that the merged model matches the responses of all learned modules. Solving this objective in closed form yields an indeterminate system with A and B as unknown variables, indicating the existence of infinitely many closed-form solutions. To address this challenge, we introduce LoRM, an alternating optimization strategy that trains one LoRA matrix at a time. This allows solving for each unknown variable individually, thus finding a unique solution. We apply our proposed methodology to Federated Class-Incremental Learning (FCIL), ensuring alignment of model responses both between clients and across tasks. Our method demonstrates state-of-the-art performance across a range of FCIL scenarios.
• Abstract（参考訳）: モデルマージはディープラーニングにおいて重要なテクニックとして現れ、パフォーマンスとスケーラビリティを保ちながら、複数のモデルを統一システムに統合することを可能にする。 この点において、ローランク適応手法(例えば、LoRA)の合成特性は、単純な平均化 LoRA 加群が全ての個々の加群の能力を主に統合する単一のモデルを生成するので、有益であることが証明されている。 LoRA上では、マージされたモデルが学習したすべてのモジュールの応答と一致することを示唆して、さらに一歩踏み出します。 この目的を閉形式で解くと、A と B を未知変数とする不定値系が得られ、無限に多くの閉形式解が存在することを示す。 この課題に対処するために、一度に1つのLoRA行列をトレーニングする交代最適化戦略であるLoRMを導入する。 これにより、未知の変数を個別に解くことができ、ユニークな解を見つけることができる。 提案手法をFCIL(Federated Class-Incremental Learning)に適用し,クライアント間およびタスク間のモデル応答の整合性を確保する。 本手法は,さまざまなFCILシナリオにおける最先端性能を示す。

関連論文リスト

• Efficient and Effective Weight-Ensembling Mixture of Experts for Multi-Task Model Merging [111.8456671452411]
  マルチタスク学習(MTL)は、共有モデルを利用して複数のタスクを遂行し、知識伝達を促進する。 マルチタスクモデル統合のためのウェイトエンセブリング・ミックス・オブ・エキスパート(WEMoE)手法を提案する。 WEMoEとE-WEMoEは, MTL性能, 一般化, 堅牢性の観点から, 最先端(SOTA)モデルマージ法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-29T07:16:31Z)
• Federated Automatic Latent Variable Selection in Multi-output Gaussian Processes [0.7366405857677227]
  ユニット間で知識を伝達するMGPの一般的なアプローチは、各ユニットから中央サーバーへのすべてのデータ収集である。 本稿では,各潜伏過程の係数にスパイク・アンド・スラブ先行を配置する階層モデルを提案する。 これらの先行は、不要なものの係数を0に縮めることで、必要な潜在プロセスのみを自動的に選択するのに役立つ。
  論文  参考訳（メタデータ） (2024-07-24T02:03:28Z)
• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Self-Supervised Representation Learning with Meta Comprehensive Regularization [11.387994024747842]
  既存の自己管理フレームワークに組み込まれたCompMod with Meta Comprehensive Regularization (MCR)というモジュールを導入する。 提案したモデルを双方向最適化機構により更新し,包括的特徴を捉える。 本稿では,情報理論と因果対実的視点から提案手法の理論的支援を行う。
  論文  参考訳（メタデータ） (2024-03-03T15:53:48Z)
• FedSDD: Scalable and Diversity-enhanced Distillation for Model Aggregation in Federated Learning [15.39242780506777]
  本稿では,フェデレーション学習のためのスケーラブルで多様性に富んだフェデレーション蒸留方式であるFedSDDを提案する。 FedSDDは、スケーラビリティを高めるために、クライアントの数からトレーニングの複雑さを分離し、集約されたモデルの集合からアンサンブルを構築する。 実験の結果、FedSDDはベンチマークデータセット上でFedAvgやFedDFなど他のFLメソッドよりも優れていた。
  論文  参考訳（メタデータ） (2023-12-28T14:10:00Z)
• Cross-Silo Federated Learning Across Divergent Domains with Iterative Parameter Alignment [4.95475852994362]
  フェデレートラーニング(Federated Learning)は、リモートクライアント間で機械学習モデルをトレーニングする手法である。 我々は、共通の目的のために最適化されたNモデルを学ぶために、典型的な連合学習環境を再構築する。 この技術は、最先端のアプローチと比較して、様々なデータパーティションにおける競合的な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-11-08T16:42:14Z)
• Module-wise Adaptive Distillation for Multimodality Foundation Models [125.42414892566843]
  マルチモーダル・ファンデーション・モデルは 目覚ましい 一般化性を示したが 規模が大きいため 展開に挑戦する 規模を減らすための効果的なアプローチの1つは層単位での蒸留であり、小さな学生モデルは各層で大きな教師モデルの隠された表現と一致するように訓練される。 そこで本研究では, 各モジュールの蒸留後の損失デクリメントを記録し, より頻繁な蒸留に寄与するモジュールを選択することによって, 個々のモジュールの寄与をトラックすることを提案する。
  論文  参考訳（メタデータ） (2023-10-06T19:24:00Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。