論文の概要: Dual-Personalizing Adapter for Federated Foundation Models

• arxiv url: http://arxiv.org/abs/2403.19211v1
• Date: Thu, 28 Mar 2024 08:19:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 17:03:08.536767
• Title: Dual-Personalizing Adapter for Federated Foundation Models
• Title（参考訳）: フェデレーションモデルのためのデュアルパーソナライズアダプタ
• Authors: Yiyuan Yang, Guodong Long, Tao Shen, Jing Jiang, Michael Blumenstein,
• Abstract要約: そこで我々は,テストタイムのパーソナライゼーション(test-time personalization)という新たな設定を提案し,対象とするローカルタスクに集中し,テストタイムの分散シフトを示すタスクに拡張する。 具体的には、グローバルアダプタとテスト時間分散シフトとパーソナライズに対処するローカルアダプタからなる、二重対人アダプタアーキテクチャ(FedDPA)を提案する。 提案手法の有効性を,異なるNLPタスクのベンチマークデータセットを用いて評価した。
• 参考スコア（独自算出の注目度）: 35.863585349109385
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recently, foundation models, particularly large language models (LLMs), have demonstrated an impressive ability to adapt to various tasks by fine-tuning large amounts of instruction data. Notably, federated foundation models emerge as a privacy preservation method to fine-tune models collaboratively under federated learning (FL) settings by leveraging many distributed datasets with non-IID data. To alleviate communication and computation overhead, parameter-efficient methods are introduced for efficiency, and some research adapted personalization methods to federated foundation models for better user preferences alignment. However, a critical gap in existing research is the neglect of test-time distribution shifts in real-world applications. Therefore, to bridge this gap, we propose a new setting, termed test-time personalization, which not only concentrates on the targeted local task but also extends to other tasks that exhibit test-time distribution shifts. To address challenges in this new setting, we explore a simple yet effective solution to learn a comprehensive foundation model. Specifically, a dual-personalizing adapter architecture (FedDPA) is proposed, comprising a global adapter and a local adapter for addressing test-time distribution shifts and personalization, respectively. Additionally, we introduce an instance-wise dynamic weighting mechanism to optimize the balance between the global and local adapters, enhancing overall performance. The effectiveness of the proposed method has been evaluated on benchmark datasets across different NLP tasks.
• Abstract（参考訳）: 近年,基礎モデル,特に大規模言語モデル (LLM) は,大量の命令データを微調整することで,様々なタスクに適応できることが実証されている。 特に、フェデレーションベースモデルは、非IIDデータによる多くの分散データセットを活用することにより、フェデレーションラーニング(FL)設定下で協調的にモデルを微調整するプライバシー保護手法として出現する。 コミュニケーションと計算のオーバーヘッドを軽減するために, パラメータ効率の手法を導入し, ユーザ嗜好の整合性を高めるために, ファウンデーションモデルに適応したパーソナライズ手法を提案する。 しかし、既存の研究における重要なギャップは、実世界のアプリケーションにおけるテスト時間分布シフトの無視である。 そこで我々は,このギャップを埋めるため,テストタイムパーソナライゼーションと呼ばれる新たな設定を提案する。 この新たな環境での課題に対処するため、包括的基礎モデルを学ぶためのシンプルだが効果的なソリューションを探究する。 具体的には、グローバルアダプタと、テスト時間分布シフトとパーソナライズに対処するローカルアダプタからなる、二重対人アダプタアーキテクチャ(FedDPA)を提案する。 さらに,グローバルアダプタとローカルアダプタのバランスを最適化し,全体的な性能を向上させるために,インスタンス単位の動的重み付け機構を導入する。 提案手法の有効性を,異なるNLPタスクのベンチマークデータセットを用いて評価した。

関連論文リスト

• MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
  テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。 本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:02:33Z)
• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• One-Shot Sequential Federated Learning for Non-IID Data by Enhancing Local Model Diversity [26.09617693587105]
  我々は,局所モデルの多様性向上戦略を提案することにより,非IIDデータに対する一発の逐次フェデレーション学習を改善する。 提案手法は,既存のワンショットPFL法よりも優れた性能を示し,最先端のワンショットSFL法と比較して精度が向上する。
  論文  参考訳（メタデータ） (2024-04-18T12:31:48Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal Heterogeneous Federated Learning [37.96957782129352]
  我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。 Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。 その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-08-21T21:57:01Z)
• Towards Personalized Federated Learning via Heterogeneous Model Reassembly [84.44268421053043]
  pFedHRは、異種モデルの再組み立てを利用して、パーソナライズされたフェデレーション学習を実現するフレームワークである。 pFedHRは、動的に多様なパーソナライズされたモデルを自動生成する。
  論文  参考訳（メタデータ） (2023-08-16T19:36:01Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Out-of-distribution Few-shot Learning For Edge Devices without Model Fine-tuning [10.422316867474681]
  エッジデバイス上でパーソナライズされたユーザエクスペリエンスを実現するための,有望なテクニックは少ない。 本稿では,バックプロパゲーションを伴わないディープニューラルネットワークの効率的なタスク認識適応を可能にする,タスク認識正規化(TANO)と呼ばれるプラグイン・アンド・プレイモジュールを提案する。 TANOは、正規化統計量の安定だがタスク固有の推定を提供し、分配ギャップを埋め、効率的なモデル適応を実現する。
  論文  参考訳（メタデータ） (2023-04-13T07:33:22Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。