論文の概要: Probabilistic Federated Prompt-Tuning with Non-IID and Imbalanced Data

• arxiv url: http://arxiv.org/abs/2502.19752v1
• Date: Thu, 27 Feb 2025 04:31:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:58:40.805187
• Title: Probabilistic Federated Prompt-Tuning with Non-IID and Imbalanced Data
• Title（参考訳）: 非IIDおよび不均衡データを用いた確率的フェデレーション・プロンプトチューニング
• Authors: Pei-Yau Weng, Minh Hoang, Lam M. Nguyen, My T. Thai, Tsui-Wei Weng, Trong Nghia Hoang,
• Abstract要約: 微調整事前学習モデルは、適度なデータで複雑なタスクを解決する機械学習の一般的なアプローチである。 事前訓練されたモデル全体を微調整することは、ローカルデータ分布が多様に歪んだフェデレーションデータシナリオでは効果がない。 提案手法は,フェデレーション学習を分散集合モデリングタスクに変換し,事前学習したモデルを世界規模で微調整するための多様なプロンプトを集約する。
• 参考スコア（独自算出の注目度）: 35.47385526394076
• License:
• Abstract: Fine-tuning pre-trained models is a popular approach in machine learning for solving complex tasks with moderate data. However, fine-tuning the entire pre-trained model is ineffective in federated data scenarios where local data distributions are diversely skewed. To address this, we explore integrating federated learning with a more effective prompt-tuning method, optimizing for a small set of input prefixes to reprogram the pre-trained model's behavior. Our approach transforms federated learning into a distributed set modeling task, aggregating diverse sets of prompts to globally fine-tune the pre-trained model. We benchmark various baselines based on direct adaptations of existing federated model aggregation techniques and introduce a new probabilistic prompt aggregation method that substantially outperforms these baselines. Our reported results on a variety of computer vision datasets confirm that the proposed method is most effective to combat extreme data heterogeneity in federated learning.
• Abstract（参考訳）: 微調整事前学習モデルは、適度なデータで複雑なタスクを解決する機械学習の一般的なアプローチである。 しかし、事前訓練されたモデル全体を微調整することは、局所的なデータ分布が多様に歪んだフェデレーションデータシナリオでは効果がない。 そこで本研究では,フェデレート学習とより効果的なプロンプトチューニング手法の統合について検討し,事前学習されたモデルの振る舞いをプログラムするために,少数の入力プレフィックスを最適化する。 提案手法は,フェデレーション学習を分散集合モデリングタスクに変換し,事前学習したモデルを世界規模で微調整するための多様なプロンプトを集約する。 我々は,既存のフェデレーションモデルアグリゲーション手法の直接適応に基づいて,様々なベースラインをベンチマークし,これらのベースラインを大幅に上回る確率的プロンプトアグリゲーション手法を提案する。 各種コンピュータビジョンデータセットの報告結果から,フェデレート学習における極端なデータ不均一性に対処する上で,提案手法が最も有効であることが確認された。

関連論文リスト

• Multiply Robust Estimation for Local Distribution Shifts with Multiple Domains [9.429772474335122]
  我々は、全人口の複数のセグメントにまたがってデータ分布が変化するシナリオに焦点を当てる。 そこで本研究では,各セグメントのモデル性能を改善するために,二段階多重ロバスト推定法を提案する。 本手法は,市販の機械学習モデルを用いて実装されるように設計されている。
  論文  参考訳（メタデータ） (2024-02-21T22:01:10Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Pre-trained Recommender Systems: A Causal Debiasing Perspective [19.712997823535066]
  本研究では,異なるドメインから抽出した汎用ユーザ・イテムインタラクションデータをトレーニングすることで,ユニバーサルインタラクションパターンをキャプチャする汎用レコメンデータを開発する。 実験により,提案モデルにより,ゼロショットと少数ショットの学習環境での推薦性能が大幅に向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-30T03:37:32Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Deep Unfolding-based Weighted Averaging for Federated Learning in Heterogeneous Environments [11.023081396326507]
  フェデレートラーニング(Federated Learning)は、複数のクライアントによるモデル更新と、中央サーバによるアップデートの集約を反復する、協調的なモデルトレーニング手法である。 そこで本研究では, パラメータ調整法として, 深部展開法(deep unfolding)を用いる。 提案手法は,実世界の現実的なタスクを遂行できるような事前学習モデルを用いて,大規模学習モデルを扱うことができる。
  論文  参考訳（メタデータ） (2022-12-23T08:20:37Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。