論文の概要: Personalized Federated Instruction Tuning via Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2402.16919v1
• Date: Mon, 26 Feb 2024 06:29:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 19:01:43.952203
• Title: Personalized Federated Instruction Tuning via Neural Architecture Search
• Title（参考訳）: ニューラルアーキテクチャサーチによる個人化フェデレーションチューニング
• Authors: Pengyu Zhang, Yingbo Zhou, Ming Hu, Junxian Feng, Jiawen Weng, and Mingsong Chen
• Abstract要約: Federated Instruction Tuning (FIT)は、プライベートデータを共有することなく、大規模データ所有者間で協調的なモデルチューニングを実現する能力を示している。 データ所有者間でのデータの分散や嗜好の変化により、FITは個々の所有者のパーソナライズされたデータに適応できない。 アーキテクチャ探索に基づくパーソナライズド・フェデレーション・インストラクション・チューニング(PerFIT)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 25.19100691411643
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Instruction Tuning (FIT) has shown the ability to achieve collaborative model instruction tuning among massive data owners without sharing private data. However, it still faces two key challenges, i.e., data and resource heterogeneity. Due to the varying data distribution and preferences among data owners, FIT cannot adapt to the personalized data of individual owners. Moreover, clients with superior computational abilities are constrained since they need to maintain the same fine-tuning architecture as the weaker clients. To address these issues, we propose a novel Personalized Federated Instruction Tuning (PerFIT) framework based on architecture search. Specifically, PerFIT allows each client to search for a personalized architecture by expanding the trainable parameter space of the global model followed by pruning the parameters to the original state. This procedure allows personalized instruction fine-tuning within expanded parameter spaces, concurrently preserving the same number of trainable parameters. Furthermore, to release the abilities of heterogeneous computational resources and enhance the performance of personalization on local data, we exploit personalized parameter-wise aggregation. The evaluation with multiple LLMs non-IID scenarios demonstrates that compared to the state-of-the-art FIT methods, our approach can achieve up to a 23% decrease in perplexity.
• Abstract（参考訳）: Federated Instruction Tuning (FIT)は、プライベートデータを共有することなく、大規模データ所有者間で協調的なモデルチューニングを実現する能力を示している。 しかし、データとリソースの不均一性という2つの重要な課題に直面している。 データ所有者間でのデータの分散や嗜好の変化により、FITは個々の所有者のパーソナライズされたデータに適応できない。 さらに、計算能力に優れたクライアントは、弱いクライアントと同じ微調整アーキテクチャを維持する必要があるため、制約を受ける。 これらの課題に対処するために,アーキテクチャ探索に基づく新しいパーソナライズド・フェデレーション・インストラクション・チューニング(PerFIT)フレームワークを提案する。 具体的には,グローバルモデルのトレーニング可能なパラメータ空間を拡張した上で,パラメータを元の状態にプルーニングすることで,各クライアントがパーソナライズされたアーキテクチャを検索することができる。 この手順は、拡張されたパラメータ空間内でパーソナライズされた命令の微調整を可能にする。 さらに,ヘテロジニアス計算資源の能力を解放し,局所データにおけるパーソナライズ性能を向上させるために,パーソナライズされたパラメータ・アグリゲーションを利用する。 複数のLLMの非IIDシナリオによる評価は, 最先端FIT法と比較して, パープレキシティの最大で23%低下することを示す。

関連論文リスト

• MAP: Model Aggregation and Personalization in Federated Learning with Incomplete Classes [49.22075916259368]
  一部の実世界のアプリケーションでは、データサンプルは通常、ローカルデバイスに分散される。 本稿では,クライアントが不完全なクラスを所有する特別なI.I.D.シーンに焦点を当てる。 提案するMAPアルゴリズムは,FLにおけるアグリゲーションとパーソナライゼーションの目標を同時に達成できる。
  論文  参考訳（メタデータ） (2024-04-14T12:22:42Z)
• FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
  フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。 本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
  論文  参考訳（メタデータ） (2024-03-10T08:41:22Z)
• Profit: Benchmarking Personalization and Robustness Trade-off in Federated Prompt Tuning [40.16581292336117]
  フェデレートラーニング(FL)の多くの応用において、クライアントはローカルデータを用いてパーソナライズされたモデルを求めているが、一般的なグローバルな知識を保持するという意味でも堅牢である。 フェデレーションシステムの設計において、このパーソナライゼーションとロバストネスのトレードオフをどのようにナビゲートするかを理解することは重要である。
  論文  参考訳（メタデータ） (2023-10-06T23:46:33Z)
• Efficient Model Personalization in Federated Learning via Client-Specific Prompt Generation [38.42808389088285]
  フェデレーション学習(FL)は、データを共有せずに複数の分散クライアントからモデルをトレーニングし、プライバシを保存する分散学習フレームワークとして登場した。 クライアント固有のPrompt Generation(pFedPG)のパーソナライズされたFLフレームワークを提案する。 pFedPGはサーバにパーソナライズされたプロンプトジェネレータを配置してクライアント固有のビジュアルプロンプトを生成し、凍結したバックボーンをローカルデータ分散に効率的に適応させる。
  論文  参考訳（メタデータ） (2023-08-29T15:03:05Z)
• Towards Personalized Federated Learning via Heterogeneous Model Reassembly [84.44268421053043]
  pFedHRは、異種モデルの再組み立てを利用して、パーソナライズされたフェデレーション学習を実現するフレームワークである。 pFedHRは、動的に多様なパーソナライズされたモデルを自動生成する。
  論文  参考訳（メタデータ） (2023-08-16T19:36:01Z)
• FedJETs: Efficient Just-In-Time Personalization with Federated Mixture of Experts [48.78037006856208]
  FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。 我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。 我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
  論文  参考訳（メタデータ） (2023-06-14T15:47:52Z)
• Partially Personalized Federated Learning: Breaking the Curse of Data Heterogeneity [8.08257664697228]
  我々は,個人化の柔軟性とグローバルトレーニングの協調性とのバランスを崩す,フェデレートラーニング(FL)の部分的にパーソナライズされた定式化を提案する。 フレームワークでは、変数をグローバルパラメータに分割し、すべてのクライアント間で共有し、個々のローカルパラメータをプライベートにしておく。 パラメータの適切な分割の下では、各クライアントがデータを完璧に適合させるグローバルパラメータを見つけ、得られた問題をオーバーパーソナライズされたものとして参照することが可能である。
  論文  参考訳（メタデータ） (2023-05-29T17:54:50Z)
• Visual Prompt Based Personalized Federated Learning [83.04104655903846]
  pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2023-03-15T15:02:15Z)
• Personalizing or Not: Dynamically Personalized Federated Learning with Incentives [37.42347737911428]
  個人データを共有せずにパーソナライズされたモデルを学習するためのパーソナライズド・フェデレーション・ラーニング(FL)を提案する。 パーソナライズレートは、パーソナライズされたモデルのトレーニングを希望する顧客の割合として測定され、フェデレーションされた設定に導入され、DyPFLを提案する。 この技術は、クライアントがローカルモデルをパーソナライズすることへのインセンティブを与えると同時に、より優れたパフォーマンスでグローバルモデルを採用できるようにする。
  論文  参考訳（メタデータ） (2022-08-12T09:51:20Z)
• Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
  そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。 基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。 この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
  論文  参考訳（メタデータ） (2020-12-15T19:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。