論文の概要: A Framework for Double-Blind Federated Adaptation of Foundation Models

• arxiv url: http://arxiv.org/abs/2502.01289v1
• Date: Mon, 03 Feb 2025 12:00:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:21:54.73788
• Title: A Framework for Double-Blind Federated Adaptation of Foundation Models
• Title（参考訳）: ファンデーションモデルの二重ブラインドフェデレーション適応のためのフレームワーク
• Authors: Nurbek Tastan, Karthik Nandakumar,
• Abstract要約: 完全同型暗号(FHE)を用いたFMの二重盲連合適応のためのフレームワークを提案する。 提案したフレームワークは、FMを知識蒸留によりFHEフレンドリーなブロックの列に分解する。 結果として生じるFHEフレンドリーなモデルは、低ランクの並列アダプタを介して下流タスクに適応する。
• 参考スコア（独自算出の注目度）: 4.910367774892893
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The availability of foundational models (FMs) pre-trained on large-scale data has advanced the state-of-the-art in many computer vision tasks. While FMs have demonstrated good zero-shot performance on many image classification tasks, there is often scope for performance improvement by adapting the FM to the downstream task. However, the data that is required for this adaptation typically exists in silos across multiple entities (data owners) and cannot be collated at a central location due to regulations and privacy concerns. At the same time, a learning service provider (LSP) who owns the FM cannot share the model with the data owners due to proprietary reasons. In some cases, the data owners may not even have the resources to store such large FMs. Hence, there is a need for algorithms to adapt the FM in a double-blind federated manner, i.e., the data owners do not know the FM or each other's data, and the LSP does not see the data for the downstream tasks. In this work, we propose a framework for double-blind federated adaptation of FMs using fully homomorphic encryption (FHE). The proposed framework first decomposes the FM into a sequence of FHE-friendly blocks through knowledge distillation. The resulting FHE-friendly model is adapted for the downstream task via low-rank parallel adapters that can be learned without backpropagation through the FM. Since the proposed framework requires the LSP to share intermediate representations with the data owners, we design a privacy-preserving permutation scheme to prevent the data owners from learning the FM through model extraction attacks. Finally, a secure aggregation protocol is employed for federated learning of the low-rank parallel adapters. Empirical results on four datasets demonstrate the practical feasibility of the proposed framework.
• Abstract（参考訳）: 大規模データに事前訓練された基礎モデル(FM)の可用性は、多くのコンピュータビジョンタスクにおいて最先端の進歩を遂げている。 FMは、多くの画像分類タスクにおいて良いゼロショット性能を示してきたが、ダウンストリームタスクにFMを適用することで、性能改善のスコープがしばしば存在する。 しかし、この適応に必要なデータは、一般的に複数のエンティティ(データ所有者)にまたがるサイロに存在し、規制やプライバシー上の懸念により、中央の場所でコラージュすることはできない。 同時に、FMを所有している学習サービスプロバイダ(LSP)は、プロプライエタリな理由から、データ所有者とモデルを共有することはできない。 場合によっては、データ所有者はそのような大きなFMを保存するリソースさえ持っていないかもしれない。 したがって、FMを二重盲検で適応させるアルゴリズムが必要であり、すなわち、データ所有者はFMや他のデータを知ることができず、LSPは下流のタスクのデータを見ることができない。 本研究では,完全同型暗号(FHE)を用いたFMの二重盲連合適応のためのフレームワークを提案する。 提案したフレームワークは、FMを知識蒸留によりFHEフレンドリーなブロックの列に分解する。 結果として得られるFHEフレンドリなモデルは、FMを通してバックプロパゲーションなしで学習できる低ランク並列アダプタを介して下流タスクに適応する。 提案するフレームワークでは,データ所有者と中間表現を共有する必要があるため,データ所有者がモデル抽出攻撃によってFMを学習することを防止するために,プライバシ保護の置換スキームを設計する。 最後に、低ランク並列アダプタの連合学習にセキュアアグリゲーションプロトコルを用いる。 4つのデータセットの実証的な結果から,提案手法の有効性が示された。

関連論文リスト

• Towards Privacy-Preserving and Heterogeneity-aware Split Federated Learning via Probabilistic Masking [16.758567358839294]
  スプリット・フェデレート・ラーニング(SFL)は、従来のフェデレート・ラーニング(FL)に代わる効果的な代替手段として登場した。 本稿では,確率的マスクトレーニングを取り入れたスケーラブルかつプライバシ保護型SFLフレームワークPM-SFLを提案する。 画像および無線センシングタスクの実験は、PM-SFLが一貫して精度、通信効率、プライバシー攻撃を改善することを示した。
  論文  参考訳（メタデータ） (2025-09-18T04:28:08Z)
• Closer to Reality: Practical Semi-Supervised Federated Learning for Foundation Model Adaptation [56.36237936346563]
  ファンデーションモデル(FM)は顕著な一般化を示すが、下流のタスクに適応する必要がある。 データプライバシー規制のため、クラウドベースのFMはプライベートエッジデータに直接アクセスできない。 エッジデバイスがラベルのない低解像度のデータのみを保持する実践的セミスーパービジョン・フェデレーションラーニング(PSSFL)を導入する。 我々の研究は、フェデレートされたシナリオにおけるスケーラブルでプライバシ保護のFM適応の道を開いた。
  論文  参考訳（メタデータ） (2025-08-22T17:47:02Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• Fed-pilot: Optimizing LoRA Allocation for Efficient Federated Fine-Tuning with Heterogeneous Clients [11.102441622530181]
  メモリ効率の高いフェデレーションファインチューニングフレームワークであるFed-pilotを提案する。 メモリ制約のあるクライアントは、LoRAモジュールのサブセットのみをローカルにトレーニングすることで、ローランド適応(LoRA)ベースの微調整に参加することができる。 我々の知る限りでは、メモリ制約最適化を統合したFMのファインチューニングに関する最初の研究である。
  論文  参考訳（メタデータ） (2024-10-14T06:36:41Z)
• Synergizing Foundation Models and Federated Learning: A Survey [23.416321895575507]
  本稿では,フェデレートラーニング(FL)とファンデーションモデル(FM)の融合の可能性と課題について論じる。 FLは、さまざまな参加者からのデータ可用性の障壁を破る、共同学習パラダイムである。 プライバシを保護しながら、分散データセットを使用して、幅広いドメイン固有のタスクにFMをカスタマイズし、適応する有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-06-18T17:58:09Z)
• FedPFT: Federated Proxy Fine-Tuning of Foundation Models [55.58899993272904]
  フェデレートラーニング(FL)を通じて下流タスクにファンデーションモデル(FM)を適用することは、データプライバシと価値のあるFMを保護するための有望な戦略として現れます。 FLのクライアントにサブFMを割り当てることによる既存のFMの微調整手法は、チューニングが不十分で勾配の必然的エラー蓄積が避けられないため、最適以下の性能をもたらす。 本稿では,FedPFT(Federated Proxy Fine-Tuning)を提案する。
  論文  参考訳（メタデータ） (2024-04-17T16:30:06Z)
• FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
  フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。 本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
  論文  参考訳（メタデータ） (2024-03-10T08:41:22Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• EdgeFM: Leveraging Foundation Model for Open-set Learning on the Edge [15.559604113977294]
  We propose EdgeFM, a novel edge-cloud collaborative system with open-set recognition capabilities。 EdgeFMは、エンドツーエンドのレイテンシを3.2倍に削減し、ベースラインと比較して34.3%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-11-18T06:40:39Z)
• VideoGLUE: Video General Understanding Evaluation of Foundation Models [89.07145427268948]
  我々は、慎重に設計された実験プロトコルを用いて、基礎モデル(FM)の映像理解能力を評価する。 一般的な映像理解タスクに適応する際のFMの目印と有効性について共同で検討する。
  論文  参考訳（メタデータ） (2023-07-06T17:47:52Z)
• Federated Foundation Models: Privacy-Preserving and Collaborative Learning for Large Models [8.184714897613166]
  我々は、FMとFederated Learning(FL)の利点を組み合わせたFFM(Federated Foundation Models)パラダイムを提案する。 我々は,FMの寿命にFLを組み込むことの潜在的なメリットと課題について論じ,事前学習,微調整,応用について論じる。 エッジでの計算能力の増大は、データソースに近い新たに生成されたプライベートデータを用いてFMを最適化する可能性を解き放つ可能性があるため、FFMにおける連続的・長期学習の可能性を探る。
  論文  参考訳（メタデータ） (2023-05-19T03:51:59Z)
• FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated Learning [91.74206675452888]
  本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。 効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
  論文  参考訳（メタデータ） (2022-10-14T08:11:34Z)
• Boosting Factorization Machines via Saliency-Guided Mixup [125.15872106335692]
  我々は、MixupにインスパイアされたMixFMを紹介し、ファクトリゼーションマシン(FM)を強化するための補助的なトレーニングデータを生成する。 また、Saliency-Guided Mixup(SMFM)を利用した新しいファクトリゼーションマシンも提案した。
  論文  参考訳（メタデータ） (2022-06-17T09:49:00Z)
• Federated Learning from Only Unlabeled Data with Class-Conditional-Sharing Clients [98.22390453672499]
  Supervised Federated Learning (FL)は、複数のクライアントがラベル付きデータを共有せずにトレーニングされたモデルを共有することを可能にする。 本研究では,教師なし学習(FedUL)のフェデレーションを提案し,各クライアントのラベル付きデータにラベル付きデータを変換する。
  論文  参考訳（メタデータ） (2022-04-07T09:12:00Z)
• EFMVFL: An Efficient and Flexible Multi-party Vertical Federated Learning without a Third Party [7.873139977724476]
  フェデレートラーニング(Federated Learning)は、複数の参加者が、ローカルデータを開示することなく、共同でモデリングを行うことを可能にする。 EFMVFLと呼ばれるサードパーティを使わずに新しいVFLフレームワークを提案する。 私たちのフレームワークはセキュアで、より効率的で、複数の参加者に拡張が容易です。
  論文  参考訳（メタデータ） (2022-01-17T07:06:21Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。