論文の概要: A Framework for Double-Blind Federated Adaptation of Foundation Models

• arxiv url: http://arxiv.org/abs/2502.01289v2
• Date: Wed, 01 Oct 2025 15:14:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-02 14:33:21.504358
• Title: A Framework for Double-Blind Federated Adaptation of Foundation Models
• Title（参考訳）: ファンデーションモデルの二重ブラインドフェデレーション適応のためのフレームワーク
• Authors: Nurbek Tastan, Karthik Nandakumar,
• Abstract要約: BlindFedは、双方を保護しながら協調FM適応を可能にするフレームワークである。 BlindFedは完全同型暗号(FHE)に依存している 4つの画像分類データセットの実証結果は、BlindFedフレームワークの実用可能性を示している。
• 参考スコア（独自算出の注目度）: 31.36024309218701
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Foundation models (FMs) excel in zero-shot tasks but benefit from task-specific adaptation. However, privacy concerns prevent data sharing among multiple data owners, and proprietary restrictions prevent the learning service provider (LSP) from sharing the FM. In this work, we propose BlindFed, a framework enabling collaborative FM adaptation while protecting both parties: data owners do not access the FM or each other's data, and the LSP does not see sensitive task data. BlindFed relies on fully homomorphic encryption (FHE) and consists of three key innovations: (i) FHE-friendly architectural modifications via polynomial approximations and low-rank adapters, (ii) a two-stage split learning approach combining offline knowledge distillation and online encrypted inference for adapter training without backpropagation through the FM, and (iii) a privacy-boosting scheme using sample permutations and stochastic block sampling to mitigate model extraction attacks. Empirical results on four image classification datasets demonstrate the practical feasibility of the BlindFed framework, albeit at a high communication cost and large computational complexity for the LSP.
• Abstract（参考訳）: ファンデーションモデル(FM)はゼロショットタスクでは優れているが、タスク固有の適応の恩恵を受ける。 しかし、プライバシに関する懸念は、複数のデータ所有者間でのデータ共有を妨げ、プロプライエタリな制限は、学習サービスプロバイダ(LSP)がFMを共有することを妨げている。 本研究では,データ所有者がFMや相互のデータにアクセスせず,LSPが機密性の高いタスクデータを見ることなく,協調的FM適応を可能にするフレームワークであるBlindFedを提案する。 BlindFedは完全同型暗号化(FHE)に依存しており、3つの重要なイノベーションで構成されている。 一 多項式近似及び低ランクアダプタによるFHEフレンドリーなアーキテクチャ変更 (二)FM経由のバックプロパゲーションのないアダプタ教育のためのオフライン知識蒸留とオンライン暗号化推論を組み合わせた二段階分割学習手法 3) モデル抽出攻撃を緩和するために, サンプル置換と確率的ブロックサンプリングを用いたプライバシブースティング方式。 4つの画像分類データセットの実証的な結果は、通信コストが高く、LSPの計算複雑性が大きいにもかかわらず、BlindFedフレームワークの実現可能性を示している。

関連論文リスト

• Towards Privacy-Preserving and Heterogeneity-aware Split Federated Learning via Probabilistic Masking [16.758567358839294]
  スプリット・フェデレート・ラーニング(SFL)は、従来のフェデレート・ラーニング(FL)に代わる効果的な代替手段として登場した。 本稿では,確率的マスクトレーニングを取り入れたスケーラブルかつプライバシ保護型SFLフレームワークPM-SFLを提案する。 画像および無線センシングタスクの実験は、PM-SFLが一貫して精度、通信効率、プライバシー攻撃を改善することを示した。
  論文  参考訳（メタデータ） (2025-09-18T04:28:08Z)
• Closer to Reality: Practical Semi-Supervised Federated Learning for Foundation Model Adaptation [56.36237936346563]
  ファンデーションモデル(FM)は顕著な一般化を示すが、下流のタスクに適応する必要がある。 データプライバシー規制のため、クラウドベースのFMはプライベートエッジデータに直接アクセスできない。 エッジデバイスがラベルのない低解像度のデータのみを保持する実践的セミスーパービジョン・フェデレーションラーニング(PSSFL)を導入する。 我々の研究は、フェデレートされたシナリオにおけるスケーラブルでプライバシ保護のFM適応の道を開いた。
  論文  参考訳（メタデータ） (2025-08-22T17:47:02Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• Fed-pilot: Optimizing LoRA Allocation for Efficient Federated Fine-Tuning with Heterogeneous Clients [11.102441622530181]
  メモリ効率の高いフェデレーションファインチューニングフレームワークであるFed-pilotを提案する。 メモリ制約のあるクライアントは、LoRAモジュールのサブセットのみをローカルにトレーニングすることで、ローランド適応(LoRA)ベースの微調整に参加することができる。 我々の知る限りでは、メモリ制約最適化を統合したFMのファインチューニングに関する最初の研究である。
  論文  参考訳（メタデータ） (2024-10-14T06:36:41Z)
• Synergizing Foundation Models and Federated Learning: A Survey [23.416321895575507]
  本稿では,フェデレートラーニング(FL)とファンデーションモデル(FM)の融合の可能性と課題について論じる。 FLは、さまざまな参加者からのデータ可用性の障壁を破る、共同学習パラダイムである。 プライバシを保護しながら、分散データセットを使用して、幅広いドメイン固有のタスクにFMをカスタマイズし、適応する有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-06-18T17:58:09Z)
• FedPFT: Federated Proxy Fine-Tuning of Foundation Models [55.58899993272904]
  フェデレートラーニング(FL)を通じて下流タスクにファンデーションモデル(FM)を適用することは、データプライバシと価値のあるFMを保護するための有望な戦略として現れます。 FLのクライアントにサブFMを割り当てることによる既存のFMの微調整手法は、チューニングが不十分で勾配の必然的エラー蓄積が避けられないため、最適以下の性能をもたらす。 本稿では,FedPFT(Federated Proxy Fine-Tuning)を提案する。
  論文  参考訳（メタデータ） (2024-04-17T16:30:06Z)
• FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
  フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。 本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
  論文  参考訳（メタデータ） (2024-03-10T08:41:22Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• EdgeFM: Leveraging Foundation Model for Open-set Learning on the Edge [15.559604113977294]
  We propose EdgeFM, a novel edge-cloud collaborative system with open-set recognition capabilities。 EdgeFMは、エンドツーエンドのレイテンシを3.2倍に削減し、ベースラインと比較して34.3%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-11-18T06:40:39Z)
• VideoGLUE: Video General Understanding Evaluation of Foundation Models [89.07145427268948]
  我々は、慎重に設計された実験プロトコルを用いて、基礎モデル(FM)の映像理解能力を評価する。 一般的な映像理解タスクに適応する際のFMの目印と有効性について共同で検討する。
  論文  参考訳（メタデータ） (2023-07-06T17:47:52Z)
• Federated Foundation Models: Privacy-Preserving and Collaborative Learning for Large Models [8.184714897613166]
  我々は、FMとFederated Learning(FL)の利点を組み合わせたFFM(Federated Foundation Models)パラダイムを提案する。 我々は,FMの寿命にFLを組み込むことの潜在的なメリットと課題について論じ,事前学習,微調整,応用について論じる。 エッジでの計算能力の増大は、データソースに近い新たに生成されたプライベートデータを用いてFMを最適化する可能性を解き放つ可能性があるため、FFMにおける連続的・長期学習の可能性を探る。
  論文  参考訳（メタデータ） (2023-05-19T03:51:59Z)
• FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated Learning [91.74206675452888]
  本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。 効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
  論文  参考訳（メタデータ） (2022-10-14T08:11:34Z)
• Boosting Factorization Machines via Saliency-Guided Mixup [125.15872106335692]
  我々は、MixupにインスパイアされたMixFMを紹介し、ファクトリゼーションマシン(FM)を強化するための補助的なトレーニングデータを生成する。 また、Saliency-Guided Mixup(SMFM)を利用した新しいファクトリゼーションマシンも提案した。
  論文  参考訳（メタデータ） (2022-06-17T09:49:00Z)
• Federated Learning from Only Unlabeled Data with Class-Conditional-Sharing Clients [98.22390453672499]
  Supervised Federated Learning (FL)は、複数のクライアントがラベル付きデータを共有せずにトレーニングされたモデルを共有することを可能にする。 本研究では,教師なし学習(FedUL)のフェデレーションを提案し,各クライアントのラベル付きデータにラベル付きデータを変換する。
  論文  参考訳（メタデータ） (2022-04-07T09:12:00Z)
• EFMVFL: An Efficient and Flexible Multi-party Vertical Federated Learning without a Third Party [7.873139977724476]
  フェデレートラーニング(Federated Learning)は、複数の参加者が、ローカルデータを開示することなく、共同でモデリングを行うことを可能にする。 EFMVFLと呼ばれるサードパーティを使わずに新しいVFLフレームワークを提案する。 私たちのフレームワークはセキュアで、より効率的で、複数の参加者に拡張が容易です。
  論文  参考訳（メタデータ） (2022-01-17T07:06:21Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。