論文の概要: Enhancing Model Privacy in Federated Learning with Random Masking and Quantization

• arxiv url: http://arxiv.org/abs/2508.18911v2
• Date: Wed, 27 Aug 2025 04:14:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 12:43:57.509825
• Title: Enhancing Model Privacy in Federated Learning with Random Masking and Quantization
• Title（参考訳）: ランダムマスキングと量子化によるフェデレーション学習におけるモデルのプライバシ向上
• Authors: Zhibo Xu, Jianhao Zhu, Jingwen Xu, Changze Lv, Zisu Huang, Xiaohua Wang, Muling Wu, Qi Qian, Xiaoqing Zheng, Xuanjing Huang,
• Abstract要約: 大規模言語モデル(LLM)の台頭は、分散システムに新たな課題をもたらした。 これは、センシティブなデータとプロプライエタリなモデルの両方を保護可能な、フェデレーション付き学習アプローチの必要性を強調している。 モデルパラメータのサブネットワークを隠蔽するためにランダムマスキングを利用するフェデレート学習手法であるFedQSNを提案する。
• 参考スコア（独自算出の注目度）: 46.915409150222494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The primary goal of traditional federated learning is to protect data privacy by enabling distributed edge devices to collaboratively train a shared global model while keeping raw data decentralized at local clients. The rise of large language models (LLMs) has introduced new challenges in distributed systems, as their substantial computational requirements and the need for specialized expertise raise critical concerns about protecting intellectual property (IP). This highlights the need for a federated learning approach that can safeguard both sensitive data and proprietary models. To tackle this challenge, we propose FedQSN, a federated learning approach that leverages random masking to obscure a subnetwork of model parameters and applies quantization to the remaining parameters. Consequently, the server transmits only a privacy-preserving proxy of the global model to clients during each communication round, thus enhancing the model's confidentiality. Experimental results across various models and tasks demonstrate that our approach not only maintains strong model performance in federated learning settings but also achieves enhanced protection of model parameters compared to baseline methods.
• Abstract（参考訳）: 従来のフェデレーション学習の第一の目的は、分散エッジデバイスが、ローカルクライアントで生データを分散化しながら、共有グローバルモデルを共同でトレーニングできるようにすることで、データのプライバシを保護することである。 大規模言語モデル(LLM)の台頭は、その相当な計算要求と専門知識の必要性によって、知的財産権(IP)の保護に関する重要な懸念が提起されるなど、分散システムにおける新たな課題をもたらしている。 これは、センシティブなデータとプロプライエタリなモデルの両方を保護可能な、フェデレーション付き学習アプローチの必要性を強調している。 この課題に対処するためにFedQSNを提案する。これはランダムマスキングを利用してモデルパラメータのサブネットワークを隠蔽し、残りのパラメータに量子化を適用するフェデレート学習手法である。 これにより、サーバは、各通信ラウンド中にグローバルモデルのプライバシ保護プロキシのみをクライアントに送信し、モデルの機密性を高める。 様々なモデルやタスクにまたがる実験結果から,我々の手法は,フェデレートした学習環境において,強力なモデル性能を維持するだけでなく,ベースライン手法と比較してモデルパラメータの保護の強化も達成している。

関連論文リスト

• FedPPA: Progressive Parameter Alignment for Personalized Federated Learning [0.9931624906346306]
  フェデレートラーニング(FL)は、複数のクライアントがデータを共有せずに協調的にモデルをトレーニングできる、分散されたプライバシ保護機械学習パラダイムとして設計されている。 実世界のシナリオでは、クライアントは不均一な計算資源を持ち、非独立で同一の分散データ(非IID)を保持し、トレーニング中に重大な課題を生じさせる。 本稿では,クライアント間の共通レイヤの重み付けとグローバルモデルの重み付けを段階的に整合させるプログレッシブアライメント(FedPPA)を提案する。 MNIST、FMNIST、CIFAR-10を含む3つの画像分類データセットの実験は、FedPPAが既存のFLアルゴリズムより一貫して優れていることを示した。
  論文  参考訳（メタデータ） (2025-10-16T14:03:05Z)
• Hypernetworks for Model-Heterogeneous Personalized Federated Learning [13.408669475480824]
  本稿では、クライアント固有の埋め込みベクトルを入力とし、各クライアントの異種モデルに合わせてパーソナライズされたパラメータを出力するサーバサイドハイパーネットワークを提案する。 知識共有の促進と計算の削減を目的として,ハイパーネットワーク内のマルチヘッド構造を導入し,類似のモデルサイズを持つクライアントがヘッドを共有できるようにする。 我々のフレームワークは外部データセットに依存しておらず、クライアントモデルアーキテクチャの開示を必要としない。
  論文  参考訳（メタデータ） (2025-07-30T02:24:26Z)
• FedP3E: Privacy-Preserving Prototype Exchange for Non-IID IoT Malware Detection in Cross-Silo Federated Learning [5.7494612007431805]
  データプライバシを維持しつつ、間接的なクライアント間表現共有をサポートする新しいFLフレームワークであるFedP3Eを提案する。 我々は,N-BaIoTデータセット上のFedP3Eを,データ不均衡の程度が異なる現実的なクロスサイロシナリオ下で評価した。
  論文  参考訳（メタデータ） (2025-07-09T20:07:35Z)
• HAD: Hybrid Architecture Distillation Outperforms Teacher in Genomic Sequence Modeling [52.58723853697152]
  DNA配列モデリングのためのハイブリッドアーキテクチャ蒸留(HAD)手法を提案する。 我々はNTv2-500Mを教師モデルとして採用し,グループマスキング戦略を考案した。 類似したパラメータを持つモデルと比較して,本モデルは優れた性能を示した。
  論文  参考訳（メタデータ） (2025-05-27T07:57:35Z)
• Not All Clients Are Equal: Collaborative Model Personalization on Heterogeneous Multi-Modal Clients [59.52341877720199]
  計算コストを伴わずに異種アーキテクチャ間の知識共有を可能にするFedMosaicを提案する。 実世界のタスクの多様性を模倣するために,40の異なるタスクにまたがるマルチモーダルPFLベンチマークを提案する。 実証研究は、FedMosaicが最先端のPFL法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-05-20T09:17:07Z)
• Privacy-Preserving Federated Embedding Learning for Localized Retrieval-Augmented Generation [60.81109086640437]
  我々はFedE4RAG(Federated Retrieval-Augmented Generation)と呼ばれる新しいフレームワークを提案する。 FedE4RAGはクライアント側RAG検索モデルの協調トレーニングを容易にする。 モデルパラメータの保護にフェデレート学習の準同型暗号化を適用する。
  論文  参考訳（メタデータ） (2025-04-27T04:26:02Z)
• Aligning Visual Contrastive learning models via Preference Optimization [0.9438963196770565]
  本稿では,複雑な概念を分解するために,異なる優先度最適化(PO)手法を用いて,コントラスト学習モデルを訓練する新しい手法を提案する。 提案手法は,モデル行動と所望の嗜好を体系的に整合させ,目標タスクの性能を向上させる。 特に,CLIPのような対照的な視覚言語モデルでよく見られる,タイポグラフィー攻撃や帰納的バイアスに対するモデルロバスト性の向上に焦点を当てた。
  論文  参考訳（メタデータ） (2024-11-12T08:14:54Z)
• Promoting Data and Model Privacy in Federated Learning through Quantized LoRA [41.81020951061438]
  トレーニング中にモデルのパラメータの量子化されたバージョンを配布するだけでよい方法を紹介します。 我々は、この量子化戦略を、人気かつパラメータ効率の良い微調整法であるLoRAと組み合わせて、フェデレート学習における通信コストを大幅に削減する。 提案したフレームワークはtextscFedLPP と呼ばれ、フェデレートされた学習コンテキストにおけるデータとモデルのプライバシの両立を実現している。
  論文  参考訳（メタデータ） (2024-06-16T15:23:07Z)
• FedP3: Federated Personalized and Privacy-friendly Network Pruning under Model Heterogeneity [82.5448598805968]
  我々は、フェデレートされたパーソナライズされたプライバシフレンドリーなネットワークプルーニングを表現する、効果的で適応可能なフェデレーションフレームワークであるFedP3を提案する。 我々は、FedP3とその局所微分プライベート変種DP-FedP3の理論解釈を提供し、それらの効率を理論的に検証する。
  論文  参考訳（メタデータ） (2024-04-15T14:14:05Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Revisiting Implicit Models: Sparsity Trade-offs Capability in Weight-tied Model for Vision Tasks [4.872984658007499]
  ディープ平衡モデル(Deep Equilibrium Models, DEQ)のような暗黙のモデルは、無限層のモデルを訓練する能力によって、コミュニティにおいて大きな注目を集めている。 暗黙のモデルの行を再検討し、それらを元の重み付けモデルに遡る。 驚くべきことに、重み付けモデルの方がDECの変種と比較して、より効率的で、安定であり、視覚タスク上でも効率的である。
  論文  参考訳（メタデータ） (2023-07-16T11:45:35Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Byzantine-Resilient Secure Federated Learning [2.578242050187029]
  本稿では,セキュアなフェデレーション学習のための単一サーバByzantine-Resilient secure aggregate framework(BREA)を提案する。 BREAは、Byzantine-Resilience Consistence Consistenceを同時に保証するために、統合的で検証可能な、安全なモデルアグリゲーションアプローチに基づいている。 実験では,ビザンチン系ユーザの存在下での収束を実証し,従来のフェデレート学習ベンチマークに匹敵する精度を示した。
  論文  参考訳（メタデータ） (2020-07-21T22:15:11Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)
• Model Embedding Model-Based Reinforcement Learning [4.566180616886624]
  モデルベース強化学習(MBRL)は、モデルフリー強化学習(MFRL)よりもサンプル効率が優れていることを示す。 しかし、データ生成の容易さとモデルのバイアスとの間には、依然としてトレードオフがある。 本稿では,確率的強化学習の枠組みとして,シンプルでエレガントなモデル埋め込み型強化学習(MEMB)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:10:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。