論文の概要: SecureGate: Learning When to Reveal PII Safely via Token-Gated Dual-Adapters for Federated LLMs

• arxiv url: http://arxiv.org/abs/2602.13529v1
• Date: Fri, 13 Feb 2026 23:53:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 14:17:28.130485
• Title: SecureGate: Learning When to Reveal PII Safely via Token-Gated Dual-Adapters for Federated LLMs
• Title（参考訳）: SecureGate:フェデレーションLLMのためのトークンゲート型デュアルアダプタによるPIIの安全な回収方法の学習
• Authors: Mohamed Shaaban, Mohamed Elmahallawy,
• Abstract要約: フェデレートラーニング(FL)は、生データを共有せずに組織サイロ間で協調的なトレーニングを可能にするため、プライバシに敏感なアプリケーションには魅力的である。 大規模言語モデル (LLM) の急速な普及に伴い, 機密性を保ちながら分散データを活用する手段として, ジェネレーティブLLMの微調整が注目されている。 プライバシを意識したLLM用ファインチューニングフレームワークSecureGateを提案する。
• 参考スコア（独自算出の注目度）: 0.4720681957139135
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Federated learning (FL) enables collaborative training across organizational silos without sharing raw data, making it attractive for privacy-sensitive applications. With the rapid adoption of large language models (LLMs), federated fine-tuning of generative LLMs has gained attention as a way to leverage distributed data while preserving confidentiality. However, this setting introduces fundamental challenges: (i) privacy leakage of personally identifiable information (PII) due to LLM memorization, and (ii) a persistent tension between global generalization and local utility under heterogeneous data. Existing defenses, such as data sanitization and differential privacy, reduce leakage but often degrade downstream performance. We propose SecureGate, a privacy-aware federated fine-tuning framework for LLMs that provides fine-grained privacy control without sacrificing utility. SecureGate employs a dual-adapter LoRA architecture: a secure adapter that learns sanitized, globally shareable representations, and a revealing adapter that captures sensitive, organization-specific knowledge. A token-controlled gating module selectively activates these adapters at inference time, enabling controlled information disclosure without retraining. Extensive experiments across multiple LLMs and real-world datasets show that SecureGate improves task utility while substantially reducing PII leakage, achieving up to a 31.66X reduction in inference attack accuracy and a 17.07X reduction in extraction recall for unauthorized requests. Additionally, it maintains 100% routing reliability to the correct adapter and incurs only minimal computational and communication overhead.
• Abstract（参考訳）: フェデレートラーニング(FL)は、生データを共有せずに組織サイロ間で協調的なトレーニングを可能にするため、プライバシに敏感なアプリケーションには魅力的である。 大規模言語モデル (LLM) の急速な普及に伴い, 機密性を保ちながら分散データを活用する手段として, ジェネレーティブLLMの微調整が注目されている。 しかし、この設定には根本的な課題が伴う。 一 LLM記憶による個人識別情報(PII)のプライバシー漏洩及び (II)大域的一般化と不均一なデータの下での局所効用との永続的な緊張関係。 データサニタイズや差分プライバシーといった既存の防御は、リークを減らすが、ダウンストリームのパフォーマンスを低下させることが多い。 プライバシを意識したLLM用ファインチューニングフレームワークSecureGateを提案する。 SecureGateはデュアルアダプタのLoRAアーキテクチャを採用しており、安全でグローバルに共有可能な表現を学ぶセキュアなアダプタと、機密性の高い組織固有の知識をキャプチャする明示的なアダプタである。 トークン制御ゲーティングモジュールは、これらのアダプタを推論時に選択的に活性化し、再トレーニングすることなく制御された情報開示を可能にする。 複数のLLMと実世界のデータセットにわたる大規模な実験により、SecureGateはPIIリークを大幅に低減し、推論攻撃の精度を最大31.66倍、不正な要求に対する抽出リコールを最大17.07倍削減した。 さらに、正しいアダプタへの100%のルーティング信頼性を維持し、最小限の計算と通信のオーバーヘッドしか発生しない。

関連論文リスト

• Enterprise AI Must Enforce Participant-Aware Access Control [9.68210477539956]
  大規模言語モデル(LLM)は、複数のユーザと対話し、センシティブな内部データに基づいてトレーニングあるいは微調整されるエンタープライズ環境に、ますます多くデプロイされている。 敵は、現在の微調整アーキテクチャやRAGアーキテクチャを利用して、アクセス制御の強制力の欠如を活用して機密情報を漏洩することができることを示す。 本稿では, LLM による学習, 検索, 生成に使用されるコンテンツは, インセンティブに関わるユーザに対して明示的に認証される,という原則に基づくフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-18T04:30:49Z)
• Closer to Reality: Practical Semi-Supervised Federated Learning for Foundation Model Adaptation [56.36237936346563]
  ファンデーションモデル(FM)は顕著な一般化を示すが、下流のタスクに適応する必要がある。 データプライバシー規制のため、クラウドベースのFMはプライベートエッジデータに直接アクセスできない。 エッジデバイスがラベルのない低解像度のデータのみを保持する実践的セミスーパービジョン・フェデレーションラーニング(PSSFL)を導入する。 我々の研究は、フェデレートされたシナリオにおけるスケーラブルでプライバシ保護のFM適応の道を開いた。
  論文  参考訳（メタデータ） (2025-08-22T17:47:02Z)
• Differentially Private Federated Low Rank Adaptation Beyond Fixed-Matrix [15.815684304898575]
  大規模言語モデル(LLM)は通常、ドメイン固有のタスクを微調整する必要がある。 両方のアダプタにノイズを追加することで、モデル上の合成ノイズが増幅され、一方のアダプタを固定すると、微調整の学習性が損なわれる。 高い差分プライバシーを持つ低ランクアダプタを効果的に更新するための,新しいフェデレートLoRAフレームワークであるFedASKを提案する。
  論文  参考訳（メタデータ） (2025-07-14T07:17:24Z)
• Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
  ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。 我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:56:11Z)
• FedShield-LLM: A Secure and Scalable Federated Fine-Tuned Large Language Model [0.48342038441006796]
  Federated Learning (FL)は、LLM(Large Language Models)のトレーニングと微調整のための分散フレームワークを提供する。 FLはプライバシとセキュリティの懸念に対処し、LLMの相当な計算要求に関連する課題をナビゲートする。 ローランド適応 (LoRA) パラメータに対して, 完全同型暗号化 (FHE) を用いたプルーニングを用いた新しいFedShield-LLMを提案する。
  論文  参考訳（メタデータ） (2025-06-06T00:05:05Z)
• FedSEA-LLaMA: A Secure, Efficient and Adaptive Federated Splitting Framework for Large Language Models [13.304846508027588]
  LLaMA2に基づくセキュアで効率的で適応的なフェデレーション分割フレームワークであるFedSEA-LLaMAを紹介する。 我々は、注意マスク圧縮とKVキャッシュの協調を利用して、通信コストを削減し、トレーニングと推論を加速する。 自然言語理解、要約、会話型QAタスクの実験は、FedSEA-LLaMAが集中型LLaMA2に匹敵するパフォーマンスを維持していることを示している。
  論文  参考訳（メタデータ） (2025-05-21T15:58:08Z)
• Privacy-Preserving Federated Embedding Learning for Localized Retrieval-Augmented Generation [60.81109086640437]
  我々はFedE4RAG(Federated Retrieval-Augmented Generation)と呼ばれる新しいフレームワークを提案する。 FedE4RAGはクライアント側RAG検索モデルの協調トレーニングを容易にする。 モデルパラメータの保護にフェデレート学習の準同型暗号化を適用する。
  論文  参考訳（メタデータ） (2025-04-27T04:26:02Z)
• Confident or Seek Stronger: Exploring Uncertainty-Based On-device LLM Routing From Benchmarking to Generalization [61.02719787737867]
  大規模言語モデル(LLM)はますますエッジデバイスにデプロイされ、民主化されている。 1つの有望な解決策は不確実性に基づくSLMルーティングであり、SLM上での低信頼応答が発生すると、高い要求を強いLCMにオフロードする。 我々は1500以上の設定でSLMからLLMへの不確実性駆動型ルーティング戦略のベンチマークと一般化を包括的に調査する。
  論文  参考訳（メタデータ） (2025-02-06T18:59:11Z)
• Personalized Wireless Federated Learning for Large Language Models [75.22457544349668]
  大規模言語モデル(LLM)は、無線ネットワークにおいて大きな変革をもたらしている。 無線環境では、LLMのトレーニングはセキュリティとプライバシに関する重大な課題に直面している。 本稿では,無線ネットワークにおけるLLMのトレーニング段階の体系的解析を行い,事前学習,命令チューニング,アライメントチューニングを行う。
  論文  参考訳（メタデータ） (2024-04-20T02:30:21Z)
• Differentially Private Low-Rank Adaptation of Large Language Model Using Federated Learning [32.52811740662061]
  本稿では,大規模言語モデル(LLM)に適した新しいフェデレーション学習アルゴリズムDP-LoRAを紹介する。 DP-LoRAは、重み付け更新のノイズを追加し、データプライバシを個別に維持しつつ、協調的なモデルトレーニングを容易にするガウス機構を使用することで、データのプライバシを保存する。
  論文  参考訳（メタデータ） (2023-12-29T06:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。