論文の概要: FedMentor: Domain-Aware Differential Privacy for Heterogeneous Federated LLMs in Mental Health

• arxiv url: http://arxiv.org/abs/2509.14275v2
• Date: Sun, 05 Oct 2025 21:41:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 14:28:10.688691
• Title: FedMentor: Domain-Aware Differential Privacy for Heterogeneous Federated LLMs in Mental Health
• Title（参考訳）: FedMentor: メンタルヘルスにおける不均一なフェデレーションLLMのためのドメイン対応差分プライバシー
• Authors: Nobin Sarwar, Shubhashis Roy Dipta,
• Abstract要約: FedMentorは、機密ドメインにおける大規模言語モデルのプライバシ保護適応のための微調整フレームワークである。 Low-Rank Adaptation (LoRA)とDomain-Aware Differential Privacy (DP)を統合して、パフォーマンスを維持しながらドメイン単位のプライバシ予算を満たす。 3つのメンタルヘルスデータセットの実験では、FedMentorはプライバシのない標準フェデレートラーニング(FL)よりも安全性を向上させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Privacy-preserving adaptation of Large Language Models (LLMs) in sensitive domains (e.g., mental health) requires balancing strict confidentiality with model utility and safety. We propose FedMentor, a federated fine-tuning framework that integrates Low-Rank Adaptation (LoRA) and domain-aware Differential Privacy (DP) to meet per-domain privacy budgets while maintaining performance. Each client (domain) applies a custom DP noise scale proportional to its data sensitivity, and the server adaptively reduces noise when utility falls below a threshold. In experiments on three mental health datasets, we show that FedMentor improves safety over standard Federated Learning (FL) without privacy, raising safe output rates by up to three points and lowering toxicity, while maintaining utility (BERTScore F1 and ROUGE-L) within 0.5% of the non-private baseline and close to the centralized upper bound. The framework scales to backbones with up to 1.7B parameters on single-GPU clients, requiring < 173 MB of communication per-round. FedMentor demonstrates a practical approach to privately fine-tune LLMs for safer deployments in healthcare and other sensitive fields.
• Abstract（参考訳）: センシティブなドメイン(例えばメンタルヘルス)におけるLLM(Large Language Models)のプライバシ保護は、厳密な機密性とモデルの実用性と安全性のバランスを必要とする。 我々は、低ランク適応(LoRA)とドメイン認識差分プライバシー(DP)を統合して、パフォーマンスを維持しながらドメインごとのプライバシー予算を満たすフェデレーションファインチューニングフレームワークであるFedMentorを提案する。 各クライアント(ドメイン)はそのデータ感度に比例したカスタムDPノイズスケールを適用し、ユーティリティがしきい値以下になった場合、サーバは適応的にノイズを低減します。 3つのメンタルヘルスデータセットの実験では、FedMentorはプライバシのない標準のフェデレート学習(FL)よりも安全性を向上し、安全出力率を最大3ポイント引き上げ、毒性を低下させ、実用性(BERTScore F1, ROUGE-L)を非私的ベースラインの0.5%以内に維持し、中央集権的上限に近いものに維持することを示した。 このフレームワークは、シングルGPUクライアント上で最大1.7Bのパラメータを持つバックボーンにスケールし、1ラウンドあたり173MBの通信を必要とする。 FedMentorは、医療やその他の機密分野のより安全なデプロイメントのために、プライベートな微調整LDMに対して実践的なアプローチを実証している。

関連論文リスト

• Privacy-Preserving Decentralized Federated Learning via Explainable Adaptive Differential Privacy [10.210711754168575]
  差別化プライバシは、ノイズを注入することによって原則化された保護を提供するため、機密情報はリソース制限されたIoTデバイス上で安全である。 差分プライバシーで超次元コンピューティングと結合し、累積雑音の監査可能なアカウントを保持する、説明可能なフレームワークであるPrivateDFLを提案する。 PrivateDFLは、IIDおよび非IIDパーティション間の高い精度、低いレイテンシ、低いエネルギを提供すると同時に、正式な(epsilon、delta)保証を保持し、中央サーバなしで運用する。
  論文  参考訳（メタデータ） (2025-09-12T20:52:41Z)
• DP-FedLoRA: Privacy-Enhanced Federated Fine-Tuning for On-Device Large Language Models [17.265217612125905]
  DP-FedLoRAは、プライバシーを強化したファインチューニングフレームワークである。 LoRAベースの適応と差分プライバシーを通信効率のよい環境で統合する。 DP-FedLoRAは、強力なプライバシ保証を提供しながら、競争性能を提供することを示す。
  論文  参考訳（メタデータ） (2025-09-11T02:16:34Z)
• Machine Learning with Privacy for Protected Attributes [56.44253915927481]
  差分プライバシー(DP)の定義を洗練し、機能差分プライバシー(FDP)と呼ばれるより汎用的で柔軟なフレームワークを作成する。 私たちの定義はシミュレーションに基づいており、プライバシの追加/削除と置き換えの両方が可能で、保護された機能と非保護された機能の任意の分離を処理できます。 各種機械学習タスクにフレームワークを適用し,パブリック機能が利用可能であればDP学習モデルの実用性を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2025-06-24T17:53:28Z)
• FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates [58.18162789618869]
  フェデレートラーニング(FL)は、モデルを分散的にトレーニングするための広く使われているフレームワークである。 我々はFedRandフレームワークを提案し、クライアントパラメータの完全な集合を開示するのを避ける。 我々はFedRandがMIAに対するロバスト性を改善することを、関連するベースラインと比較して実証的に検証する。
  論文  参考訳（メタデータ） (2025-03-10T11:55:50Z)
• Optimizing Cross-Client Domain Coverage for Federated Instruction Tuning of Large Language Models [87.49293964617128]
  大規模言語モデル(LLM)のためのFedDIT(Federated Domain-specific instruction tuning)は、分散プライベートデータと限定データを用いて、特定のドメインの性能を向上させることを目的としている。 データ不均一性ではなく、クロスクライアントなドメインカバレッジが重要な要素であることを実証的に証明します。 我々は多様性指向のクライアントセンターの選択と検索に基づく拡張を通じて、このカバレッジを明示的に最大化するアルゴリズムであるFedDCAを紹介する。
  論文  参考訳（メタデータ） (2024-09-30T09:34:31Z)
• Binary Federated Learning with Client-Level Differential Privacy [7.854806519515342]
  フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための協調学習フレームワークである。 既存のFLシステムはトレーニングアルゴリズムとしてフェデレーション平均(FedAvg)を採用するのが一般的である。 差分プライバシーを保証する通信効率のよいFLトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-07T06:07:04Z)
• Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
  我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。 従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。 本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
  論文  参考訳（メタデータ） (2022-10-05T13:13:35Z)
• Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
  本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。 本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
  論文  参考訳（メタデータ） (2021-06-25T14:47:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。